Tra le Righe

Nel terzo episodio facciamo partire il primo vero componente AI del progetto.

Dopo aver preparato l’ambiente con Docker, colleghiamo Ollama e iniziamo a eseguire i modelli direttamente in locale, senza utilizzare una chiave API personale.

In questa puntata vediamo:

• come utilizzare Ollama all’interno di Docker
• la differenza tra un modello di chat e un modello di embedding
• perché utilizziamo due modelli con responsabilità diverse
• come configurare i modelli tramite il file .env
• come Docker permette all’applicazione di raggiungere Ollama tramite la rete interna
• come verificare quali modelli sono installati
• come fare la prima richiesta direttamente dal terminale

Configurazione utilizzata:

CHAT_MODEL=gemma3:1b

EMBED_MODEL=nomic-embed-text

OLLAMA_URL=http://ollama:11434

Per controllare i modelli disponibili:

docker compose exec ollama ollama list

Per avviare Gemma direttamente dal terminale:

docker compose exec ollama ollama run gemma3:1b

A questo punto possiamo scrivere una domanda direttamente nella sessione interattiva, per esempio:

Spiega in tre frasi che cos'è Tra le Righe.

Questa prima risposta serve soltanto a verificare che il collegamento funzioni correttamente.

Il modello, infatti, non conosce ancora i nostri documenti.

Per arrivare a questo risultato dovremo costruire la parte centrale del nostro sistema RAG: estrazione dei contenuti, suddivisione dei testi, embedding e ricerca semantica.

Nel prossimo episodio iniziamo proprio da qui: prendiamo i PDF e trasformiamo i documenti in qualcosa che il nostro sistema possa utilizzare.