Nel quotidiano uso della propria lingua madre, il cervello umano che deve esprimere un concetto compone in maniera naturale la frase concatenando in maniera organizzata le parole adatte allo scopo, grazie al lavoro di neuroni e sinapsi. Non è chiaro come lo stesso risultato possa essere ottenuto dai sistemi di intelligenza artificiale, come ChatGPT. In questo caso il processo sfrutta la presenza di un database dal quale il sistema estrae le parole e le frasi che hanno la migliore probabilità di essere coerenti con quelle che le hanno precedute.
Il meccanismo di riferimento è il cosiddetto LLM, Large Language Model, che riesce, agli occhi dell’utilizzatore, a comporre frasi che hanno un senso estremamente compiuto.
Il Large Language Model è un modello di machine learning, cioè di autoapprendimento della macchina elaboratrice, che si addestra autonomamente basando il proprio algoritmo su un vastissimo insieme di testi di senso compiuto e sui quali può basare le proprio ipotesi di correttezza delle frasi.
Dell’acronimo LLM, il termine Large sta a significare il numero di parametri che vengono presi in considerazione nelle reti neurali che sono incaricate della elaborazione, ove con parametri si intendono le connessioni che vengono stabilite tra i vari “nodi” di calcolo. Maggiore è il numero dei parametri e migliore sarà la qualità della elaborazione. Per fare qualche esempio la versione 3 di GPT (che alimenta ChatGPT) ha 180 miliardi di parametri. Gli LLM sono quindi vaste reti neurali impiegate a scopi linguistici in grado di riconoscere, riassumere, tradurre, prevedere e generare testi e altri contenuti sulla base della conoscenza appresa dal loro database.
Una recente evoluzione tecnologica si è avuto con l’introduzione di “transformer model” che hanno la capacità di tenere traccia delle relazioni all’interno di sequenze di parole. Prima dell’introduzione dei transformer, i programmatori implementavano codice addestrando le reti neurali tramite database etichettati, dando, cioè, un significato o, appunto, una etichetta a priori all’immagine o alla frase che avrebbe dovuto essere interpretata. Questo metodo è detto apprendimento supervisionato, in quanto esiste la supervisione umana che guida l’addestramento della macchina.
Nel caso degli LLM l’addestramento è non-supervisionato e, attraverso questo metodo, il modello impara in autonomia la relazione tra le varie parole, analizzando statisticamente una quantità di dati, come abbiamo visto, sterminata. Pur non avendo una vera comprensione di ciò che è contenuto in quei testi, scovando le correlazioni presenti nei dati a sua disposizione questi modelli linguistici imparano le relazioni più probabili tra le diverse parole e di conseguenza anche a distinguere il significato in base al contesto. ChatGPT è in grado di produrre lunghi testi (spesso) coerenti e dotati di senso, in quanto l’algoritmo scova statisticamente quali sono le frasi o le singole parole contenute nel database che hanno la maggior probabilità di essere coerenti con quelle precedenti, proseguendo potenzialmente senza sosta in questa composizione.
