Modelli di Lingua Sono Apprendenti a Pochi Esempi

I modelli di lingua sono apprendisti a colpo di pistola. Si tratta di una nozione che ha catturato l'immaginazione di ricercatori e appassionati di intelligenza artificiale in tutto il mondo. Un esempio lampante di questo concetto è la formazione di GPT-3, un modello di linguaggio autoregressivo con un enorme numero di parametri, precisamente 175 miliardi. Ciò rappresenta un salto di scala di 10 volte rispetto ai modelli di linguaggio non dispersi precedenti. GPT-3 ha dimostrato una capacità eccezionale nell'eseguire una serie di compiti linguistici dopo un "addestramento di pochi colpi" (few-shot learning), il che significa che può svolgere le attività in modo accurato dopo l'esposizione ad un numero limitato di esempi.

Un modello di linguaggio come GPT-3 viene etichettato come "apprendista a colpo di pistola" (few-shot learner) per la sua capacità di apprendere e sintonizzare rapidamente nuove abilità a seguito di una breve esposizione a dati di addestramento generici. Questo è particolarmente evidente nelle abilità linguistiche che ha dimostrato, comprese la capacità di riepilogo, la traduzione automaticata, la risposta a domande complesse e l'esecuzione di compiti di codifica del programma.

Qual è il segreto dietro la sua straordinaria capacità come "apprendista a colpo di pistola"? La ricerca dimostra che il grande numero di parametri di GPT-3 contribuisce in modo significativo al suo successo. Con i suoi 175 miliardi di parametri, che sono circa 10 volte quelli dei modelli di linguaggio più grandi precedenti, GPT-3 possiede una competenza senza precedenti nella creazione di relazioni significative tra le parole, le frasi e i concetti presentati nei dati degli esempi, anche in un numero minimo. Ciò gli consente di "comprendere" efficacemente le richieste e di generare risposte coerenti e accuratamente incapsulate nello spirito dell'input gpt.