Spiegami come funziona un modello GPT, considerando che di deep learning ne capisco poco
- User
Spiegami come funziona un modello GPT, considerando che di deep learning ne capisco poco
- Assistant
GPT-3 è un modello di linguaggio basato sull'architettura del transformer, pre-addestrato in modo generativo e senza supervisione che mostra prestazioni buone in situazioni con zero/uno/pochi esempi mostrati in input. Funziona prevedendo il token (una parola o parte di una parola) successivo data una sequenza di token e può farlo per attività di PNL su cui non è stato addestrato. Dopo aver visto solo alcuni esempi, ha raggiunto livelli all'avanguardia in alcuni benchmark come la traduzione automatica, le domande e risposte e le attività cloze.
GPT-3 è stato addestrato con enormi set di dati di testo Internet: 570 GB in totale. Quando è stato rilasciato, era la più grande rete neurale con 175 miliardi di parametri (100x GPT-2). Ancora oggi è la più grande rete neurale densa, superata solo da modelli sparsi come il transformer Wu Dao 2.0.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.