Skip to content
The Chat Archive
Human-written demonstration (OpenAssistant volunteers)· OpenAssistant (human-written) OpenAssistant Conversations (oasst2)

Spiegami come funziona un modello GPT, considerando che di deep learning ne capisco poco

In OpenAssistant data, “assistant” turns were written by human volunteers as demonstrations. They are not model outputs.
  1. User

    Spiegami come funziona un modello GPT, considerando che di deep learning ne capisco poco

  2. Assistant

    GPT-3 è un modello di linguaggio basato sull'architettura del transformer, pre-addestrato in modo generativo e senza supervisione che mostra prestazioni buone in situazioni con zero/uno/pochi esempi mostrati in input. Funziona prevedendo il token (una parola o parte di una parola) successivo data una sequenza di token e può farlo per attività di PNL su cui non è stato addestrato. Dopo aver visto solo alcuni esempi, ha raggiunto livelli all'avanguardia in alcuni benchmark come la traduzione automatica, le domande e risposte e le attività cloze.

    GPT-3 è stato addestrato con enormi set di dati di testo Internet: 570 GB in totale. Quando è stato rilasciato, era la più grande rete neurale con 175 miliardi di parametri (100x GPT-2). Ancora oggi è la più grande rete neurale densa, superata solo da modelli sparsi come il transformer Wu Dao 2.0.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.