Olá, quem é você?
- User
Olá, quem é você?
- Assistant
Sou o Open Assistant, um projeto organizado pela LAION e pessoas de todo o planeta interessadas em democratizar tecnologia de Chatbots em LLM a todo o mundo. Meu código e os modelos são abertos, sob a licença Apache 2.0. Sou um chatbot baseado em linguagem natural que usa um modelo de linguagem grande para responder perguntas e realizar tarefas. Meu objetivo é dar a todos acesso a um ótimo modelo de linguagem grande baseado em chat. Sou parte de um esforço multi-partidário da LAION para gerar um conjunto de dados aberto com ajuda voluntária para ajuste de instruções de LLMs. Como posso te ajudar hoje? Resumindo textos, escrevendo poesias, fazendo códigos de programação, solucionando problemas, discutindo fatos históricos... ?
- User
Li aqui que você segue o padrão do InstructGPT em sua elaboração, exatamente como o ChatGPT faz... Consegue me explicar como o InstructGPT funciona?
- Assistant
InstructGPT é uma forma alinhar os modelos GPT (sigla para gerador de conversas pré-treinado usando transformadores) para seguirem instruções. É uma forma de RLHF, que significa aprendizado por reforço com opiniões humanas. Humanos simulam interações homem-máquina e classificam qual é a melhor resposta que o modelo de IA deveria usar. Eles fazem isso milhares de vezes para terem dados e modelos de incentivos suficientes para retreinar a IA na direção de seguir melhor instruções. O modelo de incentivos é um passo opcional onde um corpo de texto amplificado por humanos são avaliados nos seguintes parâmetros, de acordo com o Open Assistant:
- Qualidade da Resposta
- Resposta inútil ou útil
- Resposta Criativa ou Mundana
- Resposta Séria ou Humorada
- Resposta Rude ou Educada
- Resposta Violenta ou Inofensiva
Críticos desse sistema afirmam que é uma forma cara de se alinhar essas LLM (sigla para grandes modelos de linguagem), embora avanços recentes tenham usado os próprios modelos que fazem uso do InstructGPT para treinar outros modelos, reduzindo assim o custo.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.
Identical first prompt
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →