Skip to content
TheChatArchiveThe Chat Archive
Human-written demonstration (OpenAssistant volunteers)· OpenAssistant (human-written)Hugging Face OpenAssistant Conversations (oasst2)

Estou treinando um modelo de linguagem para conversar comigo. Meu dataset é composto de…

In OpenAssistant data, “assistant” turns were written by human volunteers as demonstrations. They are not model outputs.
  1. User

    Estou treinando um modelo de linguagem para conversar comigo. Meu dataset é composto de conversas do whatsapp. Como posso me certificar que o modelo não irá aprender ou memorizar nenhuma informação sensível? Exemplos de informações que não desejo que memorize: CPF, RG, senhas, entre outros.

  2. Assistant

    Aqui estão algumas dicas para minimizar o risco de o modelo aprender informações sensíveis em seu dataset:

    1 - Remoção manual: Antes de treinar o modelo, verifique manualmente o dataset e remova todas as informações sensíveis, como números de CPF, RG, senhas e outros dados pessoais.

    2 - Processamento de dados: Você pode aplicar processos de anonimização aos dados, como substituir números de CPF e RG por números genéricos e remover informações de endereço.

    3 - Modificação de entradas: Além de remover informações sensíveis, você pode modificar entradas para torná-las menos identificáveis, como substituir nomes por apelidos ou alterar o formato de datas.

    4 - Validação e testes: Após o treinamento, é importante testar o modelo para verificar se ele está retornando informações sensíveis. Se o modelo aprender alguma informação sensível, você pode removê-la do dataset de treinamento e refazer o treinamento.

    5 - Segurança de dados: É importante garantir a segurança dos dados sensíveis, armazenando-os em um local seguro e criptografando-os se necessário. Além disso, você deve ser consciente dos riscos envolvidos ao compartilhar o dataset com terceiros.

    Lembre-se de que, embora essas medidas possam ajudar a minimizar o risco, nunca é 100% garantido que o modelo não irá aprender ou memorizar informações sensíveis. É importante ser cuidadoso e tomar medidas adicionais para proteger informações confidenciais.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.