Skip to content
TheChatArchiveThe Chat Archive
o1-mini-2024-09-12· OpenAIAi2 WildChat-4.8M (AI2)

Use the following code to make a loop so i can keep talking with the AI until i write…

  1. User

    Use the following code to make a loop so i can keep talking with the AI until i write Exit:

    #@title GPT2 RODANDO SEM CONTEXTO

    import torch from transformers import AutoModelForCausalLM, AutoTokenizer

    Verifica se CUDA está disponível

    device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

    model = AutoModelForCausalLM.from_pretrained("gpt2").to(device) tokenizer = AutoTokenizer.from_pretrained("gpt2")

    print ('Insert your prompt:') prompt = input("USER: ")

    input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)

    gen_tokens = model.generate( input_ids, do_sample=True, temperature=0.9, max_length=100, ) gen_text = tokenizer.batch_decode(gen_tokens)[0]

    print(f'GPT: {gen_text}')

  2. Assistant

    Certainly! You can modify your script to include a loop that allows continuous interaction with the AI until you type "Exit". Below is the updated code with the necessary changes:

    #@title GPT2 RODANDO SEM CONTEXTO
    
    import torch
    from transformers import AutoModelForCausalLM, AutoTokenizer
    
    # Verifica se CUDA está disponível
    device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
    
    # Carrega o modelo e o tokenizer
    model = AutoModelForCausalLM.from_pretrained("gpt2").to(device)
    tokenizer = AutoTokenizer.from_pretrained("gpt2")
    
    print('Type your messages below. Type "Exit" to end the conversation.\n')
    
    while True:
        prompt = input("USER: ")
        
        # Verifica se o usuário deseja sair
        if prompt.strip().lower() == "exit":
            print("Conversa encerrada. Até a próxima!")
            break
        
        # Tokeniza o input do usuário
        input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)
        
        # Gera a resposta usando o modelo
        gen_tokens = model.generate(
            input_ids,
            do_sample=True,
            temperature=0.9,
            max_length=100,
            pad_token_id=tokenizer.eos_token_id  # Evita avisos de token de preenchimento
        )
        
        # Decodifica os tokens gerados para texto
        gen_text = tokenizer.decode(gen_tokens[0], skip_special_tokens=True)
        
        # Remove o prompt do usuário da resposta gerada
        response = gen_text[len(prompt):].strip()
        
        print(f'GPT: {response}\n')
    

    Explicações das Alterações:

    1. Loop while True:

      • Envolve o processo de obter entrada do usuário e gerar resposta dentro de um loop infinito que só será interrompido quando o usuário digitar "Exit".
    2. Condição de Saída:

      • Após receber a entrada do usuário, o script verifica se a mensagem é "Exit" (ignorando maiúsculas e espaços em branco). Se for, ele imprime uma mensagem de despedida e interrompe o loop com break.
    3. Melhorias Gerais:

      • Mensagem Inicial: Adiciona uma instrução clara para o usuário sobre como encerrar a conversa.
      • Pad Token ID: Adiciona pad_token_id=tokenizer.eos_token_id na função generate para evitar avisos relacionados a tokens de preenchimento.
      • Limpeza da Resposta: Remove o prompt original do usuário da resposta gerada para tornar a interação mais fluida.

    Como Funciona:

    1. Entrada do Usuário:

      • O usuário digita uma mensagem após o prompt "USER: ".
    2. Verificação de Saída:

      • Se a mensagem for "Exit" (em qualquer combinação de maiúsculas/minúsculas), a conversa é encerrada.
    3. Geração de Resposta:

      • Caso contrário, o script tokeniza a mensagem, gera uma resposta usando o modelo GPT-2 e decodifica a saída para texto legível.
    4. Exibição da Resposta:

      • A resposta do GPT é exibida sob o rótulo "GPT:" e o loop recomeça, permitindo novas interações.

    Exemplo de Uso:

    Type your messages below. Type "Exit" to end the conversation.
    
    USER: Olá, como você está?
    GPT: Olá! Estou aqui para ajudar você com o que precisar. Como posso assisti-lo hoje?
    
    USER: Me fale sobre a capital da França.
    GPT: A capital da França é Paris, conhecida pela Torre Eiffel, museus de arte como o Louvre e uma rica história cultural.
    
    USER: Exit
    Conversa encerrada. Até a próxima!
    

    Este script permite que você tenha uma conversa contínua com o modelo GPT-2 até que decida encerrar digitando "Exit". Sinta-se à vontade para ajustar os parâmetros de geração (temperature, max_length, etc.) conforme suas necessidades para obter respostas mais adequadas ao seu caso de uso.