Skip to content
TheChatArchiveThe Chat Archive
gpt-4o-mini-2024-07-18· OpenAIAi2 WildChat-4.8M (AI2)

from langchaintextsplitters import RecursiveCharacterTextSplitter from…

  1. User

    from langchain_text_splitters import RecursiveCharacterTextSplitter from langchain_community.document_loaders import YoutubeLoader from langchain_groq import ChatGroq from langchain_core.prompts import ChatPromptTemplate, PromptTemplate from dotenv import load_dotenv

    import streamlit as st

    Carregar variáveis de ambiente

    load_dotenv()

    Configurar o modelo

    llm = ChatGroq(model="llama3-8b-8192", temperature=1)

    prompt = PromptTemplate(input_variables=["script"], template=" Fazça um resumo completo desde script: {script}")

    def get_youtube_transcript(video_url): loader = YoutubeLoader.from_youtube_url( video_url, add_video_info=True, language=["pt", "en"],

    )
    
    transcript = loader.load()
    
    text_splitter = RecursiveCharacterTextSplitter(
        chunk_size=1000,
        chunk_overlap=100
        
    )
    
    docs = text_splitter.split_documents(transcript)
    
    return docs
    

    video_url = input("Digite o link do video: ") transcript_chunks = get_youtube_transcript(video_url) model = prompt | llm

    print(model.invoke({"script":transcript_chunks}).content)

    algo errado?

  2. Assistant

    O código fornecido apresenta algumas questões que podem causar problemas ou não funcionar conforme o esperado. Aqui estão algumas sugestões e correções:

    Problemas Potenciais:

    1. Modo de Leitura do URL: O uso de input() pode não funcionar bem em um ambiente Streamlit. Em Streamlit, você deve usar funções específicas para receber entradas do usuário.

    2. Concatenação dos Textos: O chat deve ser alimentado com um único texto ou com um formato aceito. Se transcript_chunks é uma lista, isso pode causar erros quando passado para o modelo.

    3. Uso de | para Compor Prompt e LLM: A maneira como você está tentando compor o PromptTemplate e llm pode ser inadequada. Dependendo de como esses objetos são implementados em LangChain, a combinação pode ser diferente.

    Sugestões de Correção:

    Aqui está uma versão revista do seu código:

    from langchain_text_splitters import RecursiveCharacterTextSplitter
    from langchain_community.document_loaders import YoutubeLoader
    from langchain_groq import ChatGroq
    from langchain_core.prompts import ChatPromptTemplate, PromptTemplate
    from dotenv import load_dotenv
    import streamlit as st
    
    # Carregar variáveis de ambiente
    load_dotenv()
    
    # Configurar o modelo
    llm = ChatGroq(model="llama3-8b-8192", temperature=1)
    
    prompt = PromptTemplate(input_variables=["script"], template="Faz um resumo completo deste script: {script}")
    
    def get_youtube_transcript(video_url):
        loader = YoutubeLoader.from_youtube_url(
            video_url,
            add_video_info=True,
            language=["pt", "en"],
        )
    
        transcript = loader.load()
    
        text_splitter = RecursiveCharacterTextSplitter(
            chunk_size=1000,
            chunk_overlap=100
        )
    
        docs = text_splitter.split_documents(transcript)
    
        return docs
    
    def main():
        st.title("Resumo de Vídeos do YouTube")
        
        video_url = st.text_input("Digite o link do video:")
        
        if video_url:
            transcript_chunks = get_youtube_transcript(video_url)
            
            # Concatenar todos os chunks em uma única string
            full_transcript = " ".join([chunk.page_content for chunk in transcript_chunks])
            
            final_prompt = prompt.format(script=full_transcript)
            
            # Chamar o modelo com o prompt formatado
            response = llm.invoke({"script": final_prompt})
            
            st.subheader("Resumo:")
            st.write(response.content)
    
    if __name__ == "__main__":
        main()
    

    Algumas Observações Sobre a Código Corrigido:

    1. Streamlit: Utiliza st.text_input para capturar a entrada do usuário dentro da interface Streamlit.

    2. Concatenação dos transcript_chunks: Usa join para criar um texto contínuo a partir dos documentos divididos.

    3. Envio do Prompt: Formata corretamente o prompt antes de enviá-lo para o modelo.

    Certifique-se de que as bibliotecas utilizadas estão instaladas e atualizadas para evitar problemas de compatibilidade.

  3. User

    Digite o link do video: https://www.youtube.com/watch?v=8FgOARC4DP8 2025-01-09 02:47:24.917 Uncaught app execution Traceback (most recent call last): File "C:\Users\Wendel\Documents\langchain\venv\Lib\site-packages\pytube_main_.py", line 341, in title self._title = self.vid_info['videoDetails']['title']
    ~~~~~~~~~~~~~^^^^^^^^^^^^^^^^ KeyError: 'videoDetails'

    During handling of the above exception, another exception occurred:

    Traceback (most recent call last): File "C:\Users\Wendel\Documents\langchain\venv\Lib\site-packages\streamlit\runtime\scriptrunner\exec_code.py", line 88, in exec_func_with_error_handling result = func() ^^^^^^ File "C:\Users\Wendel\Documents\langchain\venv\Lib\site-packages\streamlit\runtime\scriptrunner\script_runner.py", line 579, in code_to_exec exec(code, module.dict) File "C:\Users\Wendel\Documents\langchain\main_yt.py", line 38, in transcript_chunks = get_youtube_transcript(video_url)
    ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
    File "C:\Users\Wendel\Documents\langchain\main_yt.py", line 25, in get_youtube_transcript transcript = loader.load() ^^^^^^^^^^^^^ File "C:\Users\Wendel\Documents\langchain\venv\Lib\site-packages\langchain_community\document_loaders\youtube.py", line 257, in load video_info = self._get_video_info() ^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\Wendel\Documents\langchain\venv\Lib\site-packages\langchain_community\document_loaders\youtube.py", line 324, in get_video_info "title": yt.title or "Unknown", ^^^^^^^^ File "C:\Users\Wendel\Documents\langchain\venv\Lib\site-packages\pytube_main.py", line 346, in title raise exceptions.PytubeError( pytube.exceptions.PytubeError: Exception while accessing title of https://youtube.com/watch?v=8FgOARC4DP8. Please file a bug report at https://github.com/pytube/pytube

  4. Assistant

    O erro que você está enfrentando se refere à biblioteca pytube, que está sendo usada para extrair informações de vídeos do YouTube. A partir da mensagem de erro, parece que o pytube não conseguiu acessar os detalhes do vídeo, especificamente a chave videoDetails, o que geralmente indica que houve uma mudança na API do YouTube ou que o vídeo específico não está acessível (por cobertura de direitos autorais, privacidade, etc.).

    Solução Potencial

    1. Atualizar pytube: Primeiramente, verifique se você está usando a versão mais recente do pytube. Eles frequentemente atualizam a biblioteca para corrigir problemas relacionados a mudanças na API do YouTube. Você pode atualizar a biblioteca com o seguinte comando:

      pip install --upgrade pytube
      
    2. Verificar o Vídeo: Certifique-se de que o vídeo que você está tentando acessar está público e disponível na sua região. Algumas vezes, vídeos privados ou restritos por região não podem ser acessados.

    3. Uso de Exceções: Você pode querer adicionar um manuseio de exceções ao seu código para lidar com situações em que a biblioteca não consegue acessar o vídeo. Isso pode melhorar a experiência do usuário.

    Aqui está um exemplo de como você pode adicionar um tratamento de erros ao seu código:

    def get_youtube_transcript(video_url):
        try:
            loader = YoutubeLoader.from_youtube_url(video_url, add_video_info=True, language=["pt", "en"])
            transcript = loader.load()
            
            text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=100)
            docs = text_splitter.split_documents(transcript)
            
            return docs
        except Exception as e:
            st.error(f"Ocorreu um erro ao tentar carregar o vídeo: {e}")
            return []
    

    Outros Pontos de Interesse

    • Verifique a URL: Também, verifique se a URL do vídeo está correta e acessível.

    • Relatar Bug: Se você continuar a ter esse problema com vídeos que você sabe que são acessíveis, você pode considerar abrir um bug no repositório do pytube, conforme sugerido no erro.

    Se essas soluções não resolverem o problema, você pode tentar reproduzir o erro com diferentes urls de vídeos para determinar se o problema é específico do vídeo que você está tentando carregar.

  5. User

    esse é o codigo atual:

    from langchain_text_splitters import RecursiveCharacterTextSplitter from langchain_community.document_loaders import YoutubeLoader from langchain_groq import ChatGroq from langchain_core.prompts import ChatPromptTemplate, PromptTemplate from dotenv import load_dotenv

    import streamlit as st

    Carregar variáveis de ambiente

    load_dotenv()

    Configurar o modelo

    llm = ChatGroq(model="llama3-8b-8192", temperature=1)

    prompt = PromptTemplate(input_variables=["script"], template=" Fazça um resumo completo desde script: {script}")

    def get_youtube_transcript(video_url): loader = YoutubeLoader.from_youtube_url( video_url, add_video_info=True, language=["pt", "en"],

    )
    
    transcript = loader.load()
    
    text_splitter = RecursiveCharacterTextSplitter(
        chunk_size=1000,
        chunk_overlap=100
        
    )
    
    docs = text_splitter.split_documents(transcript)
    
    return docs
    

    video_url = input("Digite o link do video: ") transcript_chunks = get_youtube_transcript(video_url) model = prompt | llm

    print(model.invoke({"script":transcript_chunks}).content)

  6. Assistant

    Vamos revisar o seu código e aplicar algumas melhorias, além de adicionar um tratamento de erros para que ele possa lidar melhor com as exceções ao buscar o transcript do vídeo do YouTube.

    Aqui está a versão atualizada do seu código com as melhorias sugeridas:

    from langchain_text_splitters import RecursiveCharacterTextSplitter
    from langchain_community.document_loaders import YoutubeLoader
    from langchain_groq import ChatGroq
    from langchain_core.prompts import ChatPromptTemplate, PromptTemplate
    from dotenv import load_dotenv
    import streamlit as st
    
    # Carregar variáveis de ambiente
    load_dotenv()
    
    # Configurar o modelo
    llm = ChatGroq(model="llama3-8b-8192", temperature=1)
    
    prompt = PromptTemplate(input_variables=["script"], template="Faça um resumo completo deste script: {script}")
    
    def get_youtube_transcript(video_url):
        try:
            loader = YoutubeLoader.from_youtube_url(
                video_url,
                add_video_info=True,
                language=["pt", "en"],
            )
    
            transcript = loader.load()
    
            text_splitter = RecursiveCharacterTextSplitter(
                chunk_size=1000,
                chunk_overlap=100
            )
    
            docs = text_splitter.split_documents(transcript)
    
            return docs
        except Exception as e:
            st.error(f"Erro ao tentar carregar o vídeo: {e}")
            return []
    
    def main():
        st.title("Resumo de Vídeos do YouTube")
    
        video_url = st.text_input("Digite o link do vídeo:")
        
        if video_url:
            transcript_chunks = get_youtube_transcript(video_url)
    
            if transcript_chunks:  # Verifique se a lista não está vazia
                # Concatenar todos os chunks em uma única string
                full_transcript = " ".join([chunk.page_content for chunk in transcript_chunks])
    
                # Formatar o prompt
                input_data = prompt.format(script=full_transcript)
    
                # Chamar o modelo com o prompt formatado
                response = llm.invoke({"script": input_data})
    
                st.subheader("Resumo:")
                st.write(response.content)
            else:
                st.warning("Nenhum transcript foi encontrado.")
    
    if __name__ == "__main__":
        main()
    

    Melhoria e Correções:

    1. Streamlit: O código foi ajustado para usar a API do Streamlit na entrada de texto (st.text_input) e exibir mensagens apropriadas ao usuário.

    2. Tratamento de Exceções: Um bloco try-except foi adicionado à função get_youtube_transcript para capturar erros e exibir mensagens adequadas no Streamlit.

    3. Verificação de Transcritas: Antes de tentar usar a saída da função get_youtube_transcript, agora há uma verificação para garantir que existem transcript_chunks disponíveis.

    4. Concatenar Chunks: Se transcript_chunks não estiver vazio, ele é concatenado em uma única string que é passada para o modelo.

    5. Interface do Usuário: Mensagens de aviso e erro são exibidas usando st.warning e st.error para melhorar a experiência do usuário.

    Testes:

    Agora, você pode testar o aplicativo do Streamlit para verificar se ele consegue lidar corretamente com URLs de vídeos do YouTube e exibir um resumo. Lembre-se também de verificar se a versão do pytube está atualizada, já que muitos problemas estão relacionados a mudanças frequentes na API do YouTube.

  7. User

    Erro ao tentar carregar o vídeo: Exception while accessing title of https://youtube.com/watch?v=BKp0dmCmuzE. Please file a bug report at https://github.com/pytube/pytube

    Nenhum transcript foi encontrado.

  8. Assistant

    O erro que você está enfrentando - onde o pytube não consegue acessar o título do vídeo do YouTube - é um problema comum, especialmente quando há mudanças na API do YouTube. Isso pode afetar a capacidade de extrair informações do vídeo, incluindo a transcrição. Aqui estão algumas etapas que você pode seguir para tentar resolver esse problema:

    1. Verifique a versão de pytube

    Se ainda não o fez, certifique-se de que você está utilizando a versão mais recente do pytube. Execute o seguinte comando para atualizar:

    pip install --upgrade pytube
    

    2. Teste outro vídeo

    Verifique se o problema está relacionado a um vídeo específico. Tente usar um URL de vídeo diferente que você tenha certeza de que é público e acessível no seu país.

    3. Manipulação de Erros

    Adicione mais detalhes ao tratamento de exceções para entender melhor o que está acontecendo. Você pode logar ou imprimir a exceção completa para ter mais contexto sobre o erro:

    def get_youtube_transcript(video_url):
        try:
            loader = YoutubeLoader.from_youtube_url(
                video_url,
                add_video_info=True,
                language=["pt", "en"],
            )
    
            transcript = loader.load()
            text_splitter = RecursiveCharacterTextSplitter(
                chunk_size=1000,
                chunk_overlap=100
            )
    
            docs = text_splitter.split_documents(transcript)
    
            return docs
        except Exception as e:
            st.error(f"Erro ao tentar carregar o vídeo: {str(e)}")  # Exibir a mensagem completa da exceção
            return []
    

    4. Considerações Temporárias

    Caso o problema persista e você não consiga carregar os vídeos, isso pode ser um bug temporário na biblioteca pytube ou mudanças na API do YouTube. Nesse caso, você pode:

    • Verificar o repositório do pytube no GitHub: É possível que outros usuários tenham relatado o mesmo problema e que haja soluções temporárias ou prazos de correção em andamento.

    • Alternativas: Se precisar de uma solução de curto prazo, você pode pesquisar se existem outras bibliotecas para extração de transcrição de vídeos do YouTube, ou mesmo tentar capturar o áudio e usar ferramentas de transcrição de áudio, embora isso possa ser mais trabalhoso.

    5. aguarde uma atualização

    Por fim, o pytube desenvolve atualizações de forma contínua quando há alterações na API do YouTube. Fique de olho nas atualizações e nos comentários no GitHub para ver se o problema está sendo resolvido.

    Testar Localmente

    Caso precise de um exemplo de vídeo que você sabe que está funcionando, tente usar um vídeo que você sabe que "funciona" normalmente com pytube para testar a integração:

    # Exemplo de vídeo que deve funcionar, substitua por um vídeo que você sabe que é válido
    video_url = "https://www.youtube.com/watch?v=dQw4w9WgXcQ"  # Exemplo fictício
    

    Experimente essas sugestões e veja se ajudam a resolver o problema que você está enfrentando ao tentar acessar o vídeo.

  9. User

    me de o codigo completo

  10. Assistant

    Claro! Aqui está o código completo com as melhorias e o tratamento de excepcões para carregar transcrições de vídeos do YouTube usando o langchain, pytube, e streamlit:

    from langchain_text_splitters import RecursiveCharacterTextSplitter
    from langchain_community.document_loaders import YoutubeLoader
    from langchain_groq import ChatGroq
    from langchain_core.prompts import PromptTemplate
    from dotenv import load_dotenv
    import streamlit as st
    
    # Carregar variáveis de ambiente
    load_dotenv()
    
    # Configurar o modelo
    llm = ChatGroq(model="llama3-8b-8192", temperature=1)
    
    # Prompt para o modelo
    prompt = PromptTemplate(input_variables=["script"], template="Faça um resumo completo deste script: {script}")
    
    def get_youtube_transcript(video_url):
        try:
            loader = YoutubeLoader.from_youtube_url(
                video_url,
                add_video_info=True,
                language=["pt", "en"],
            )
    
            transcript = loader.load()
    
            # Usar um splitter para dividir o transcript em chunks
            text_splitter = RecursiveCharacterTextSplitter(
                chunk_size=1000,
                chunk_overlap=100
            )
    
            docs = text_splitter.split_documents(transcript)
    
            return docs
        except Exception as e:
            st.error(f"Erro ao tentar carregar o vídeo: {str(e)}")  # Exibir a mensagem completa da exceção
            return []
    
    def main():
        st.title("Resumo de Vídeos do YouTube")
    
        video_url = st.text_input("Digite o link do vídeo:")
        
        if video_url:
            transcript_chunks = get_youtube_transcript(video_url)
    
            if transcript_chunks:  # Verifique se a lista não está vazia
                # Concatenar todos os chunks em uma única string
                full_transcript = " ".join([chunk.page_content for chunk in transcript_chunks])
    
                # Formatar o prompt
                input_data = prompt.format(script=full_transcript)
    
                # Chamar o modelo com o prompt formatado
                response = llm.invoke({"script": input_data})
    
                st.subheader("Resumo:")
                st.write(response.content)
            else:
                st.warning("Nenhum transcript foi encontrado.")
    
    if __name__ == "__main__":
        main()
    

    Instruções para Uso:

    1. Instale as Dependências: Certifique-se de ter todas as bibliotecas necessárias instaladas. Execute:

      pip install langchain langchain-groq langchain-community pytube streamlit python-dotenv
      
    2. Configuração do Modelo: Altere a configuração do modelo se necessário, dependendo de seu ambiente e do modelo preciso que você deseja usar.

    3. Execute o Aplicativo: Salve este código em um arquivo chamado, por exemplo, app.py. Para executar o aplicativo, utilize o seguinte comando no terminal:

      streamlit run app.py
      
    4. Interface do Usuário: Acesse a URL fornecida pelo Streamlit no terminal (geralmente http://localhost:8501) e insira o link do vídeo do YouTube para obter o resumo.

    Observações:

    • Tratamento de Erros: O código agora inclui tratamento de erros para fornecer feedback ao usuário em caso de problemas ao acessar o vídeo.
    • Resumos: Certifique-se de que o vídeo do YouTube seja público e acessível. Se enfrentar erros persistentes com determinados vídeos, teste outros links.

    Experimente o aplicativo e veja como ele se comporta com diferentes vídeos. Se houver qualquer outro problema, não hesite em pedir ajuda!