from langchaintextsplitters import RecursiveCharacterTextSplitter from…
- User
from langchain_text_splitters import RecursiveCharacterTextSplitter from langchain_community.document_loaders import YoutubeLoader from langchain_groq import ChatGroq from langchain_core.prompts import ChatPromptTemplate, PromptTemplate from dotenv import load_dotenv
import streamlit as st
Carregar variáveis de ambiente
load_dotenv()
Configurar o modelo
llm = ChatGroq(model="llama3-8b-8192", temperature=1)
prompt = PromptTemplate(input_variables=["script"], template=" Fazça um resumo completo desde script: {script}")
def get_youtube_transcript(video_url): loader = YoutubeLoader.from_youtube_url( video_url, add_video_info=True, language=["pt", "en"],
) transcript = loader.load() text_splitter = RecursiveCharacterTextSplitter( chunk_size=1000, chunk_overlap=100 ) docs = text_splitter.split_documents(transcript) return docsvideo_url = input("Digite o link do video: ") transcript_chunks = get_youtube_transcript(video_url) model = prompt | llm
print(model.invoke({"script":transcript_chunks}).content)
algo errado?
- Assistant
O código fornecido apresenta algumas questões que podem causar problemas ou não funcionar conforme o esperado. Aqui estão algumas sugestões e correções:
Problemas Potenciais:
-
Modo de Leitura do URL: O uso de
input()pode não funcionar bem em um ambiente Streamlit. Em Streamlit, você deve usar funções específicas para receber entradas do usuário. -
Concatenação dos Textos: O
chatdeve ser alimentado com um único texto ou com um formato aceito. Setranscript_chunksé uma lista, isso pode causar erros quando passado para o modelo. -
Uso de
|para Compor Prompt e LLM: A maneira como você está tentando compor oPromptTemplateellmpode ser inadequada. Dependendo de como esses objetos são implementados em LangChain, a combinação pode ser diferente.
Sugestões de Correção:
Aqui está uma versão revista do seu código:
from langchain_text_splitters import RecursiveCharacterTextSplitter from langchain_community.document_loaders import YoutubeLoader from langchain_groq import ChatGroq from langchain_core.prompts import ChatPromptTemplate, PromptTemplate from dotenv import load_dotenv import streamlit as st # Carregar variáveis de ambiente load_dotenv() # Configurar o modelo llm = ChatGroq(model="llama3-8b-8192", temperature=1) prompt = PromptTemplate(input_variables=["script"], template="Faz um resumo completo deste script: {script}") def get_youtube_transcript(video_url): loader = YoutubeLoader.from_youtube_url( video_url, add_video_info=True, language=["pt", "en"], ) transcript = loader.load() text_splitter = RecursiveCharacterTextSplitter( chunk_size=1000, chunk_overlap=100 ) docs = text_splitter.split_documents(transcript) return docs def main(): st.title("Resumo de Vídeos do YouTube") video_url = st.text_input("Digite o link do video:") if video_url: transcript_chunks = get_youtube_transcript(video_url) # Concatenar todos os chunks em uma única string full_transcript = " ".join([chunk.page_content for chunk in transcript_chunks]) final_prompt = prompt.format(script=full_transcript) # Chamar o modelo com o prompt formatado response = llm.invoke({"script": final_prompt}) st.subheader("Resumo:") st.write(response.content) if __name__ == "__main__": main()Algumas Observações Sobre a Código Corrigido:
-
Streamlit: Utiliza
st.text_inputpara capturar a entrada do usuário dentro da interface Streamlit. -
Concatenação dos
transcript_chunks: Usajoinpara criar um texto contínuo a partir dos documentos divididos. -
Envio do Prompt: Formata corretamente o
promptantes de enviá-lo para o modelo.
Certifique-se de que as bibliotecas utilizadas estão instaladas e atualizadas para evitar problemas de compatibilidade.
-
- User
Digite o link do video: https://www.youtube.com/watch?v=8FgOARC4DP8 2025-01-09 02:47:24.917 Uncaught app execution Traceback (most recent call last): File "C:\Users\Wendel\Documents\langchain\venv\Lib\site-packages\pytube_main_.py", line 341, in title self._title = self.vid_info['videoDetails']['title']
~~~~~~~~~~~~~^^^^^^^^^^^^^^^^ KeyError: 'videoDetails'During handling of the above exception, another exception occurred:
Traceback (most recent call last): File "C:\Users\Wendel\Documents\langchain\venv\Lib\site-packages\streamlit\runtime\scriptrunner\exec_code.py", line 88, in exec_func_with_error_handling result = func() ^^^^^^ File "C:\Users\Wendel\Documents\langchain\venv\Lib\site-packages\streamlit\runtime\scriptrunner\script_runner.py", line 579, in code_to_exec exec(code, module.dict) File "C:\Users\Wendel\Documents\langchain\main_yt.py", line 38, in transcript_chunks = get_youtube_transcript(video_url)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\Wendel\Documents\langchain\main_yt.py", line 25, in get_youtube_transcript transcript = loader.load() ^^^^^^^^^^^^^ File "C:\Users\Wendel\Documents\langchain\venv\Lib\site-packages\langchain_community\document_loaders\youtube.py", line 257, in load video_info = self._get_video_info() ^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\Wendel\Documents\langchain\venv\Lib\site-packages\langchain_community\document_loaders\youtube.py", line 324, in get_video_info "title": yt.title or "Unknown", ^^^^^^^^ File "C:\Users\Wendel\Documents\langchain\venv\Lib\site-packages\pytube_main.py", line 346, in title raise exceptions.PytubeError( pytube.exceptions.PytubeError: Exception while accessing title of https://youtube.com/watch?v=8FgOARC4DP8. Please file a bug report at https://github.com/pytube/pytube - Assistant
O erro que você está enfrentando se refere à biblioteca
pytube, que está sendo usada para extrair informações de vídeos do YouTube. A partir da mensagem de erro, parece que opytubenão conseguiu acessar os detalhes do vídeo, especificamente a chavevideoDetails, o que geralmente indica que houve uma mudança na API do YouTube ou que o vídeo específico não está acessível (por cobertura de direitos autorais, privacidade, etc.).Solução Potencial
-
Atualizar
pytube: Primeiramente, verifique se você está usando a versão mais recente dopytube. Eles frequentemente atualizam a biblioteca para corrigir problemas relacionados a mudanças na API do YouTube. Você pode atualizar a biblioteca com o seguinte comando:pip install --upgrade pytube -
Verificar o Vídeo: Certifique-se de que o vídeo que você está tentando acessar está público e disponível na sua região. Algumas vezes, vídeos privados ou restritos por região não podem ser acessados.
-
Uso de Exceções: Você pode querer adicionar um manuseio de exceções ao seu código para lidar com situações em que a biblioteca não consegue acessar o vídeo. Isso pode melhorar a experiência do usuário.
Aqui está um exemplo de como você pode adicionar um tratamento de erros ao seu código:
def get_youtube_transcript(video_url): try: loader = YoutubeLoader.from_youtube_url(video_url, add_video_info=True, language=["pt", "en"]) transcript = loader.load() text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=100) docs = text_splitter.split_documents(transcript) return docs except Exception as e: st.error(f"Ocorreu um erro ao tentar carregar o vídeo: {e}") return []Outros Pontos de Interesse
-
Verifique a URL: Também, verifique se a URL do vídeo está correta e acessível.
-
Relatar Bug: Se você continuar a ter esse problema com vídeos que você sabe que são acessíveis, você pode considerar abrir um bug no repositório do
pytube, conforme sugerido no erro.
Se essas soluções não resolverem o problema, você pode tentar reproduzir o erro com diferentes urls de vídeos para determinar se o problema é específico do vídeo que você está tentando carregar.
-
- User
esse é o codigo atual:
from langchain_text_splitters import RecursiveCharacterTextSplitter from langchain_community.document_loaders import YoutubeLoader from langchain_groq import ChatGroq from langchain_core.prompts import ChatPromptTemplate, PromptTemplate from dotenv import load_dotenv
import streamlit as st
Carregar variáveis de ambiente
load_dotenv()
Configurar o modelo
llm = ChatGroq(model="llama3-8b-8192", temperature=1)
prompt = PromptTemplate(input_variables=["script"], template=" Fazça um resumo completo desde script: {script}")
def get_youtube_transcript(video_url): loader = YoutubeLoader.from_youtube_url( video_url, add_video_info=True, language=["pt", "en"],
) transcript = loader.load() text_splitter = RecursiveCharacterTextSplitter( chunk_size=1000, chunk_overlap=100 ) docs = text_splitter.split_documents(transcript) return docsvideo_url = input("Digite o link do video: ") transcript_chunks = get_youtube_transcript(video_url) model = prompt | llm
print(model.invoke({"script":transcript_chunks}).content)
- Assistant
Vamos revisar o seu código e aplicar algumas melhorias, além de adicionar um tratamento de erros para que ele possa lidar melhor com as exceções ao buscar o transcript do vídeo do YouTube.
Aqui está a versão atualizada do seu código com as melhorias sugeridas:
from langchain_text_splitters import RecursiveCharacterTextSplitter from langchain_community.document_loaders import YoutubeLoader from langchain_groq import ChatGroq from langchain_core.prompts import ChatPromptTemplate, PromptTemplate from dotenv import load_dotenv import streamlit as st # Carregar variáveis de ambiente load_dotenv() # Configurar o modelo llm = ChatGroq(model="llama3-8b-8192", temperature=1) prompt = PromptTemplate(input_variables=["script"], template="Faça um resumo completo deste script: {script}") def get_youtube_transcript(video_url): try: loader = YoutubeLoader.from_youtube_url( video_url, add_video_info=True, language=["pt", "en"], ) transcript = loader.load() text_splitter = RecursiveCharacterTextSplitter( chunk_size=1000, chunk_overlap=100 ) docs = text_splitter.split_documents(transcript) return docs except Exception as e: st.error(f"Erro ao tentar carregar o vídeo: {e}") return [] def main(): st.title("Resumo de Vídeos do YouTube") video_url = st.text_input("Digite o link do vídeo:") if video_url: transcript_chunks = get_youtube_transcript(video_url) if transcript_chunks: # Verifique se a lista não está vazia # Concatenar todos os chunks em uma única string full_transcript = " ".join([chunk.page_content for chunk in transcript_chunks]) # Formatar o prompt input_data = prompt.format(script=full_transcript) # Chamar o modelo com o prompt formatado response = llm.invoke({"script": input_data}) st.subheader("Resumo:") st.write(response.content) else: st.warning("Nenhum transcript foi encontrado.") if __name__ == "__main__": main()Melhoria e Correções:
-
Streamlit: O código foi ajustado para usar a API do Streamlit na entrada de texto (
st.text_input) e exibir mensagens apropriadas ao usuário. -
Tratamento de Exceções: Um bloco
try-exceptfoi adicionado à funçãoget_youtube_transcriptpara capturar erros e exibir mensagens adequadas no Streamlit. -
Verificação de Transcritas: Antes de tentar usar a saída da função
get_youtube_transcript, agora há uma verificação para garantir que existemtranscript_chunksdisponíveis. -
Concatenar Chunks: Se
transcript_chunksnão estiver vazio, ele é concatenado em uma única string que é passada para o modelo. -
Interface do Usuário: Mensagens de aviso e erro são exibidas usando
st.warningest.errorpara melhorar a experiência do usuário.
Testes:
Agora, você pode testar o aplicativo do Streamlit para verificar se ele consegue lidar corretamente com URLs de vídeos do YouTube e exibir um resumo. Lembre-se também de verificar se a versão do
pytubeestá atualizada, já que muitos problemas estão relacionados a mudanças frequentes na API do YouTube. -
- User
Erro ao tentar carregar o vídeo: Exception while accessing title of https://youtube.com/watch?v=BKp0dmCmuzE. Please file a bug report at https://github.com/pytube/pytube
Nenhum transcript foi encontrado.
- Assistant
O erro que você está enfrentando - onde o
pytubenão consegue acessar o título do vídeo do YouTube - é um problema comum, especialmente quando há mudanças na API do YouTube. Isso pode afetar a capacidade de extrair informações do vídeo, incluindo a transcrição. Aqui estão algumas etapas que você pode seguir para tentar resolver esse problema:1. Verifique a versão de
pytubeSe ainda não o fez, certifique-se de que você está utilizando a versão mais recente do
pytube. Execute o seguinte comando para atualizar:pip install --upgrade pytube2. Teste outro vídeo
Verifique se o problema está relacionado a um vídeo específico. Tente usar um URL de vídeo diferente que você tenha certeza de que é público e acessível no seu país.
3. Manipulação de Erros
Adicione mais detalhes ao tratamento de exceções para entender melhor o que está acontecendo. Você pode logar ou imprimir a exceção completa para ter mais contexto sobre o erro:
def get_youtube_transcript(video_url): try: loader = YoutubeLoader.from_youtube_url( video_url, add_video_info=True, language=["pt", "en"], ) transcript = loader.load() text_splitter = RecursiveCharacterTextSplitter( chunk_size=1000, chunk_overlap=100 ) docs = text_splitter.split_documents(transcript) return docs except Exception as e: st.error(f"Erro ao tentar carregar o vídeo: {str(e)}") # Exibir a mensagem completa da exceção return []4. Considerações Temporárias
Caso o problema persista e você não consiga carregar os vídeos, isso pode ser um bug temporário na biblioteca
pytubeou mudanças na API do YouTube. Nesse caso, você pode:-
Verificar o repositório do
pytubeno GitHub: É possível que outros usuários tenham relatado o mesmo problema e que haja soluções temporárias ou prazos de correção em andamento. -
Alternativas: Se precisar de uma solução de curto prazo, você pode pesquisar se existem outras bibliotecas para extração de transcrição de vídeos do YouTube, ou mesmo tentar capturar o áudio e usar ferramentas de transcrição de áudio, embora isso possa ser mais trabalhoso.
5. aguarde uma atualização
Por fim, o
pytubedesenvolve atualizações de forma contínua quando há alterações na API do YouTube. Fique de olho nas atualizações e nos comentários no GitHub para ver se o problema está sendo resolvido.Testar Localmente
Caso precise de um exemplo de vídeo que você sabe que está funcionando, tente usar um vídeo que você sabe que "funciona" normalmente com
pytubepara testar a integração:# Exemplo de vídeo que deve funcionar, substitua por um vídeo que você sabe que é válido video_url = "https://www.youtube.com/watch?v=dQw4w9WgXcQ" # Exemplo fictícioExperimente essas sugestões e veja se ajudam a resolver o problema que você está enfrentando ao tentar acessar o vídeo.
-
- User
me de o codigo completo
- Assistant
Claro! Aqui está o código completo com as melhorias e o tratamento de excepcões para carregar transcrições de vídeos do YouTube usando o
langchain,pytube, estreamlit:from langchain_text_splitters import RecursiveCharacterTextSplitter from langchain_community.document_loaders import YoutubeLoader from langchain_groq import ChatGroq from langchain_core.prompts import PromptTemplate from dotenv import load_dotenv import streamlit as st # Carregar variáveis de ambiente load_dotenv() # Configurar o modelo llm = ChatGroq(model="llama3-8b-8192", temperature=1) # Prompt para o modelo prompt = PromptTemplate(input_variables=["script"], template="Faça um resumo completo deste script: {script}") def get_youtube_transcript(video_url): try: loader = YoutubeLoader.from_youtube_url( video_url, add_video_info=True, language=["pt", "en"], ) transcript = loader.load() # Usar um splitter para dividir o transcript em chunks text_splitter = RecursiveCharacterTextSplitter( chunk_size=1000, chunk_overlap=100 ) docs = text_splitter.split_documents(transcript) return docs except Exception as e: st.error(f"Erro ao tentar carregar o vídeo: {str(e)}") # Exibir a mensagem completa da exceção return [] def main(): st.title("Resumo de Vídeos do YouTube") video_url = st.text_input("Digite o link do vídeo:") if video_url: transcript_chunks = get_youtube_transcript(video_url) if transcript_chunks: # Verifique se a lista não está vazia # Concatenar todos os chunks em uma única string full_transcript = " ".join([chunk.page_content for chunk in transcript_chunks]) # Formatar o prompt input_data = prompt.format(script=full_transcript) # Chamar o modelo com o prompt formatado response = llm.invoke({"script": input_data}) st.subheader("Resumo:") st.write(response.content) else: st.warning("Nenhum transcript foi encontrado.") if __name__ == "__main__": main()Instruções para Uso:
-
Instale as Dependências: Certifique-se de ter todas as bibliotecas necessárias instaladas. Execute:
pip install langchain langchain-groq langchain-community pytube streamlit python-dotenv -
Configuração do Modelo: Altere a configuração do modelo se necessário, dependendo de seu ambiente e do modelo preciso que você deseja usar.
-
Execute o Aplicativo: Salve este código em um arquivo chamado, por exemplo,
app.py. Para executar o aplicativo, utilize o seguinte comando no terminal:streamlit run app.py -
Interface do Usuário: Acesse a URL fornecida pelo Streamlit no terminal (geralmente
http://localhost:8501) e insira o link do vídeo do YouTube para obter o resumo.
Observações:
- Tratamento de Erros: O código agora inclui tratamento de erros para fornecer feedback ao usuário em caso de problemas ao acessar o vídeo.
- Resumos: Certifique-se de que o vídeo do YouTube seja público e acessível. Se enfrentar erros persistentes com determinados vídeos, teste outros links.
Experimente o aplicativo e veja como ele se comporta com diferentes vídeos. Se houver qualquer outro problema, não hesite em pedir ajuda!
-