como extraer el Transcript de una pagina de youtube , haz las modificaciones en este…
- User
como extraer el Transcript de una pagina de youtube , haz las modificaciones en este codigo: "import requests from bs4 import BeautifulSoup import PyPDF2 from io import BytesIO
def fetch_text_from_url(url): """ Obtiene el texto de una URL que puede ser un documento HTML o PDF.
:param url: Una cadena que representa la URL de la que se desea obtener el texto. :return: Una tupla (tipo_de_contenido, texto) donde 'tipo_de_contenido' es 'html', 'pdf' o 'other', y 'texto' es el texto extraído o un mensaje de error. """ def check_url_content_type(url): try: response = requests.head(url, allow_redirects=True) content_type = response.headers.get('Content-Type', '').lower() if 'application/pdf' in content_type: return 'pdf' elif 'text/html' in content_type: return 'html' else: return 'other' except requests.exceptions.RequestException as e: return None headers = { 'User-Agent': ('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ' '(KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36'), 'Accept-Language': 'en-US,en;q=0.9', } try: response = requests.get(url, headers=headers) response.raise_for_status() content_type = check_url_content_type(url) if content_type == 'html': soup = BeautifulSoup(response.text, 'html.parser') text = soup.get_text() formatted_text = '\n'.join([line.strip() for line in text.splitlines() if line.strip()]) return 'html', formatted_text elif content_type == 'pdf': pdf_file = BytesIO(response.content) pdf_reader = PyPDF2.PdfReader(pdf_file) pdf_text = '' for page in pdf_reader.pages: if len(pdf_text) > 100000: break pdf_text += page.extract_text() return 'pdf', pdf_text else: return 'other', 'Tipo de contenido no soportado o desconocido.' except requests.exceptions.RequestException as e: return 'error', f'Error al realizar la solicitud: {e}' except Exception as e: return 'error', f'Ocurrió un error: {e}'" - Assistant
Para extraer transcripciones de los videos de YouTube, necesitarás interactuar con la página de YouTube de una manera diferente. YouTube ofrece una interfaz para obtener transcripciones, pero esto no se hace a través de una simple solicitud HTTP como en el caso de descargar archivos HTML o PDF. Además, YouTube tiene protecciones que pueden bloquear solicitudes automatizadas, y el uso de la API de YouTube es más adecuado para obtener datos de YouTube de manera eficiente y conforme a sus políticas.
Para realizar esta tarea, debes considerar lo siguiente:
-
Utilizar la API de YouTube: Puedes usar la API de YouTube, que necesita autenticación mediante OAuth y claves de API, para obtener información estructurada sobre videos.
-
Raspar el sitio web de YouTube: Este método es más propenso a cambios y al bloqueo por parte de YouTube. Puedes intentar utilizar herramientas de automatización como Selenium para manejar JavaScript, si decides ranpar.
A continuación, te mostraré una manera de raspar el contenido usando
youtube_transcript_api, una biblioteca existente que simplifica la tarea de obtener transcripciones de videos de YouTube:Primero, instala la librería:
pip install youtube-transcript-apiLuego, utiliza el siguiente código modificado que incorpora la obtención de transcripciones de YouTube:
from youtube_transcript_api import YouTubeTranscriptApi import requests from bs4 import BeautifulSoup import PyPDF2 from io import BytesIO def fetch_text_from_url(url): """ Obtiene texto de una URL de YouTube u otros documentos HTML o PDF. :param url: Una cadena que representa la URL de la que se desea obtener el texto. :return: Una tupla (tipo_de_contenido, texto) donde 'tipo_de_contenido' es 'html', 'pdf', 'youtube' o 'other', y 'texto' es el texto extraído o un mensaje de error. """ def check_url_content_type(url): try: response = requests.head(url, allow_redirects=True) content_type = response.headers.get('Content-Type', '').lower() if 'application/pdf' in content_type: return 'pdf' elif 'text/html' in content_type: return 'html' elif 'youtube' in url: return 'youtube' else: return 'other' except requests.exceptions.RequestException: return None headers = { 'User-Agent': ('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ' '(KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36'), 'Accept-Language': 'en-US,en;q=0.9', } try: # Para analizar qué tipo de contenido se tiene content_type = check_url_content_type(url) if content_type == 'youtube': # Extraer el video_id de la URL de YouTube if 'v=' in url: video_id = url.split('v=')[1].split('&')[0] # Obtener la transcripción usando youtube_transcript_api try: transcript_list = YouTubeTranscriptApi.get_transcript(video_id) transcript_text = "\n".join([entry['text'] for entry in transcript_list]) return 'youtube', transcript_text except Exception as e: return 'error', f'No se pudo obtener la transcripción: {e}' response = requests.get(url, headers=headers) response.raise_for_status() if content_type == 'html': soup = BeautifulSoup(response.text, 'html.parser') text = soup.get_text() formatted_text = '\n'.join([line.strip() for line in text.splitlines() if line.strip()]) return 'html', formatted_text elif content_type == 'pdf': pdf_file = BytesIO(response.content) pdf_reader = PyPDF2.PdfReader(pdf_file) pdf_text = '' for page in pdf_reader.pages: if len(pdf_text) > 100000: break pdf_text += page.extract_text() return 'pdf', pdf_text else: return 'other', 'Tipo de contenido no soportado o desconocido.' except requests.exceptions.RequestException as e: return 'error', f'Error al realizar la solicitud: {e}' except Exception as e: return 'error', f'Ocurrió un error: {e}' # Ejemplo de uso url_youtube = 'https://www.youtube.com/watch?v=tu_video_id' tipo, texto = fetch_text_from_url(url_youtube) print(f'Tipo de contenido: {tipo}') print(f'Texto extraído: {texto}')Este código detectará automáticamente si la URL proporcionada es de YouTube y, de ser así, tratará de extraer el video ID para obtener la transcripción usando
youtube_transcript_api. Asegúrate de tener permisos para acceder a las transcripciones y que estas estén disponibles públicamente. -