Skip to content
TheChatArchiveThe Chat Archive
gpt-4o-2024-08-06· OpenAIAi2 WildChat-4.8M (AI2)

como extraer el Transcript de una pagina de youtube , haz las modificaciones en este…

  1. User

    como extraer el Transcript de una pagina de youtube , haz las modificaciones en este codigo: "import requests from bs4 import BeautifulSoup import PyPDF2 from io import BytesIO

    def fetch_text_from_url(url): """ Obtiene el texto de una URL que puede ser un documento HTML o PDF.

    :param url: Una cadena que representa la URL de la que se desea obtener el texto.
    :return: Una tupla (tipo_de_contenido, texto) donde 'tipo_de_contenido' es 'html', 'pdf' o 'other',
             y 'texto' es el texto extraído o un mensaje de error.
    """
    
    def check_url_content_type(url):
        try:
            response = requests.head(url, allow_redirects=True)
            content_type = response.headers.get('Content-Type', '').lower()
            
            if 'application/pdf' in content_type:
                return 'pdf'
            elif 'text/html' in content_type:
                return 'html'
            else:
                return 'other'
        except requests.exceptions.RequestException as e:
            return None
    
    headers = {
        'User-Agent': ('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
                       '(KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36'),
        'Accept-Language': 'en-US,en;q=0.9',
    }
    
    try:
        response = requests.get(url, headers=headers)
        response.raise_for_status()
        
        content_type = check_url_content_type(url)
    
        if content_type == 'html':
            soup = BeautifulSoup(response.text, 'html.parser')
            text = soup.get_text()
            formatted_text = '\n'.join([line.strip() for line in text.splitlines() if line.strip()])
            return 'html', formatted_text
    
        elif content_type == 'pdf':
            pdf_file = BytesIO(response.content)
            pdf_reader = PyPDF2.PdfReader(pdf_file)
    
            pdf_text = ''
            for page in pdf_reader.pages:
                if len(pdf_text) > 100000:
                    break
                pdf_text += page.extract_text()
            return 'pdf', pdf_text
    
        else:
            return 'other', 'Tipo de contenido no soportado o desconocido.'
    
    except requests.exceptions.RequestException as e:
        return 'error', f'Error al realizar la solicitud: {e}'
    
    except Exception as e:
        return 'error', f'Ocurrió un error: {e}'"
    
  2. Assistant

    Para extraer transcripciones de los videos de YouTube, necesitarás interactuar con la página de YouTube de una manera diferente. YouTube ofrece una interfaz para obtener transcripciones, pero esto no se hace a través de una simple solicitud HTTP como en el caso de descargar archivos HTML o PDF. Además, YouTube tiene protecciones que pueden bloquear solicitudes automatizadas, y el uso de la API de YouTube es más adecuado para obtener datos de YouTube de manera eficiente y conforme a sus políticas.

    Para realizar esta tarea, debes considerar lo siguiente:

    1. Utilizar la API de YouTube: Puedes usar la API de YouTube, que necesita autenticación mediante OAuth y claves de API, para obtener información estructurada sobre videos.

    2. Raspar el sitio web de YouTube: Este método es más propenso a cambios y al bloqueo por parte de YouTube. Puedes intentar utilizar herramientas de automatización como Selenium para manejar JavaScript, si decides ranpar.

    A continuación, te mostraré una manera de raspar el contenido usando youtube_transcript_api, una biblioteca existente que simplifica la tarea de obtener transcripciones de videos de YouTube:

    Primero, instala la librería:

    pip install youtube-transcript-api
    

    Luego, utiliza el siguiente código modificado que incorpora la obtención de transcripciones de YouTube:

    from youtube_transcript_api import YouTubeTranscriptApi
    import requests
    from bs4 import BeautifulSoup
    import PyPDF2
    from io import BytesIO
    
    def fetch_text_from_url(url):
        """
        Obtiene texto de una URL de YouTube u otros documentos HTML o PDF.
        
        :param url: Una cadena que representa la URL de la que se desea obtener el texto.
        :return: Una tupla (tipo_de_contenido, texto) donde 'tipo_de_contenido' es 'html', 'pdf', 'youtube' o 'other',
                 y 'texto' es el texto extraído o un mensaje de error.
        """
    
        def check_url_content_type(url):
            try:
                response = requests.head(url, allow_redirects=True)
                content_type = response.headers.get('Content-Type', '').lower()
    
                if 'application/pdf' in content_type:
                    return 'pdf'
                elif 'text/html' in content_type:
                    return 'html'
                elif 'youtube' in url:
                    return 'youtube'
                else:
                    return 'other'
            except requests.exceptions.RequestException:
                return None
    
        headers = {
            'User-Agent': ('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
                           '(KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36'),
            'Accept-Language': 'en-US,en;q=0.9',
        }
    
        try:
            # Para analizar qué tipo de contenido se tiene
            content_type = check_url_content_type(url)
    
            if content_type == 'youtube':
                # Extraer el video_id de la URL de YouTube
                if 'v=' in url:
                    video_id = url.split('v=')[1].split('&')[0]
                
                    # Obtener la transcripción usando youtube_transcript_api
                    try:
                        transcript_list = YouTubeTranscriptApi.get_transcript(video_id)
                        transcript_text = "\n".join([entry['text'] for entry in transcript_list])
                        return 'youtube', transcript_text
                    except Exception as e:
                        return 'error', f'No se pudo obtener la transcripción: {e}'
    
            response = requests.get(url, headers=headers)
            response.raise_for_status()
    
            if content_type == 'html':
                soup = BeautifulSoup(response.text, 'html.parser')
                text = soup.get_text()
                formatted_text = '\n'.join([line.strip() for line in text.splitlines() if line.strip()])
                return 'html', formatted_text
    
            elif content_type == 'pdf':
                pdf_file = BytesIO(response.content)
                pdf_reader = PyPDF2.PdfReader(pdf_file)
    
                pdf_text = ''
                for page in pdf_reader.pages:
                    if len(pdf_text) > 100000:
                        break
                    pdf_text += page.extract_text()
                return 'pdf', pdf_text
    
            else:
                return 'other', 'Tipo de contenido no soportado o desconocido.'
    
        except requests.exceptions.RequestException as e:
            return 'error', f'Error al realizar la solicitud: {e}'
    
        except Exception as e:
            return 'error', f'Ocurrió un error: {e}'
    
    # Ejemplo de uso
    url_youtube = 'https://www.youtube.com/watch?v=tu_video_id'
    tipo, texto = fetch_text_from_url(url_youtube)
    print(f'Tipo de contenido: {tipo}')
    print(f'Texto extraído: {texto}')
    

    Este código detectará automáticamente si la URL proporcionada es de YouTube y, de ser así, tratará de extraer el video ID para obtener la transcripción usando youtube_transcript_api. Asegúrate de tener permisos para acceder a las transcripciones y que estas estén disponibles públicamente.