Skip to content
TheChatArchiveThe Chat Archive
gpt-4o-2024-08-06· OpenAIAi2 WildChat-4.8M (AI2)

corrige este codigo: ""import PyPDF2 import nltk from nltk.tokenize import wordtokenize…

  1. User

    corrige este codigo: ""import PyPDF2 import nltk from nltk.tokenize import word_tokenize

    Asegúrate de que el paquete 'punkt' está descargado

    nltk.download('punkt') # Descomenta esta línea si no lo has hecho ya

    ruta_pdf = r'C:\Users\david\Downloads\eMule\Incoming\games - Traveller - Classic - GDW - JTAS 12.pdf' max_tokens = 1000 contador_tokens = 0

    with open(ruta_pdf, 'rb') as archivo_pdf: lector_pdf = PyPDF2.PdfReader(archivo_pdf) print("paginas " + len(lector_pdf.pages)) for numero_pagina in range(len(lector_pdf.pages)):

        pagina = lector_pdf.pages[numero_pagina]
        texto = pagina.extract_text()
        
        # Tokenizar usando NLTK
        tokens = word_tokenize(texto, language='english')
        
        tokens_restantes = max_tokens - contador_tokens
        if tokens_restantes <= 0:
            break  # Hemos alcanzado el máximo de tokens
    
        tokens_a_mostrar = tokens[:tokens_restantes]
        
        contador_tokens += len(tokens_a_mostrar)
        
        # Convertir los tokens a texto
        texto_a_mostrar = ' '.join(tokens_a_mostrar)
        
        print(f"--- Página {numero_pagina + 1} ---\n")
        print(texto_a_mostrar)
        print("\n")
        
        if contador_tokens >= max_tokens:
            break""
    
  2. Assistant

    El código que has compartido tiene algunos problemas menores que deben corregirse para poder ejecutarlo correctamente:

    1. Al intentar imprimir el número de páginas del PDF con print("paginas " + len(lector_pdf.pages)), estás intentando concatenar un entero con una cadena, lo cual generará un error. Deberías convertir len(lector_pdf.pages) a una cadena usando str().

    2. Asegúrate de que estás usando una versión compatible de PyPDF2, pues la API puede cambiar entre versiones.

    Aquí tienes el código corregido:

    import PyPDF2
    import nltk
    from nltk.tokenize import word_tokenize
    
    # Asegúrate de que el paquete 'punkt' está descargado
    # nltk.download('punkt')  # Descomenta esta línea si no lo has hecho ya
    
    ruta_pdf = r'C:\Users\david\Downloads\eMule\Incoming\games - Traveller - Classic - GDW - JTAS 12.pdf'
    max_tokens = 1000
    contador_tokens = 0
    
    with open(ruta_pdf, 'rb') as archivo_pdf:
        lector_pdf = PyPDF2.PdfReader(archivo_pdf)
        print("Número de páginas: " + str(len(lector_pdf.pages)))
    
        for numero_pagina in range(len(lector_pdf.pages)):
            
            pagina = lector_pdf.pages[numero_pagina]
            texto = pagina.extract_text()
            
            # Tokenizar usando NLTK
            tokens = word_tokenize(texto, language='english')
            
            tokens_restantes = max_tokens - contador_tokens
            if tokens_restantes <= 0:
                break  # Hemos alcanzado el máximo de tokens
    
            tokens_a_mostrar = tokens[:tokens_restantes]
            
            contador_tokens += len(tokens_a_mostrar)
            
            # Convertir los tokens a texto
            texto_a_mostrar = ' '.join(tokens_a_mostrar)
            
            print(f"--- Página {numero_pagina + 1} ---\n")
            print(texto_a_mostrar)
            print("\n")
            
            if contador_tokens >= max_tokens:
                break
    

    Verifica que todos los módulos necesarios estén instalados (PyPDF2 y nltk). Si aún no tienes el paquete 'punkt' descargado, tendrás que descomentar la línea nltk.download('punkt') y ejecutarla una vez para realizar la descarga. Además, asegúrate de que la ruta al archivo PDF es correcta y que existe el archivo en esa ubicación.

  3. User

    haz una nueva version del codigo en el que se muestra todo el texto pero cada 1000 tokens pongas una linea con todo "***********************************************************" y lo de las paginas quitalo

  4. Assistant

    Aquí tienes una versión modificada del código en la que se muestra todo el texto del PDF, pero cada 1000 tokens se agrega una línea de separación con asteriscos. He eliminado la impresión del número de páginas y el encabezado de cada página tal como solicitaste:

    import PyPDF2
    import nltk
    from nltk.tokenize import word_tokenize
    
    # Asegúrate de que el paquete 'punkt' está descargado
    # nltk.download('punkt')  # Descomenta esta línea si no lo has hecho ya
    
    ruta_pdf = r'C:\Users\david\Downloads\eMule\Incoming\games - Traveller - Classic - GDW - JTAS 12.pdf'
    max_tokens = 1000
    
    with open(ruta_pdf, 'rb') as archivo_pdf:
        lector_pdf = PyPDF2.PdfReader(archivo_pdf)
    
        contador_tokens = 0
        for numero_pagina in range(len(lector_pdf.pages)):
            
            pagina = lector_pdf.pages[numero_pagina]
            texto = pagina.extract_text()
            
            # Tokenizar usando NLTK
            tokens = word_tokenize(texto, language='english')
            
            while contador_tokens < len(tokens):
                tokens_a_mostrar = tokens[contador_tokens:contador_tokens + max_tokens]
                texto_a_mostrar = ' '.join(tokens_a_mostrar)
                
                print(texto_a_mostrar)
                print("***********************************************************")
                
                contador_tokens += max_tokens
    

    Descripción de cambios:

    1. Iteración Perpetua: El bucle interno while se encarga de iterar sobre los tokens, tomando partes de max_tokens (1000) y mostrando esas partes, hasta que se acaben los tokens. Cada bloque de 1000 tokens se termina con una línea de asteriscos.

    2. Sin Títulos de Página: Se ha eliminado cualquier referencia a títulos de página, por lo que el texto se muestra sin interrupciones de paginación.

    3. Contador de Tokens: Se utiliza contador_tokens para avanzar a través de los tokens en pasos de 1000.

    Este código continuará al siguiente conjunto de 1000 tokens hasta que termine de procesar todo el texto extraído del PDF. Cada bloque de tokens se separa por la línea de asteriscos como solicitaste.