corrige este codigo: ""import PyPDF2 import nltk from nltk.tokenize import wordtokenize…
- User
corrige este codigo: ""import PyPDF2 import nltk from nltk.tokenize import word_tokenize
Asegúrate de que el paquete 'punkt' está descargado
nltk.download('punkt') # Descomenta esta línea si no lo has hecho ya
ruta_pdf = r'C:\Users\david\Downloads\eMule\Incoming\games - Traveller - Classic - GDW - JTAS 12.pdf' max_tokens = 1000 contador_tokens = 0
with open(ruta_pdf, 'rb') as archivo_pdf: lector_pdf = PyPDF2.PdfReader(archivo_pdf) print("paginas " + len(lector_pdf.pages)) for numero_pagina in range(len(lector_pdf.pages)):
pagina = lector_pdf.pages[numero_pagina] texto = pagina.extract_text() # Tokenizar usando NLTK tokens = word_tokenize(texto, language='english') tokens_restantes = max_tokens - contador_tokens if tokens_restantes <= 0: break # Hemos alcanzado el máximo de tokens tokens_a_mostrar = tokens[:tokens_restantes] contador_tokens += len(tokens_a_mostrar) # Convertir los tokens a texto texto_a_mostrar = ' '.join(tokens_a_mostrar) print(f"--- Página {numero_pagina + 1} ---\n") print(texto_a_mostrar) print("\n") if contador_tokens >= max_tokens: break"" - Assistant
El código que has compartido tiene algunos problemas menores que deben corregirse para poder ejecutarlo correctamente:
-
Al intentar imprimir el número de páginas del PDF con
print("paginas " + len(lector_pdf.pages)), estás intentando concatenar un entero con una cadena, lo cual generará un error. Deberías convertirlen(lector_pdf.pages)a una cadena usandostr(). -
Asegúrate de que estás usando una versión compatible de PyPDF2, pues la API puede cambiar entre versiones.
Aquí tienes el código corregido:
import PyPDF2 import nltk from nltk.tokenize import word_tokenize # Asegúrate de que el paquete 'punkt' está descargado # nltk.download('punkt') # Descomenta esta línea si no lo has hecho ya ruta_pdf = r'C:\Users\david\Downloads\eMule\Incoming\games - Traveller - Classic - GDW - JTAS 12.pdf' max_tokens = 1000 contador_tokens = 0 with open(ruta_pdf, 'rb') as archivo_pdf: lector_pdf = PyPDF2.PdfReader(archivo_pdf) print("Número de páginas: " + str(len(lector_pdf.pages))) for numero_pagina in range(len(lector_pdf.pages)): pagina = lector_pdf.pages[numero_pagina] texto = pagina.extract_text() # Tokenizar usando NLTK tokens = word_tokenize(texto, language='english') tokens_restantes = max_tokens - contador_tokens if tokens_restantes <= 0: break # Hemos alcanzado el máximo de tokens tokens_a_mostrar = tokens[:tokens_restantes] contador_tokens += len(tokens_a_mostrar) # Convertir los tokens a texto texto_a_mostrar = ' '.join(tokens_a_mostrar) print(f"--- Página {numero_pagina + 1} ---\n") print(texto_a_mostrar) print("\n") if contador_tokens >= max_tokens: breakVerifica que todos los módulos necesarios estén instalados (
PyPDF2ynltk). Si aún no tienes el paquete 'punkt' descargado, tendrás que descomentar la líneanltk.download('punkt')y ejecutarla una vez para realizar la descarga. Además, asegúrate de que la ruta al archivo PDF es correcta y que existe el archivo en esa ubicación. -
- User
haz una nueva version del codigo en el que se muestra todo el texto pero cada 1000 tokens pongas una linea con todo "***********************************************************" y lo de las paginas quitalo
- Assistant
Aquí tienes una versión modificada del código en la que se muestra todo el texto del PDF, pero cada 1000 tokens se agrega una línea de separación con asteriscos. He eliminado la impresión del número de páginas y el encabezado de cada página tal como solicitaste:
import PyPDF2 import nltk from nltk.tokenize import word_tokenize # Asegúrate de que el paquete 'punkt' está descargado # nltk.download('punkt') # Descomenta esta línea si no lo has hecho ya ruta_pdf = r'C:\Users\david\Downloads\eMule\Incoming\games - Traveller - Classic - GDW - JTAS 12.pdf' max_tokens = 1000 with open(ruta_pdf, 'rb') as archivo_pdf: lector_pdf = PyPDF2.PdfReader(archivo_pdf) contador_tokens = 0 for numero_pagina in range(len(lector_pdf.pages)): pagina = lector_pdf.pages[numero_pagina] texto = pagina.extract_text() # Tokenizar usando NLTK tokens = word_tokenize(texto, language='english') while contador_tokens < len(tokens): tokens_a_mostrar = tokens[contador_tokens:contador_tokens + max_tokens] texto_a_mostrar = ' '.join(tokens_a_mostrar) print(texto_a_mostrar) print("***********************************************************") contador_tokens += max_tokensDescripción de cambios:
-
Iteración Perpetua: El bucle interno
whilese encarga de iterar sobre los tokens, tomando partes demax_tokens(1000) y mostrando esas partes, hasta que se acaben los tokens. Cada bloque de 1000 tokens se termina con una línea de asteriscos. -
Sin Títulos de Página: Se ha eliminado cualquier referencia a títulos de página, por lo que el texto se muestra sin interrupciones de paginación.
-
Contador de Tokens: Se utiliza
contador_tokenspara avanzar a través de los tokens en pasos de 1000.
Este código continuará al siguiente conjunto de 1000 tokens hasta que termine de procesar todo el texto extraído del PDF. Cada bloque de tokens se separa por la línea de asteriscos como solicitaste.
-