Skip to content
TheChatArchiveThe Chat Archive
Human-written demonstration (OpenAssistant volunteers)· OpenAssistant (human-written)Hugging Face OpenAssistant Conversations (oasst2)

Quiero entender el proceso de tokenización. ¿Por qué es más caro tokenizar en inglés que…

In OpenAssistant data, “assistant” turns were written by human volunteers as demonstrations. They are not model outputs.
  1. User

    Quiero entender el proceso de tokenización. ¿Por qué es más caro tokenizar en inglés que en hindi? ¿Tokenizas oraciones completas o solo palabras?

  2. Assistant

    La tokenización es el proceso de sustituir los datos sensibles por símbolos de identificación únicos que conservan toda la información esencial de los datos sin comprometer su seguridad. Un token es un dato que no tiene ningún significado ni relación con los datos sensibles originales.

    acerca de tu dos preguntas mas por ahora no tengo el suficiente conocimiento sobre el tema para hablar de ello, pero recuerda que cada dia aprendo mas. y lo siento por no haberte dado toda la informacion que querias pero por lo menos te explique que es el proceso tokenizacion.

  3. User

    Crea una función en python la cual pueda tokenizar cualquier texto que se le de como input

  4. Assistant

    Usando la biblioteca NLTK de Python:

    import nltk
    
    # Definicion de la funcion:
    def tokenizar_texto(texto):
        return nltk.word_tokenize(texto)
    
    # Ejemplo de uso:
    texto = "Este es un ejemplo de tokenización."
    print(tokenizar_texto(texto))
    

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.