Skip to content
TheChatArchiveThe Chat Archive
o1-preview-2024-09-12· OpenAIAi2 WildChat-4.8M (AI2)

de distilabel.embeddings importar SentenceTransformerEmbeddings desde distilabel.llms…

  1. User

    de distilabel.embeddings importar SentenceTransformerEmbeddings desde distilabel.llms importar InferenceEndpointsLLM de distilabel.mixins.runtime_parameters importar RuntimeParameter de distilabel.pipeline importar Pipeline de distilabel.steps importar EmbeddingGeneration, ConversationTemplate, FaissNearestNeighbour, StepInput, StepOutput, paso desde distilabel.steps.tasks importar MagpieGenerator, TextGeneration

    INSTRUCCIÓN_DE_RAZONAMIENTO = """ "Eres un asistente de IA especializado en pensamiento lógico y resolución de problemas. Su propósito es ayudar a los usuarios a trabajar con ideas complejas, analizar situaciones y sacar conclusiones basadas en la información proporcionada. Aborde cada consulta con un pensamiento estructurado, divida los problemas en partes manejables y guíe a los usuarios a través del proceso de razonamiento paso a paso”. """

    INSTRUCCIÓN_DE_REFLEXIÓN = """ Eres un asistente de IA que responde al usuario con la máxima precisión. Para ello, tu primera tarea es pensar qué es lo que pide el usuario, pensando paso a paso. Durante esta fase de reflexión tendrás reflexiones que te ayudarán a aclarar ambigüedades. En cada reflexión enumerarás las posibilidades y finalmente elegirás una. Entre reflexiones, podrás volver a pensar. Al final del pensamiento, debes sacar una conclusión. Solo necesitas generar el texto mínimo que te ayudará a generar un mejor resultado, no seas verboso mientras piensas. Finalmente, generarás una salida basada en el pensamiento anterior.

    Este es el formato de salida que debes seguir:

    <pensando>
    Aquí pensarás en lo que pidió el usuario.
    </pensando>
    
    <reflexión>
    Esto es una reflexión.
    </reflexión>
    
    <reflexión>
    Esta es otra reflexión.
    </reflexión>
    
    </pensando>
    
    <salida>
    Aquí incluirás la salida.
    </salida>
    

    """.lstrip()

    @step(inputs=["instrucción", "generación"], step_type="global") def FilteringStep(entradas: PasoEntrada) -> PasoSalida: producir [ aporte para entrada en entradas # si la instrucción y la generación no son nulas o vacías si (entrada["instrucción"] no es Ninguno y entrada["instrucción"] != '') y (input["generation"] no es None y input["generation"] != '') ]

    con Pipeline("Conjunto de datos de reflexión") como canalización: urraca = MagpieGenerator( only_instruction=Verdadero, num_filas=20000, tamaño_lote=5, system_prompt=INDICACIÓN_DE_RAZONAMIENTO, llm=Puntos finales de inferenciaLLM( model_id="meta-llama/Meta-Llama-3.1-70B-Instrucciones", tokenizer_id="meta-llama/Meta-Llama-3.1-70B-Instrucciones", plantilla_pre_query_magpie="llama3", generation_kwargs={"temperatura": 0,8, "max_new_tokens": 2048}, ) )

    respuesta = GeneraciónDeTexto(
        tamaño_de_lote_de_entrada=5,
        system_prompt=INDICACIÓN_DE_REFLEXIÓN,
        llm=Puntos finales de inferenciaLLM(
            model_id="meta-llama/Meta-Llama-3.1-70B-Instrucciones",
            tokenizer_id="meta-llama/Meta-Llama-3.1-70B-Instrucciones",
            generation_kwargs={"temperatura": 0,8, "max_new_tokens": 2048},
        ),
    )
    
    conversación = PlantillaConversación(
        asignaciones_de_entrada={
            "instrucción": "instrucción",
            "respuesta": "generación",
        },
        asignaciones_de_salida={
            "conversación": "texto",
        },
    )
    
    filter_null = PasoDeFiltro()
    
    generación_de_incrustaciones = GeneraciónDeIncrustaciones(
        incrustaciones=SentenceTransformerEmbeddings(
            modelo="transformadores-de-oraciones/all-MiniLM-L6-v2",
            trust_remote_code=Verdadero,
            dispositivo="cpu",
        ),
    )
    
    faiss = FaissVecino más cercano()
    
    urraca >> respuesta >> conversación >> filter_null >> generación_de_incrustaciones >> faiss
    

    si nombre == "principal": distiset = pipeline.run( use_cache=Falso, )

    distiset.push_to_hub(
        repo_id="thesven/Magllama-Reflectivo-v0.1",
        privado=Verdadero,
        include_script=Verdadero
    )
    
  2. Assistant

    Parece que el código proporcionado tiene algunas inconsistencias en el uso de variables y nombres de claves entre el español y el inglés, lo que podría causar errores durante la ejecución.

    Aquí están los posibles problemas y cómo corregirlos:

    1. Inconsistencia en el nombre de la variable en la función FilteringStep:

      • La función se define como:

        def FilteringStep(entradas: StepInput) -> StepOutput:
        

        Pero dentro de la función, se está utilizando inputs en lugar de entradas.

      • Corrección:

        Cambiar inputs por entradas dentro de la función:

        def FilteringStep(entradas: StepInput) -> StepOutput:
            return [
                entrada
                for entrada in entradas
                if (entrada["instrucción"] is not None and entrada["instrucción"] != '') and
                   (entrada["generación"] is not None and entrada["generación"] != '')
            ]
        
    2. Uso de variables reservadas:

      • Estás utilizando el nombre input como variable en el bucle, pero input es una función incorporada en Python.

      • Corrección:

        Es mejor usar otro nombre, como entrada:

        return [
            entrada
            for entrada in entradas
            if (entrada["instrucción"] is not None and entrada["instrucción"] != '') and
               (entrada["generación"] is not None and entrada["generación"] != '')
        ]
        
    3. Inconsistencia en los nombres de las claves de los diccionarios:

      • En el filtro estás verificando entrada["generación"], pero en algunas partes del código se utiliza "generation" en inglés.

      • Corrección:

        Asegúrate de que los nombres de las claves sean consistentes en todo el código. Si usas "generación", utiliza siempre "generación". Si prefieres "generation", cámbialo en todas partes.

        Por ejemplo, si decides usar "generación":

        • En el ConversationTemplate, ajusta las asignaciones:

          conversation = ConversationTemplate(
              input_mappings={
                  "instrucción": "instrucción",
                  "respuesta": "generación",
              },
              output_mappings={
                  "conversación": "texto",
              },
          )
          
    4. Inconsistencia en la asignación de variables en ConversationTemplate:

      • Estás asignando "instrucción": "instruction" y "respuesta": "generation", mezclando español e inglés.

      • Corrección:

        Uniformiza las claves y nombres de variables para evitar confusiones.

        conversation = ConversationTemplate(
            input_mappings={
                "instrucción": "instrucción",
                "respuesta": "respuesta",
            },
            output_mappings={
                "conversación": "texto",
            },
          )
        
    5. Uso incorrecto del decorador @step:

      • El decorador @step espera las entradas en inglés (inputs), pero estás usando entradas.

      • Corrección:

        Si el framework espera inputs, deberías usar inputs en lugar de entradas. Alternativamente, si el framework está internacionalizado, asegúrate de que todos los términos sean consistentes.

    6. Traducción de parámetros booleanos:

      • Parámetros como True/False deben permanecer en inglés. En tu código estás usando Verdadero/Falso.

      • Corrección:

        Cambiar Verdadero por True, y Falso por False.

        only_instruction=True,
        trust_remote_code=True,
        use_cache=False,
        
    7. Traducción de literales y parámetros de función:

      • Algunos parámetros como device, model, batch_size, etc., deben mantenerse en inglés.

      • Corrección:

        Revisa todos los parámetros y asegúrate de que estén en inglés si el framework así lo requiere.


    Aquí está el código corregido con las modificaciones mencionadas:

    from distilabel.embeddings import SentenceTransformerEmbeddings
    from distilabel.llms import InferenceEndpointsLLM
    from distilabel.mixins.runtime_parameters import RuntimeParameter
    from distilabel.pipeline import Pipeline
    from distilabel.steps import EmbeddingGeneration, ConversationTemplate, FaissNearestNeighbour, StepInput, StepOutput, step
    from distilabel.steps.tasks import MagpieGenerator, TextGeneration
    
    INSTRUCCIONES_DE_RAZONAMIENTO = """
    "Eres un asistente de IA especializado en pensamiento lógico y resolución de problemas.
    Tu propósito es ayudar a los usuarios a trabajar con ideas complejas, analizar situaciones y sacar conclusiones basadas en la información proporcionada.
    Aborda cada consulta con un pensamiento estructurado, divide los problemas en partes manejables y guía a los usuarios a través del proceso de razonamiento paso a paso."
    """
    
    INSTRUCCIONES_DE_REFLEXIÓN = """
    Eres un asistente de IA que responde al usuario con la máxima precisión.
    Para ello, tu primera tarea es pensar qué es lo que pide el usuario, pensando paso a paso.
    Durante esta fase de reflexión tendrás reflexiones que te ayudarán a aclarar ambigüedades.
    En cada reflexión enumerarás las posibilidades y finalmente elegirás una. Entre reflexiones, podrás volver a pensar.
    Al final del pensamiento, debes sacar una conclusión.
    Solo necesitas generar el texto mínimo que te ayudará a generar un mejor resultado, no seas verboso mientras piensas.
    Finalmente, generarás una salida basada en el pensamiento anterior.
    
    Este es el formato de salida que debes seguir:
    
    

    <reflexión> Esto es una reflexión. </reflexión>

    <reflexión> Esta es otra reflexión. </reflexión>

    @step(inputs=["instrucción", "generación"], step_type="global") def FilteringStep(inputs: StepInput) -> StepOutput: return [ entrada for entrada in inputs if (entrada["instrucción"] is not None and entrada["instrucción"] != '') and (entrada["generación"] is not None and entrada["generación"] != '') ]

    with Pipeline("Conjunto de datos de reflexión") as pipeline: magpie = MagpieGenerator( only_instruction=True, num_rows=20000, batch_size=5, system_prompt=INSTRUCCIONES_DE_RAZONAMIENTO, llm=InferenceEndpointsLLM( model_id="meta-llama/Meta-Llama-3.1-70B-Instruct", tokenizer_id="meta-llama/Meta-Llama-3.1-70B-Instruct", pre_query_template_magpie="llama3", generation_kwargs={"temperature": 0.8, "max_new_tokens": 2048}, ) )

    response = TextGeneration(
        input_batch_size=5,
        system_prompt=INSTRUCCIONES_DE_REFLEXIÓN,
        llm=InferenceEndpointsLLM(
            model_id="meta-llama/Meta-Llama-3.1-70B-Instruct",
            tokenizer_id="meta-llama/Meta-Llama-3.1-70B-Instruct",
            generation_kwargs={"temperature": 0.8, "max_new_tokens": 2048},
        ),
    )
    
    conversation = ConversationTemplate(
        input_mappings={
            "instrucción": "instrucción",
            "respuesta": "generación",
        },
        output_mappings={
            "conversación": "texto",
        },
    )
    
    filter_null = FilteringStep()
    
    embedding_generation = EmbeddingGeneration(
        embeddings=SentenceTransformerEmbeddings(
            model="sentence-transformers/all-MiniLM-L6-v2",
            trust_remote_code=True,
            device="cpu",
        ),
    )
    
    faiss = FaissNearestNeighbour()
    
    magpie >> response >> conversation >> filter_null >> embedding_generation >> faiss
    

    if name == "main": distiset = pipeline.run( use_cache=False, )

    distiset.push_to_hub(
        repo_id="thesven/Magllama-Reflectivo-v0.1",
        private=True,
        include_script=True
    )
    
    
    **Notas adicionales:**
    
    - **Parámetros Booleanos:** Asegúrate de usar `True` y `False` en lugar de `Verdadero` y `Falso`.
    
    - **Nombres de Modelos y Tokens:** Verifica que los IDs del modelo y el tokenizador sean correctos y estén actualizados.
    
    - **Concordancia de Idioma:** Mantén la consistencia en el idioma utilizado para nombres de variables y claves de diccionarios.
    
    Espero que estas correcciones te ayuden a ejecutar correctamente tu código. Si tienes más dudas o necesitas ayuda adicional, no dudes en preguntar.