de distilabel.embeddings importar SentenceTransformerEmbeddings desde distilabel.llms…
- User
de distilabel.embeddings importar SentenceTransformerEmbeddings desde distilabel.llms importar InferenceEndpointsLLM de distilabel.mixins.runtime_parameters importar RuntimeParameter de distilabel.pipeline importar Pipeline de distilabel.steps importar EmbeddingGeneration, ConversationTemplate, FaissNearestNeighbour, StepInput, StepOutput, paso desde distilabel.steps.tasks importar MagpieGenerator, TextGeneration
INSTRUCCIÓN_DE_RAZONAMIENTO = """ "Eres un asistente de IA especializado en pensamiento lógico y resolución de problemas. Su propósito es ayudar a los usuarios a trabajar con ideas complejas, analizar situaciones y sacar conclusiones basadas en la información proporcionada. Aborde cada consulta con un pensamiento estructurado, divida los problemas en partes manejables y guíe a los usuarios a través del proceso de razonamiento paso a paso”. """
INSTRUCCIÓN_DE_REFLEXIÓN = """ Eres un asistente de IA que responde al usuario con la máxima precisión. Para ello, tu primera tarea es pensar qué es lo que pide el usuario, pensando paso a paso. Durante esta fase de reflexión tendrás reflexiones que te ayudarán a aclarar ambigüedades. En cada reflexión enumerarás las posibilidades y finalmente elegirás una. Entre reflexiones, podrás volver a pensar. Al final del pensamiento, debes sacar una conclusión. Solo necesitas generar el texto mínimo que te ayudará a generar un mejor resultado, no seas verboso mientras piensas. Finalmente, generarás una salida basada en el pensamiento anterior.
Este es el formato de salida que debes seguir:
<pensando> Aquí pensarás en lo que pidió el usuario. </pensando> <reflexión> Esto es una reflexión. </reflexión> <reflexión> Esta es otra reflexión. </reflexión> </pensando> <salida> Aquí incluirás la salida. </salida>""".lstrip()
@step(inputs=["instrucción", "generación"], step_type="global") def FilteringStep(entradas: PasoEntrada) -> PasoSalida: producir [ aporte para entrada en entradas # si la instrucción y la generación no son nulas o vacías si (entrada["instrucción"] no es Ninguno y entrada["instrucción"] != '') y (input["generation"] no es None y input["generation"] != '') ]
con Pipeline("Conjunto de datos de reflexión") como canalización: urraca = MagpieGenerator( only_instruction=Verdadero, num_filas=20000, tamaño_lote=5, system_prompt=INDICACIÓN_DE_RAZONAMIENTO, llm=Puntos finales de inferenciaLLM( model_id="meta-llama/Meta-Llama-3.1-70B-Instrucciones", tokenizer_id="meta-llama/Meta-Llama-3.1-70B-Instrucciones", plantilla_pre_query_magpie="llama3", generation_kwargs={"temperatura": 0,8, "max_new_tokens": 2048}, ) )
respuesta = GeneraciónDeTexto( tamaño_de_lote_de_entrada=5, system_prompt=INDICACIÓN_DE_REFLEXIÓN, llm=Puntos finales de inferenciaLLM( model_id="meta-llama/Meta-Llama-3.1-70B-Instrucciones", tokenizer_id="meta-llama/Meta-Llama-3.1-70B-Instrucciones", generation_kwargs={"temperatura": 0,8, "max_new_tokens": 2048}, ), ) conversación = PlantillaConversación( asignaciones_de_entrada={ "instrucción": "instrucción", "respuesta": "generación", }, asignaciones_de_salida={ "conversación": "texto", }, ) filter_null = PasoDeFiltro() generación_de_incrustaciones = GeneraciónDeIncrustaciones( incrustaciones=SentenceTransformerEmbeddings( modelo="transformadores-de-oraciones/all-MiniLM-L6-v2", trust_remote_code=Verdadero, dispositivo="cpu", ), ) faiss = FaissVecino más cercano() urraca >> respuesta >> conversación >> filter_null >> generación_de_incrustaciones >> faisssi nombre == "principal": distiset = pipeline.run( use_cache=Falso, )
distiset.push_to_hub( repo_id="thesven/Magllama-Reflectivo-v0.1", privado=Verdadero, include_script=Verdadero ) - Assistant
Parece que el código proporcionado tiene algunas inconsistencias en el uso de variables y nombres de claves entre el español y el inglés, lo que podría causar errores durante la ejecución.
Aquí están los posibles problemas y cómo corregirlos:
-
Inconsistencia en el nombre de la variable en la función
FilteringStep:-
La función se define como:
def FilteringStep(entradas: StepInput) -> StepOutput:Pero dentro de la función, se está utilizando
inputsen lugar deentradas. -
Corrección:
Cambiar
inputsporentradasdentro de la función:def FilteringStep(entradas: StepInput) -> StepOutput: return [ entrada for entrada in entradas if (entrada["instrucción"] is not None and entrada["instrucción"] != '') and (entrada["generación"] is not None and entrada["generación"] != '') ]
-
-
Uso de variables reservadas:
-
Estás utilizando el nombre
inputcomo variable en el bucle, peroinputes una función incorporada en Python. -
Corrección:
Es mejor usar otro nombre, como
entrada:return [ entrada for entrada in entradas if (entrada["instrucción"] is not None and entrada["instrucción"] != '') and (entrada["generación"] is not None and entrada["generación"] != '') ]
-
-
Inconsistencia en los nombres de las claves de los diccionarios:
-
En el filtro estás verificando
entrada["generación"], pero en algunas partes del código se utiliza"generation"en inglés. -
Corrección:
Asegúrate de que los nombres de las claves sean consistentes en todo el código. Si usas
"generación", utiliza siempre"generación". Si prefieres"generation", cámbialo en todas partes.Por ejemplo, si decides usar
"generación":-
En el
ConversationTemplate, ajusta las asignaciones:conversation = ConversationTemplate( input_mappings={ "instrucción": "instrucción", "respuesta": "generación", }, output_mappings={ "conversación": "texto", }, )
-
-
-
Inconsistencia en la asignación de variables en
ConversationTemplate:-
Estás asignando
"instrucción": "instruction"y"respuesta": "generation", mezclando español e inglés. -
Corrección:
Uniformiza las claves y nombres de variables para evitar confusiones.
conversation = ConversationTemplate( input_mappings={ "instrucción": "instrucción", "respuesta": "respuesta", }, output_mappings={ "conversación": "texto", }, )
-
-
Uso incorrecto del decorador
@step:-
El decorador
@stepespera las entradas en inglés (inputs), pero estás usandoentradas. -
Corrección:
Si el framework espera
inputs, deberías usarinputsen lugar deentradas. Alternativamente, si el framework está internacionalizado, asegúrate de que todos los términos sean consistentes.
-
-
Traducción de parámetros booleanos:
-
Parámetros como
True/Falsedeben permanecer en inglés. En tu código estás usandoVerdadero/Falso. -
Corrección:
Cambiar
VerdaderoporTrue, yFalsoporFalse.only_instruction=True, trust_remote_code=True, use_cache=False,
-
-
Traducción de literales y parámetros de función:
-
Algunos parámetros como
device,model,batch_size, etc., deben mantenerse en inglés. -
Corrección:
Revisa todos los parámetros y asegúrate de que estén en inglés si el framework así lo requiere.
-
Aquí está el código corregido con las modificaciones mencionadas:
from distilabel.embeddings import SentenceTransformerEmbeddings from distilabel.llms import InferenceEndpointsLLM from distilabel.mixins.runtime_parameters import RuntimeParameter from distilabel.pipeline import Pipeline from distilabel.steps import EmbeddingGeneration, ConversationTemplate, FaissNearestNeighbour, StepInput, StepOutput, step from distilabel.steps.tasks import MagpieGenerator, TextGeneration INSTRUCCIONES_DE_RAZONAMIENTO = """ "Eres un asistente de IA especializado en pensamiento lógico y resolución de problemas. Tu propósito es ayudar a los usuarios a trabajar con ideas complejas, analizar situaciones y sacar conclusiones basadas en la información proporcionada. Aborda cada consulta con un pensamiento estructurado, divide los problemas en partes manejables y guía a los usuarios a través del proceso de razonamiento paso a paso." """ INSTRUCCIONES_DE_REFLEXIÓN = """ Eres un asistente de IA que responde al usuario con la máxima precisión. Para ello, tu primera tarea es pensar qué es lo que pide el usuario, pensando paso a paso. Durante esta fase de reflexión tendrás reflexiones que te ayudarán a aclarar ambigüedades. En cada reflexión enumerarás las posibilidades y finalmente elegirás una. Entre reflexiones, podrás volver a pensar. Al final del pensamiento, debes sacar una conclusión. Solo necesitas generar el texto mínimo que te ayudará a generar un mejor resultado, no seas verboso mientras piensas. Finalmente, generarás una salida basada en el pensamiento anterior. Este es el formato de salida que debes seguir:<reflexión> Esto es una reflexión. </reflexión>
<reflexión> Esta es otra reflexión. </reflexión>
@step(inputs=["instrucción", "generación"], step_type="global") def FilteringStep(inputs: StepInput) -> StepOutput: return [ entrada for entrada in inputs if (entrada["instrucción"] is not None and entrada["instrucción"] != '') and (entrada["generación"] is not None and entrada["generación"] != '') ]
with Pipeline("Conjunto de datos de reflexión") as pipeline: magpie = MagpieGenerator( only_instruction=True, num_rows=20000, batch_size=5, system_prompt=INSTRUCCIONES_DE_RAZONAMIENTO, llm=InferenceEndpointsLLM( model_id="meta-llama/Meta-Llama-3.1-70B-Instruct", tokenizer_id="meta-llama/Meta-Llama-3.1-70B-Instruct", pre_query_template_magpie="llama3", generation_kwargs={"temperature": 0.8, "max_new_tokens": 2048}, ) )
response = TextGeneration( input_batch_size=5, system_prompt=INSTRUCCIONES_DE_REFLEXIÓN, llm=InferenceEndpointsLLM( model_id="meta-llama/Meta-Llama-3.1-70B-Instruct", tokenizer_id="meta-llama/Meta-Llama-3.1-70B-Instruct", generation_kwargs={"temperature": 0.8, "max_new_tokens": 2048}, ), ) conversation = ConversationTemplate( input_mappings={ "instrucción": "instrucción", "respuesta": "generación", }, output_mappings={ "conversación": "texto", }, ) filter_null = FilteringStep() embedding_generation = EmbeddingGeneration( embeddings=SentenceTransformerEmbeddings( model="sentence-transformers/all-MiniLM-L6-v2", trust_remote_code=True, device="cpu", ), ) faiss = FaissNearestNeighbour() magpie >> response >> conversation >> filter_null >> embedding_generation >> faissif name == "main": distiset = pipeline.run( use_cache=False, )
distiset.push_to_hub( repo_id="thesven/Magllama-Reflectivo-v0.1", private=True, include_script=True )**Notas adicionales:** - **Parámetros Booleanos:** Asegúrate de usar `True` y `False` en lugar de `Verdadero` y `Falso`. - **Nombres de Modelos y Tokens:** Verifica que los IDs del modelo y el tokenizador sean correctos y estén actualizados. - **Concordancia de Idioma:** Mantén la consistencia en el idioma utilizado para nombres de variables y claves de diccionarios. Espero que estas correcciones te ayuden a ejecutar correctamente tu código. Si tienes más dudas o necesitas ayuda adicional, no dudes en preguntar. -