o1-mini-2024-09-12· OpenAI
WildChat-4.8M (AI2)
проверь код: import models from agent import AgentConfig import requests def…
- User
проверь код: import models from agent import AgentConfig import requests
def initialize():
# основной чат-модель, используемая агентами (умнее, точнее) #chat_llm = models.get_openai_chat(model_name="gpt-4o-mini", temperature=0) # chat_llm = models.get_ollama_chat(model_name="gemma2:latest", temperature=0) # chat_llm = models.get_lmstudio_chat(model_name="lmstudio-community/Meta-Llama-3.1-8B-Instruct-GGUF", temperature=0) # chat_llm = models.get_openrouter_chat(model_name="mattshumer/reflection-70b:free") # chat_llm = models.get_azure_openai_chat(deployment_name="gpt-4o-mini", temperature=0) # chat_llm = models.get_anthropic_chat(model_name="claude-3-5-sonnet-20240620", temperature=0) # chat_llm = models.get_google_chat(model_name="gemini-1.5-flash", temperature=0) chat_llm = models.get_groq_chat(model_name="llama-3.1-70b-versatile", temperature=0) # служебная модель, используемая для вспомогательных функций (дешевле, быстрее) utility_llm = chat_llm # изменить, если хотите использовать другую служебную модель # модель встраивания, используемая для памяти #embedding_llm = models.get_openai_embedding(model_name="text-embedding-3-small") # embedding_llm = models.get_ollama_embedding(model_name="nomic-embed-text") # embedding_llm = models.get_huggingface_embedding(model_name="sentence-transformers/all-MiniLM-L6-v2") # embedding_llm = models.get_lmstudio_embedding(model_name="nomic-ai/nomic-embed-text-v1.5-GGUF") # Запрос к openrouter.ai response = requests.post("https://openrouter.ai/api/v1/chat/completions", json={ "model": "huggingfaceh4/zephyr-7b-beta:free", "messages": [ {"role": "user", "content": "What is the meaning of life?"}, ], }, headers={ "Authorization": f"Bearer {OPENROUTER_API_KEY}", "HTTP-Referer": f"{YOUR_SITE_URL}", # Optional, for including your app on openrouter.ai rankings. "X-Title": f"{YOUR_SITE_NAME}", # Optional. Shows in rankings on openrouter.ai. "Content-Type": "application/json" }) # Обработка ответа if response.status_code == 200: embedding_llm = response.json() else: raise Exception(f"Failed to fetch embedding model: {response.status_code}") # конфигурация агента config = AgentConfig( chat_model = chat_llm, utility_model = utility_llm, embeddings_model = embedding_llm, # prompts_subdir = "", # memory_subdir = "", # knowledge_subdir: str = "" auto_memory_count = 0, # auto_memory_skip = 2, # rate_limit_seconds = 60, rate_limit_requests = 15, # rate_limit_input_tokens = 0, # rate_limit_output_tokens = 0, # msgs_keep_max = 25, # msgs_keep_start = 5, # msgs_keep_end = 10, max_tool_response_length = 3000, # response_timeout_seconds = 60, code_exec_docker_enabled = True, # code_exec_docker_name = "agent-zero-exe", # code_exec_docker_image = "frdel/agent-zero-exe:latest", # code_exec_docker_ports = { "22/tcp": 50022 } # code_exec_docker_volumes = { files.get_abs_path("work_dir"): {"bind": "/root", "mode": "rw"} } code_exec_ssh_enabled = True, # code_exec_ssh_addr = "localhost", # code_exec_ssh_port = 50022, # code_exec_ssh_user = "root", # code_exec_ssh_pass = "toor", # additional = {}, ) # возвращаем объект конфигурации return config - Assistant
Ваш код выглядит в целом корректно, однако есть несколько моментов, которые требуют внимания и возможных исправлений:
-
Неопределённые переменные:
- В блоке
requests.postиспользуются переменныеOPENROUTER_API_KEY,YOUR_SITE_URLиYOUR_SITE_NAME, которые не определены в коде. Убедитесь, что они объявлены и имеют соответствующие значения. Например, вы можете использовать переменные окружения для хранения таких конфиденциальных данных.
- В блоке
-
Использование API для получения модели встраивания:
- Вы делаете запрос к
https://openrouter.ai/api/v1/chat/completionsс модельюhuggingfaceh4/zephyr-7b-beta:free. Если ваша цель — получить модель встраивания (embedding model), то, скорее всего, этот запрос не соответствует вашему намерению. Обычно модели встраивания имеют другое API и используются для преобразования текста в векторное представление. - Если вам действительно нужна модель для встраивания, убедитесь, что вы используете правильный эндпоинт и параметры запроса.
- Вы делаете запрос к
-
Назначение
embedding_llm:- В текущем виде
embedding_llmприсваивается весь ответ от API чата, что, скорее всего, неверно. Обычно модель встраивания — это объект или идентификатор модели, а не результат выполнения запроса к чат-API.
- В текущем виде
-
Проверка статуса ответа:
- Хорошей практикой является обработка возможных ошибок и добавление логирования для облегчения отладки.
-
Безопасность API-ключей:
- Никогда не храните API-ключи непосредственно в коде. Вместо этого используйте переменные окружения или безопасные хранилища секретов.
-
Комментарии и неиспользуемый код:
- Хотя комментарии с альтернативными моделями могут быть полезны для разработки, убедитесь, что вы удаляете ненужный или устаревший код перед развёртыванием в продакшен.
Ниже приведён скорректированный пример с учётом вышеуказанных замечаний:
import os import models from agent import AgentConfig import requests def initialize(): # основной чат-модель, используемая агентами (умнее, точнее) # Пример выбора модели: # chat_llm = models.get_openai_chat(model_name="gpt-4o-mini", temperature=0) # chat_llm = models.get_groq_chat(model_name="llama-3.1-70b-versatile", temperature=0) chat_llm = models.get_groq_chat(model_name="llama-3.1-70b-versatile", temperature=0) # служебная модель, используемая для вспомогательных функций (дешевле, быстрее) utility_llm = chat_llm # изменить, если хотите использовать другую служебную модель # Получение API-ключа и других конфигураций из переменных окружения OPENROUTER_API_KEY = os.getenv("OPENROUTER_API_KEY") YOUR_SITE_URL = os.getenv("YOUR_SITE_URL", "") # Значение по умолчанию пустая строка YOUR_SITE_NAME = os.getenv("YOUR_SITE_NAME", "") # Значение по умолчанию пустая строка if not OPENROUTER_API_KEY: raise ValueError("Не задан API-ключ для OpenRouter. Установите переменную окружения OPENROUTER_API_KEY.") # Запрос к openrouter.ai для получения модели встраивания (убедитесь, что это правильный эндпоинт и модель) try: response = requests.post( "https://openrouter.ai/api/v1/chat/completions", json={ "model": "huggingfaceh4/zephyr-7b-beta:free", "messages": [ {"role": "user", "content": "What is the meaning of life?"}, ], }, headers={ "Authorization": f"Bearer {OPENROUTER_API_KEY}", "HTTP-Referer": YOUR_SITE_URL, # Optional, for including your app on openrouter.ai rankings. "X-Title": YOUR_SITE_NAME, # Optional. Shows in rankings on openrouter.ai. "Content-Type": "application/json" } ) response.raise_for_status() response_data = response.json() # Предполагается, что API возвращает информацию о модели встраивания # Убедитесь, что вы правильно извлекаете необходимое embedding_llm = response_data.get("embedding_model") # Пример if not embedding_llm: raise ValueError("Не удалось получить модель встраивания из ответа API.") except requests.exceptions.RequestException as e: raise Exception(f"Не удалось сделать запрос к OpenRouter API: {e}") # конфигурация агента config = AgentConfig( chat_model=chat_llm, utility_model=utility_llm, embeddings_model=embedding_llm, # Дополнительные параметры конфигурации auto_memory_count=0, rate_limit_requests=15, max_tool_response_length=3000, code_exec_docker_enabled=True, code_exec_ssh_enabled=True, # При необходимости добавьте другие параметры ) # возвращаем объект конфигурации return configДополнительные рекомендации:
- Валидация данных: Убедитесь, что ответ от API соответствует ожидаемой структуре. Это поможет избежать ошибок при доступе к данным.
- Логирование: Добавьте логирование на различных этапах выполнения функции
initializeдля облегчения отладки и мониторинга. - Тестирование: Перед использованием в продакшен тщательно протестируйте функцию с различными сценариями, включая случаи ошибок.
Если у вас есть дополнительные вопросы или требуется помощь с конкретными частями кода, пожалуйста, уточните!
-