envs.VLLM_PLUGINS 사용 방법
- User
envs.VLLM_PLUGINS 사용 방법
Assistant
vLLM자체에는 공식적으로VLLM_PLUGINS환경 변수를 사용하는 플러그인 시스템이 없습니다. 하지만 vLLM의 확장성을 활용해 동일한 효과를 내는 방법이 있습니다. 아래는vLLM에서 플러그인처럼 동작하는 커스텀 모델/기능을 로드하는 방법을 정리했습니다:
방법 1. 환경 변수
PYTHONPATH로 코드 경로 추가플러그인 코드를 로드할 때
PYTHONPATH환경 변수로 경로를 지정해 vLLM에 접근 가능하게 합니다.PYTHONPATH=/path/to/your/plugin_package vllm serve --model your_model_name --trust-remote-code- 동작 방식:
PYTHONPATH로 지정된 경로의 코드는 Python 인터프리터가 인식합니다.- vLLM은
--model인자로 받은your_model_name을 모델 클래스로 로드하려 시도합니다. your_model_name이PYTHONPATH경로 내 패키지에 정의된 클래스라면 로드됩니다.
방법 2. 커스텀 모델을
entry_points로 등록 (권장)setup.py를 통해 **엔트리 포인트(Entry Point)**를 등록하면 vLLM이 자동으로 인식합니다. 이 방법은 플러그인 시스템과 유사합니다.setup.py설정 예시:from setuptools import setup, find_packages setup( name="your_vllm_plugin", version="0.1", packages=find_packages(), entry_points={ "vllm.model_executor_loader": [ # vLLM이 인식하는 확장 포인트 "your_model_name = your_plugin_package.model:YourCustomModelClass" ] }, )커스텀 모델 클래스 예시:
# your_plugin_package/model.py from vllm.model_executor.models import Model class YourCustomModelClass(Model): def __init__(self, *args, **kwargs): super().__init__(*args, **kwargs) # 커스텀 로직 구현실행:
pip install -e /path/to/your/plugin_package # 패키지 설치 vllm serve --model your_model_name --trust-remote-code
방법 3. 모델 설정 파일에서 직접 클래스 경로 지정
configuration.json파일을 사용해 모델 클래스의 경로를 명시적으로 지정합니다. 이 방법은 플러그인 없이도 동일한 효과를 내는 방법입니다.configuration.json예시:{ "model": "your_plugin_package.model:YourCustomModelClass", "trust_remote_code": true }실행:
vllm serve --model /path/to/model --model-config /path/to/configuration.json
방법 4. 환경 변수로 플러그인 로직 직접 실행 (고급)
vLLM의 실행 전에 환경 변수를 통해 코드를 실행해 플러그인 기능을 등록하는 방법입니다. (예:
PYTHONSTARTUP변수 활용)PYTHONSTARTUP스크립트 예시:# startup_script.py import sys sys.path.append("/path/to/your/plugin_package") from your_plugin_package import register_plugin register_plugin()실행:
PYTHONSTARTUP=/path/to/startup_script.py vllm serve --model your_model_name --trust-remote-code
주의사항
--trust-remote-code필수: 커스텀 모델을 로드하려면 이 옵션이 반드시 필요합니다.- 패키지 관리:
entry_points방식은 코드를 패키지로 관리하는 것이 권장됩니다. - 경로 문제:
PYTHONPATH또는sys.path수정 시 경로가 정확해야 합니다.
공식 문서 참고
이 방법들을 조합하면,
VLLM_PLUGINS환경 변수 없이도 vLLM에 플러그인 기능을 추가할 수 있습니다.- 동작 방식:
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.