Skip to content
TheChatArchiveThe Chat Archive
Qwenqwq-32b· Alibaba (Qwen)Hugging Face LMArena Human Preference 140K

envs.VLLM_PLUGINS 사용 방법

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Googlegemma-3-27b-it’s answer.
  1. User

    envs.VLLM_PLUGINS 사용 방법

  2. Qwen Assistant

    vLLM 자체에는 공식적으로 VLLM_PLUGINS 환경 변수를 사용하는 플러그인 시스템이 없습니다. 하지만 vLLM의 확장성을 활용해 동일한 효과를 내는 방법이 있습니다. 아래는 vLLM에서 플러그인처럼 동작하는 커스텀 모델/기능을 로드하는 방법을 정리했습니다:


    방법 1. 환경 변수 PYTHONPATH로 코드 경로 추가

    플러그인 코드를 로드할 때 PYTHONPATH 환경 변수로 경로를 지정해 vLLM에 접근 가능하게 합니다.

    PYTHONPATH=/path/to/your/plugin_package vllm serve --model your_model_name --trust-remote-code
    
    • 동작 방식:
      1. PYTHONPATH로 지정된 경로의 코드는 Python 인터프리터가 인식합니다.
      2. vLLM은 --model 인자로 받은 your_model_name을 모델 클래스로 로드하려 시도합니다.
      3. your_model_name이 PYTHONPATH 경로 내 패키지에 정의된 클래스라면 로드됩니다.

    방법 2. 커스텀 모델을 entry_points로 등록 (권장)

    setup.py를 통해 **엔트리 포인트(Entry Point)**를 등록하면 vLLM이 자동으로 인식합니다. 이 방법은 플러그인 시스템과 유사합니다.

    setup.py 설정 예시:

    from setuptools import setup, find_packages
    
    setup(
        name="your_vllm_plugin",
        version="0.1",
        packages=find_packages(),
        entry_points={
            "vllm.model_executor_loader": [  # vLLM이 인식하는 확장 포인트
                "your_model_name = your_plugin_package.model:YourCustomModelClass"
            ]
        },
    )
    

    커스텀 모델 클래스 예시:

    # your_plugin_package/model.py
    from vllm.model_executor.models import Model
    
    class YourCustomModelClass(Model):
        def __init__(self, *args, **kwargs):
            super().__init__(*args, **kwargs)
            # 커스텀 로직 구현
    

    실행:

    pip install -e /path/to/your/plugin_package  # 패키지 설치
    vllm serve --model your_model_name --trust-remote-code
    

    방법 3. 모델 설정 파일에서 직접 클래스 경로 지정

    configuration.json 파일을 사용해 모델 클래스의 경로를 명시적으로 지정합니다. 이 방법은 플러그인 없이도 동일한 효과를 내는 방법입니다.

    configuration.json 예시:

    {
      "model": "your_plugin_package.model:YourCustomModelClass",
      "trust_remote_code": true
    }
    

    실행:

    vllm serve --model /path/to/model --model-config /path/to/configuration.json
    

    방법 4. 환경 변수로 플러그인 로직 직접 실행 (고급)

    vLLM의 실행 전에 환경 변수를 통해 코드를 실행해 플러그인 기능을 등록하는 방법입니다. (예: PYTHONSTARTUP 변수 활용)

    PYTHONSTARTUP 스크립트 예시:

    # startup_script.py
    import sys
    sys.path.append("/path/to/your/plugin_package")
    from your_plugin_package import register_plugin
    register_plugin()
    

    실행:

    PYTHONSTARTUP=/path/to/startup_script.py vllm serve --model your_model_name --trust-remote-code
    

    주의사항

    1. --trust-remote-code 필수: 커스텀 모델을 로드하려면 이 옵션이 반드시 필요합니다.
    2. 패키지 관리: entry_points 방식은 코드를 패키지로 관리하는 것이 권장됩니다.
    3. 경로 문제: PYTHONPATH 또는 sys.path 수정 시 경로가 정확해야 합니다.

    공식 문서 참고

    이 방법들을 조합하면, VLLM_PLUGINS 환경 변수 없이도 vLLM에 플러그인 기능을 추가할 수 있습니다.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.