Skip to content
TheChatArchiveThe Chat Archive
gpt-4.1-mini-2025-04-14· OpenAIHugging Face LMArena Human Preference 140K

本地部署sillytavern酒馆的方法,以及接入API

  1. User

    本地部署sillytavern酒馆的方法,以及接入API

  2. Assistant

    好的,下面我给你详细介绍一下如何在本地部署SillyTavern(俗称“酒馆”)以及如何接入API的方法。


    一、SillyTavern简介

    SillyTavern 是一个基于网页的聊天界面,支持多种大语言模型(LLM)接入,方便用户本地或远程调用模型进行对话。它本身是前端界面,通常需要连接后端模型API。


    二、本地部署SillyTavern步骤

    1. 环境准备

    • 一台Windows/Linux/Mac电脑
    • 安装好Git和Python(推荐Python 3.8+)
    • 安装Node.js(部分版本需要)

    2. 克隆SillyTavern仓库

    git clone https://github.com/SillyTavern/SillyTavern.git
    cd SillyTavern
    

    3. 安装依赖

    SillyTavern主要是前端项目,通常不需要复杂的后端依赖,但有些版本可能需要安装Node依赖:

    npm install
    

    或者如果是纯静态页面,直接打开index.html即可。

    4. 运行SillyTavern

    • 如果是纯静态页面,直接用浏览器打开index.html。
    • 如果有启动脚本,运行:
    npm start
    

    或者根据项目README启动。


    三、接入API(调用大语言模型)

    SillyTavern本身不包含模型,需要接入外部API,比如OpenAI、Local LLM、或者其他API。

    1. 配置API Key

    打开SillyTavern的设置界面,找到API配置部分,填写你的API Key。

    例如:

    • OpenAI API Key
    • 本地部署的llama.cpp或其他模型API地址

    2. 配置API地址和参数

    在SillyTavern的配置文件或界面中,设置API的URL和请求参数。

    示例(OpenAI):

    {
      "model": "gpt-4",
      "api_key": "你的OpenAI API Key",
      "api_url": "https://api.openai.com/v1/chat/completions"
    }
    

    3. 本地模型API接入

    如果你本地部署了llama.cpp、GPT4All、或者其他模型,可以启动模型的API服务(例如使用llama.cpp的server模式),然后在SillyTavern中配置本地API地址:

    {
      "api_url": "http://127.0.0.1:5000/api/chat",
      "model": "local-llama"
    }
    

    四、示例:接入OpenAI API

    1. 在SillyTavern界面打开“设置” -> “API配置”
    2. 选择OpenAI
    3. 填写API Key
    4. 选择模型(如gpt-4)
    5. 保存并开始聊天

    五、常见问题

    • 无法连接API:检查API Key是否正确,网络是否通畅。
    • 本地模型响应慢:模型性能和硬件有关,建议使用GPU加速。
    • 界面打不开:确认依赖安装完整,浏览器支持JavaScript。

    如果你需要,我可以帮你写一个更详细的部署脚本或者配置示例,告诉我你具体用的模型和环境即可。