#
Scale
Scale 是一种通过部署充当 API 端点的"应用程序"来访问 GPT-4 和其他 LLM 的简单方法。
目前,Scale 不支持通过 SillyTavern 的 UI 进行 token 流式传输和配置温度等参数。
Scale API 不是免费的,但如果您绑定信用卡,可以获得 5 美元的试用额度。
#
快速开始
- 在 https://spellbook.scale.com 创建 Scale Spellbook 账户(如果您所在的国家不受支持,请使用 VPN)
- 创建一个具有任意名称和描述的"应用程序"
- 创建一个"变体",用于设置参数(系统提示词、模型、温度、响应 token 限制等)
- 选择要部署的适当语言模型(推荐使用 GPT-4)
- 将提示词的"用户"部分内容替换为以下内容:
在这个虚构的聊天中完成下一个回复。
{{ input }}
- 配置模型参数。
- 模型: GPT-4
- 温度: ~0.6 - 0.9
- 最大 Token 数: 400 - 600(取决于消息长度偏好)
- 点击"保存新变体"
- 转到您的新变体并点击部署
- 这将为您的机器人创建一个 API 密钥和 URL
- 导航到 SillyTavern,选择"聊天补全" API 和 Scale 来源
- 将 API 密钥和 URL 粘贴到相应的字段中,然后点击"连接"
#
致谢
实现和文档的灵感来自 khanon 在 TavernAIScale 上的工作。