自托管AI智能助手API
Open Assistant API 是一款开源、自托管的 AI 智能助手 API,兼容官方 OpenAI 接口。可直接与官方配合使用进行构建 法学硕士申请。
它支持,用于与更多商业和私有模型集成。
https://github.com/Tuanzi1015/open-assistant-api
用法
以下是使用官方 OpenAI Python 库的示例:openai
import openai client = openai.OpenAI( base_url="http://127.0.0.1:8086/api/v1", api_key="xxx" ) assistant = client.beta.assistants.create( name="demo", instructions="You are a helpful assistant.", model="gpt-4-1106-preview" )
为什么选择 Open Assistant API
特征 | 打开 Google 助理 API | OpenAI 助手 API |
---|---|---|
生态系统战略 | 开源 | 闭源 |
RAG 引擎 | 实现简单 | 支持 |
互联网搜索 | 支持 | 不支持 |
自定义函数 | 支持 | 支持 |
内置工具 | 扩展 | 不可扩展 |
代码解释器 | 开发中 | 支持 |
法学硕士支持 | 支持更多 LLM | 只有 GPT |
消息流输出 | 支持 | 不支持 |
本地部署 | 支持 | 不支持 |
-
LLM 支持:与官方 OpenAI 版本相比,通过与 One API 集成可以支持更多模型。
-
工具:目前支持在线搜索;可以轻松扩展更多工具。
-
RAG 引擎:目前支持的文件类型有 txt、pdf、html、markdown。我们提供初步的 实现。
-
消息流输出:支持消息流输出,用户体验更流畅。
-
生态策略:开源,可以在本地部署服务,扩展现有功能。
快速上手
启动 Open Assistant API 的最简单方法是运行 docker-compose.yml 文件。确保 Docker 和 Docker Compose 在运行之前安装在您的计算机上。
配置
进入项目根目录,打开,填写openai api_key和bing搜索键(可选)。docker-compose.yml
# openai api_key (supports OneAPI api_key) OPENAI_API_KEY=<openai_api_key> # bing search key (optional) BING_SUBSCRIPTION_KEY=<bing_subscription_key>
使用 Docker Compose 运行:
docker compose up -d
访问 API
API 基本 URL:http://127.0.0.1:8086/api/v1
接口文档地址:http://127.0.0.1:8086/docs
完整使用示例
在此示例中,使用官方 OpenAI 客户端库创建并运行一个 AI 助手,包括两个内置的 工具、web_search和检索,以及自定义功能。 在运行之前,您需要运行以安装 Python 库。pip install openai``openai
# !pip install openai python tests/e2e/index.py
权限
基于令牌提供简单的用户隔离,以满足SaaS部署需求。可以通过配置 来启用它。APP_AUTH_ENABLE
-
身份验证方法是持有者令牌。您可以包含在用于身份验证的标头中。
Authorization: Bearer ***
-
令牌管理在 API 文档的令牌部分中进行了介绍。相关 API 需要使用管理员令牌进行身份验证,该令牌配置为并默认为“admin”。
APP_AUTH_ADMIN_TOKEN
-