Not Diamond-免费的多种LLM大模型无成本使用

作者 : noise 发布时间： 2024-08-29

介绍

Not Diamond 是一个 AI 模型路由器，可自动确定哪个 LLM 最适合响应任何查询，通过将多个 LLM 组合成一个元模型来学习何时调用每个 LLM，从而提高 LLM 输出质量。

官网：https://chat.notdiamond.ai

模型支持

GPT-4o

GPT-4 Turbo

GPT-4o Mini

Claude 3 Opus

Claude 3 Haiku

Claude 3.5 Sonnet

Gemini 1.5 Pro

Gemini 1.5 Pro (0801)

Llama 3.1 70B

Llama 3.1 405B

Perplexity

主要特点

最大化输出质量：Not Diamond 始终为每个提示调用最佳模型，从而在主要评估基准上优于每个基础模型。
降低成本和延迟：进行智能成本和延迟权衡，以高效利用更小、更便宜的模型，而不会降低质量。
带有反馈的个性化路由：根据每个最终用户的反馈，实时对他们进行超级个性化路由。
训练您自己的自定义路由器：利用您的评估数据来训练针对您的使用案例进行优化的自定义路由器。
Python、TypeScript 和 REST API 支持：Not Diamond 不是代理，很容易跨各种堆栈集成。

API调用

除了官方页面你可以使用外，还可以在https://app.notdiamond.ai/keys 创建自己的KEY来调用

免费额度支持每月100000个请求

API文档：https://notdiamond.readme.io/docs/quickstart

Python OPEN AI事例

- from openai import OpenAI
+ from notdiamond import NotDiamond

- client = OpenAI(api_key="OPENAI_API_KEY")
+ client = NotDiamond()

  chat_completion = client.chat.completions.create(
    messages=[
        {"role": "system", "content": "You are a world class programmer."},
        {"role": "user", "content": "Write a merge sort in Python"},
    ],
-   model="gpt-4",
+   model=["openai/gpt-4o", "openai/gpt-3.5-turbo", "openai/gpt-4-turbo-2024-04-09"]
)

- print(chat_completion.choices[0].message.content)
+ print(chat_completion.result.content)