FreeChat-适用于macOS的基于llama.cpp的本地AI聊天应用程序

介绍

在 Mac 上与 LLM 聊天，无需安装任何其他软件。每个对话都保存在本地，所有对话都离线进行。

• 通过更改系统提示来自定义角色和专业知识
• 尝试任何llama.cpp兼容型号
• 无需互联网连接，全部本地（可选择连接到远程型号）

官网：https://www.freechat.run

安装

加入 TestFlight 测试版：https://6032904148827.gumroad.com/l/freechat-beta

或在 Mac App Store 上下载：https://apps.apple.com/us/app/freechat/id6458534902

或者在完成下面的开发设置后，通过 Xcode 中的“存档”从源代码构建。

目标

FreeChat 的主要目标是让更多人可以使用开放、本地、私密的模型。

FreeChat 是 macOS 的原生 LLM 设备，完全在本地运行。下载它并向您的 LLM 提问，而无需进行任何配置。OpenAI 聊天的本地/llama版本，无需登录或跟踪。您应该能够从 Mac App Store 安装并立即使用它。

• 无配置。可供没有听说过模型、提示或 LLM 的人使用。
• 性能和简单性优于开发体验或功能。笔记不是 Word，Swift 不是 Elektron。
• 本地优先。核心功能不应需要互联网连接。
• 没有对话跟踪。用 FreeChat 谈论您想要的任何内容，就像 Notes 一样。
• 开源。如果您无法审核本地 AI 是否确实在本地运行，那么运行本地 AI 的意义何在？

升级您的模型

一旦你启动并运行，在FreeChat中尝试不同的模型是很有趣的。人工智能训练社区基本上每天都在发布新模型。FreeChat 与llama.cpp使用的任何 gguf 格式的型号兼容。

模型通常以其参数计数命名（例如 7B），并使用应用不同级别的有损压缩（量化）进行格式化。一般的经验法则是，具有更多参数的模型往往更慢、更明智，而更多的量化会使其更笨。

要查找模型，请尝试 Otherbrain(https://www.otherbrain.world/)。大多数模型都有作者链接的“模型卡”，其中讨论了其训练和能力。

开发设置

1. 打开 mac/FreeChat.xcodeproj
2. 运行并修复错误