AnythingLLM 是一款可以在本地电脑一件运行 LLM 大语言模型的跨平台桌面客户端，支持 Windows、macOS、Linux，支持自选模型，也可以从软件内下载模型。它还支持嵌入模型、语音、转录，最重要的是可以实现完全离线，不依托任何云服务。@Appinn

AnythingLLM - 真·一键运行本地 LLM 大语言模型｜全离线操作：与文档聊天、与 AI 聊天

在《LM Studio – 有电脑就能用，傻瓜、一站式部署本地大语言模型｜然后，像 ChatGPT 那样提问》中，@路人甲乙丙 留言回复称：

这款其实不算傻瓜，AnythingLLM 才是，多平台，单文件安装。模型下载内部选，集成了 Ollama，支持中文界面。

Ollama 官网推荐的 Win 平台下全都试了，论便利首选 AnythingLLM，可 Github 或官网下载，全免费。

AnythingLLM

与 LM Studio 类似，AnythingLLM 也是一款适合在自己电脑里部署 LLM 的工具，但功能更丰富一些，比如在 AnythingLLM 的嵌入首选项中，你可以选择 LM Studio 作为嵌入引擎提供商。

只需要在 LM Studio 打开 Server，AnythingLLM 就会自动识别：

AnythingLLM - 真·一键运行本地 LLM 大语言模型｜全离线操作：与文档聊天、与 AI 聊天 1

对了，我在 AnythingLLM 中，导入了之前测试 LM Studio 的时候下载的模型。很方便。

来看一下开发者提供的视频：

安装之后，AnythingLLM 回来一波对话，给你介绍如何使用：

AnythingLLM - 真·一键运行本地 LLM 大语言模型｜全离线操作：与文档聊天、与 AI 聊天 2

设置模型

你需要为 AnythingLLM 设置模型，包括首选模型、向量数据库、嵌入模型、语音、转录模型。

默认情况下，AnythingLLM 自带了模型，不过也可以根据需要自己下载模型：

AnythingLLM - 真·一键运行本地 LLM 大语言模型｜全离线操作：与文档聊天、与 AI 聊天 3

上图中 Official Models 里就有很多模型，下载速度还有点快，也是很奇怪。

在工作区中，可以上传文件，这样这些文件就变成了你的向量数据库，相当于对着文档提问。

但青小蛙使用内置的模型测试，发现似乎效果很不好，答非所问，也不知道它在想什么。

AnythingLLM - 真·一键运行本地 LLM 大语言模型｜全离线操作：与文档聊天、与 AI 聊天 4

还是说，模型选择有问题。

青小蛙觉得，对比在线大语言模型，即开即问、上传文档直接问，本地的大语言模型在使用门槛上存在至少有1个小时的入门学习时间。虽然 AnythingLLM 已经把安装门槛降低到了0，但是模型的选择使用是个很大的槛，就看各位是否愿意继续深入研究了。

获取

  • 官网

原文：https://xbcpy.com/