盘点下常用的几个 AI 本地部署工具

想本地部署 AI ，简单高效的话，那肯定得有一个趁手的本地 AI 部署工具。

最近阿里巴巴搞出来的 Qwen 3.8 27B 超级厉害！这个小参数模型，体积也就 17GB ，一个两三万的电脑就能运行的非常顺利彻底，能达到 46 Token/s ，智商很高。

（可能针对跑分深度优化，参数，也吊打 Qwen 3.7 plus 满血版闭源模型）

就这么小的模型，在大部分任务上的表现，跟那个年初火遍全球的 Claude opus 4.6 或者 GLM 5.1 用起来差不多。要知道，当时这两个模型，是划时代的厉害！基本上能让程序员脱离代码了，而现在一个 17GB 的小模型，先别说什么知识储备，就从代码编写智商上，就基本有那种感觉了。。。

现在是部署 小模型 的一个很好的时期！Token 自由的感觉谁不想有？（而且有无审查版本，当然不是做坏事，而是在开发时，有时候想调研一些内容，那种在线版的大模型，会道德圣人，扭扭捏捏宕机不干！）对于一些小团队，有个足够聪明的本地 AI ，这个太重要了。这个模型是真的能当离线主力模型！

我最近也在跃跃欲试，想搞一个本地模型，于是便简单研究了一下。我一个司马氏的朋友，最近部署了 Qwen 3.8 27B ，他的配置表：

运行起来的样子：

这个网站很特殊（因为需要验证年龄），我就不展示了，做出来的效果，跟我年初花大几百买的 GLM 5 基本上一个质量。（看样子是使用的 workbuddy）

今天，我就聊聊在部署 AI 时，要用的几个工具，以及简单的区别。简单说说哈~

Ollama

这个应该是最出名的了！

它不是偏向于 GUI 的界面，而是偏向于 终端 操作的。当然，它也确实有个简单的聊天窗口，但那个窗口太简陋了....

主要的噱头，就是一条命令就可以开始下载 AI 模型！

它的精华主要是在 命令行终端界面.... 上手不是很友好，初学者我就不建议大家捣鼓了。

llama .cpp

这个，门槛更高了。

它也是主要通过命令行来操作的。更加的底层，甚至能控制怎么配置硬件去运行我们的模型。

它非常的灵活，但是没有什么界面... 对于资深的专家来讲，它更加的好用一点。毕竟足够的硬核和底层ma。

LM Studio

哈哈，这个是最舒服的！

它跟那个 ChatGPT 界面一样非常的友好。

它基本上不需要去打开 命令行终端 ，直接在 GUI 界面就能完成绝大部分的内容。。。

主要是一种操控感，能在一个界面，了解到目前正在发生的事。还是不错的。这个是新手最友好的我觉得。。。

KoboldCPP

这个稍微冷门一点。

不过比上面提到的三个，会比较均衡一点儿。

它没有 LM Studio 那么的界面舒服，也没有 Ollama 和 llama 那么的偏向于 命令行终端。介于中间。

没有那么完美的对话界面，但是能给人调控的选项比较多。比 LM Studio 能调的参数更多一点。需要有一定的门槛。

Msty AI

这个是一个付费的软件。

比上面的提到的很多，都要完整一点，更偏向于 GUI ，不依赖终端。不过遗憾的是，我感觉，它的绝大部分功能都是付费才能用.... 所以，没什么好探索的。

最后

因此，对于上手友好度，就是 LM Studio > KoboldCPP > Ollama > llama 。

反正就这个样子了。最好的选择，对于绝绝绝大部分人来说，LM Studio 是最好的。