开发 AI 应用，需要注意的 6 件事

需要注意 6 件事情。

其实我作为一个 Web 出海人，我开发过很多很多基于 AI 的应用了，有单纯的套课，有一些在线的浏览器内置的 AGENT ， 有各种自动化爬数据的 AI 工具，有漫画生成工具，有试卷生成工具、信息图....

当然，成功的很少很少，真正意义上成功的，也就一两个。其他的大部分，我都花费了至少一个月的时间去打磨，但是也都失败了。

我今天晚上就微水一篇。

首先要知道，AI 做的应用（我这边主要是 SaaS ，在线网页这种）一般是失败于层！又热能说出每个层面在解决什么问题之间，就加上了层！也就是说，就像你开了一家早餐店，还没开始卖，就先花了 50万 买了机器人自动化厨师、10w 采购了会员系统，还雇佣了 10 个外卖小哥专门为你送。

这在软件开发行业，叫做【过度工程化】，这个一定是要避免的。

1 大部分系统都没必要搞 向量数据库

比如 向量数据库。 几乎每个 AI 的系统，都要挂一个向量数据库 ChromaDB，就跟那个标配一样。但是其实没必要！

实际上你看一下 Codex 和 Claude code 等 AGENT 它们发送的提示词和执行的命令里，它们都是使用的最原始的 grep 和 文件读取 这种来进行检索！没必要在构建 AI 系统的时候，就捣鼓个 向量数据库摆在那里。不能一想到检索，就条件反射的去设置 向量数据库了。

什么时候用呢？是那些稳定的改动不大的，，比如产品文档、Q&A 还有字典 wiki 等等 ，最好用了。其余的绝大部分场景，直接 grep 就够了！

2 提示词必须得人工手写

然后是 AI 应用里的提示词，需要大部分人工手写、精心维护。AI 时代，代码可以 AI 直接生成，质量一般都高的没话说。但是提示词，我们最好还是养成手写的习惯。因为复杂已经够抽象了，不能再抽象了。

复杂系统必然走向崩溃。因为复杂意味着脆弱，意味着节点激增，意味着只要有一个不起眼的零件出问题，整个链条就会发生毁灭性的连锁反应。人类有个通病，总觉得越复杂的规则越能兜底，越繁琐的设计越显高级。明太祖朱元璋就是这种复杂系统的狂热爱好者。朱元璋是个控制狂，他想要把帝国的一草一木都锁死在轨道上。他搞出了中国历史上最复杂的基层人口和土地管理系统，黄册和鱼鳞图册。这套系统精细到什么程度？每110户编为一个里，推举丁粮最多的10户当里长，剩下100户分10甲。每年轮流服役。黄册要求每十年大造一次，要把这十年里每一户的人口增减、土地买卖、甚至你家多养了一头猪这种资产变动全记下来。旧管、新收、开除、实在，这叫四柱清册，逻辑上天衣无缝。这套大道至繁的系统运行了不到半个世纪就彻底瘫痪了。

因此，要尽可能的手写，AI 看起来那么厉害，正是因为它把复杂性都藏起来了，可作为工程师，我们的活儿恰恰是把这些复杂性管好，而不是假装它不存在。

我们要尽可能的保证提示词是简单易读的，这样后续才好维护。。。要定期去通读，这个是你的核心竞争力！你自己都读不懂，AI 还怎么给你好好搞？

3 记忆系统要好好的研究

然后是一定要考虑好，让这个 AI 应用，里面的记忆系统，记住什么，忘掉什么。这个上下文是需要花很大心思去设计的，因为上下文越多，AI 接收到的噪音就越多，效果越差。所以，要精挑细选，只留下最关键的。大部分的 AI 应用，都是单次运行就丢弃的，不用保持对话的连续性。

我觉得，最开始的时候，就什么也不用保留，一直运行，直到觉得有必要需要传递一些对话摘要，再慢慢安上。如果是那种对于对话连续性要求很高的应用，直接选择开源的 记忆引擎 ，就不要自己乱弄了。

4 子 AGENT 要留着后续慢慢加

然后是很多人搞的 AI 应用里面（其实所谓应用就是套壳一个 AGENT ，比如 PI ），会有多个子 agent 并行处理问题。就是一些程序员在自己编程的时候用子进程用惯了。实际上，我们平时开发的 AI 应用，它们处理的问题复杂度远远没有编程那么大，没必要套壳搞一堆子 AGENT 。因为你多加一个子 agent ，就会多一分负面反应，比如延迟、成本、幻觉、交接.... 基本上一个 agent 加上单一的简洁的提示词就够了！

什么时候加子 agent 呢？就是运行很久，真正觉得有瓶颈了，非加不可，再慢慢加，谨慎的加。

5 测试用例评估大法

然后是评估，这个评估是什么意思呢？

就是我们的系统，一直是在开发完善、在不断发展的。我们在发展的时候，不知道我们的新版本，是不是比老版本更好。。。 所以我们需要很多的测试用例。比如我有一个 AI 应用，是专门 AI 漫画生成的。

那么我们最好在最开始就准备 40 个固定的任务，包含大部分场景，比如多人对话、连续的动作、中途换服装、换场景等等。。。 然后之后每隔一段时间，或者更新新版本后，就让它都跑一遍。大家懂这个意思吧？这样有个对比，也好心里有数。

如果没有这个的话，完全凭感觉，可能会把应用做的越来越乱七八糟地糟糕。

6 起步要按照只有几十个人用户来设计

最开始，是要为几十个用户的级别的场景，来设计。

这个相当重要，你在决策的时候，对将来的数量级，预测往往是几百上千，甚至几十万并发。。。实际上怎么说呢？你的 AI 应用，能养活你，让你在三线城市活的还舒服，其实两三百个稳定的月付费用户就可以了。。。 但是几百个其实还是很大，你最开始就按照只有三四十个用户这种来设计。。。 是吧！压力一下子就下来了。刘小排r 说过，伟大是不能被策划的。。。 从小入手。其实，你的稳定用户将来能超过 1000 ，那就算是很了不起的事了。。。 先为小部分人来设计，这样会让系统的扩展性达到最好，后续容易扩展。

其他

请神容易送神难，复杂性容易添加，但是不容易去。

反正就从小入手。。。 尤其是让 AI 写软件，这个太容易步子迈大了。。。 以前古代的时候，古法編程，人们会比较小心，慢慢开发。。。 过度工程化的风险还小。现在全 AI 写了，没那个感受了。但是要更注意这一点。

你要知道，AI 写的系统，巨难维护！所以一定是日拱一卒，不是大步迈。