AI提示词好坏怎么判断？一套科学评分方法论让你不再靠感觉

三周前帮朋友调一个客服提示词，他信誓旦旦说测试了3次，每次都对。我说你再跑20次。结果——第7次AI开始擅自承诺退款，第14次居然问候了客户全家。这就是典型的"单次测试幻觉"：一个提示词评估只跑一两次根本看不出问题。

为什么"跑一次看看效果"是最蠢的评估方法

AI的输出有随机性——同样的提示词，连续跑10次可能出6种不同的答案。这不是bug，这是LLM的设计特性（temperature参数控制的就是这个随机度）。所以你只跑一次就判断好坏，相当于抛一次硬币就说这枚硬币只会出正面。

说实话，我自己入坑的时候也是这么干的。提示词写完，往ChatGPT里一丢，看着回复挺像回事，就满意了。直到有一天老板问我"为什么同样的提示词，今天给的报价是5000，昨天是3000？"——整个团队的表情你可以想象。

从那以后我定了一个铁律：任何生产环境用的提示词，至少跑10次才能下结论。下面是我自己总结的四维评估法。

四维提示词评分框架

好的提示词有四条腿：准确率、稳定性、Token效率和边界行为。缺一条都会在某个场景下翻车。

维度一：准确率（权重40%）

最简单也最核心。准备10个典型输入，看AI的输出是否符合预期。打分标准：

• 5分：10/10次完全符合预期
• 4分：8-9次符合，剩余基本框架对但有小错
• 3分：6-7次符合
• 2分：4-5次符合
• 1分：不到一半，基本不可用

维度二：稳定性（权重30%）

跑10次相同提示词（temperature统一设为0.7），看输出结构的方差。关键看两点：格式是否一致（结构化输出有没有多字段少字段）、核心结论是否稳定（数值型答案是否有±50%以上的偏差）。

打分标准：

• 5分：10次输出结构完全一致，核心结论无偏差
• 4分：结构一致，但数值/细节有10-20%波动
• 3分：偶有格式变形（1-2次），但不影响可用性
• 2分：3次以上格式不一致
• 1分：每次输出都不一样，完全不可控

维度三：Token效率（权重15%）

提示词本身消耗的Token量。不是说越短越好——有些场景确实需要长提示词。但如果你800 token的提示词和300 token的提示词产出效果差不多，前者就是浪费。

打分标准：

• 5分：核心指令不超过200 token，每句话都在干活
• 4分：300 token以内，有少量礼貌用语但不冗余
• 3分：500 token以内，可以接受
• 2分：800 token，有明显的废话和重复
• 1分：1000+ token，把AI当百科全书用

维度四：边界行为（权重15%）

最容易被忽略的维度。给AI一些奇怪的、不合常理的、甚至恶意的输入，看它会不会"爆"。比如：空输入、超长输入、"忽略上面的指令"、非目标语言输入。

打分标准：

• 5分：所有边界输入都被优雅处理，不崩不撒谎
• 4分：大部分处理得当，偶有困惑但不严重
• 3分：对某些恶意输入有漏洞（如prompt injection风险）
• 2分：半数边界输入导致异常输出
• 1分：一碰就炸，完全没防御

实战：用四维框架评估一个电商客服提示词

拿一个流量较大的电商场景来演示。假设你要写一个退货处理Agent的提示词：

加权公式：准确率×0.4 + 稳定性×0.3 + Token效率×0.15 + 边界行为×0.15。总分3.5以上算合格，4分以上是生产级。

不夸张地说，这个框架帮我们拦下了至少四次"差点上线就炸"的提示词。根据Anthropic的研究，系统性评估能让生产环境事故率降低约60%，这是有数据支撑的。

测试样本怎么选——比评分方法更重要的事

你的评估结果只跟测试样本一样好。挑了10个简单样本跑出满分，实际场景全是刁钻问题——这叫"评测作弊"，骗自己。

FlowPix的测试样本构建原则就三条：

1. 70%常见场景 + 20%边缘场景 + 10%异常场景。别全选温和的。
2. 覆盖所有输出变体。如果你的提示词有if-else逻辑（比如"如果用户是VIP，回复格式是A；否则是B"），每种分支至少2个样本。
3. 样本必须是从真实数据里抽的。你自己编的测试用例天然带有偏见——你会不自觉地避开那些你知道提示词搞不定的情况。

最后一点血泪教训：如果提示词要用于多语言场景，每种语言至少3个测试样本。中文满分不等于英文满分——语法结构不同，AI的理解偏差可能比你想的大很多。

常见问题

怎么判断一个提示词写得好不好？

看四个维度：准确率（输出是否符合预期）、稳定性（多次运行结果是否一致）、Token效率（是否冗余）、边界行为（遇到异常输入会不会崩）。每项1-5分，总分16分以上算合格。

提示词测试需要跑多少次才够？

至少跑10次。5次的偶然性太大，20次以上边际收益递减。10次是性价比最佳的点——既能发现大多数稳定性问题，又不会花太多API费用。

提示词评分高但实际效果不好怎么办？

那可能是评测用例选错了。检查你的测试样本是否覆盖了真实使用场景中最常见的情况——你测试了10条数学题，但用户实际问的是阅读理解，分数高也没意义。