AI提示词评估框架：科学测试你的Prompt到底好不好

我问你一个问题：你怎么知道你写的Prompt真的比上一版好？

很多人会说——"输出看起来不错啊"。然后呢？没了。凭感觉。

我自己以前也这么干。改了几个词，跑一下，感觉"嗯这次效果好多了"，就上线了。结果隔天同事跑来问"你这Prompt怎么有时候把退款转成投诉了"——我一脸懵。回头一查，那次"感觉好"的Prompt在特定输入下准确率只有63%。

从那以后我就知道：Prompt需要量化评估，跟代码需要测试一样。

评估的四个维度

一套完整的Prompt评估框架必须覆盖四个维度：准确率（做得对不对）、稳定性（每次是不是一样）、边界鲁棒性（奇怪输入会不会崩）、Token效率（花多少钱）。缺任何一个维度，你看到的都是不完整的画像。

准确率是最基础的。但很多人测完准确率就停了。另外三个维度不看的话，上线的Prompt就是个定时炸弹。

第一步：准备测试集

没有测试集的评估是耍流氓。以下是FlowPix常用的测试集结构：

最少30个样本，分为三组：

• 简单样本10个——基本功能验证，比如"我想退款"→退款分类
• 中等样本10个——有点歧义，比如"用了两周有点不喜欢但也不是不能接受"
• 困难样本10个——边界情况，比如只有emoji的输入、超长文本、多意图混合

每个样本标注"正确答案"。如果是分类任务就标类别，如果是生成任务就标关键要点——比如"必须提到退款流程、不能建议投诉、语气要缓和"。

我一开始偷懒只准备了10个样本。跑出来的准确率92%，开心得不行。上线后被同事发现一堆漏判，加了边界样本重跑——实际只有74%。测试集的质量直接决定评估的可信度。

第二步：跑评估

这里给一个能直接用的Python评估脚本：

import openai
import json
from collections import Counter

client = openai.OpenAI(api_key="your-key")

def evaluate_prompt(prompt, test_cases, model="gpt-4o", runs=3):
    results = []
    for case in test_cases:
        run_outputs = []
        for _ in range(runs):
            response = client.chat.completions.create(
                model=model,
                messages=[
                    {"role": "user", "content": prompt.format(input=case["input"])}
                ],
                temperature=0.7
            )
            run_outputs.append(response.choices[0].message.content)
        
        # 用裁判模型打分
        scores = [judge_output(case["expected"], output) for output in run_outputs]
        avg_score = sum(scores) / len(scores)
        variance = sum((s - avg_score)**2 for s in scores) / len(scores)
        
        results.append({
            "input": case["input"],
            "avg_score": avg_score,
            "variance": variance,
            "outputs": run_outputs
        })
    
    # 汇总
    total_accuracy = sum(r["avg_score"] for r in results) / len(results)
    total_variance = sum(r["variance"] for r in results) / len(results)
    
    return {
        "accuracy": round(total_accuracy, 2),
        "stability": round(total_variance, 4),
        "per_case": results
    }

测完后你会得到一个准确率分数和一个稳定性分数。一般及格线是：准确率≥85%，方差<0.05。

第三步：引入裁判模型

人工评估太慢，必须用AI裁判来打分。但裁判模型本身也要校准——先用10个人工标注样本测试裁判模型和你的判断是否一致，相关性低于0.8就得换裁判模型。

裁判Prompt长这样：

你是一个Prompt评估裁判。对比以下两组信息：
【期望输出】：{expected}
【实际输出】：{actual}

从以下维度打分（每个维度1-5分）：
1. 事实准确性：实际输出是否包含期望输出的核心信息
2. 格式一致性：格式是否符合期望
3. 语气匹配度：语气风格是否匹配
4. 完整性：是否遗漏关键要点

输出JSON格式：{"总分": X.X, "各维度": {...}, "理由": "..."}

用GPT-4o做裁判。别用GPT-4o-mini——我自己对比过，mini的评分波动太大了，同样的输出两次打分能差1.5分，没法用。

裁判模型和人工评估的一致性大概在0.85左右。够用了。对于生产环境的关键Prompt，我建议人工抽查裁判打分最低的20%样本——那些才是最容易出问题的地方。

第四步：A/B对比两个Prompt

改完Prompt之后，咋知道新的是不是真的更好？

别盯着单个样本看。用同一批测试集跑两个版本，算总分。这里有个常见的坑——新Prompt在某些样本上表现更好，但在另一些上更差，总分没变。这种"打地鼠式优化"非常隐蔽。

看两个指标：

• 总分变化——新Prompt总分比旧的高≥3%才算有效提升（单次波动在2%以内很正常）
• 退化样本数——新Prompt在哪些样本上反而退步了？超过10%的样本退化就得回滚

我见过最离谱的情况：一个"优化后"的Prompt总分涨了5%，大家都觉得改得好。结果仔细一查——10个简单样本分涨了一截，但5个困难样本全崩了。而这个Prompt在生产环境遇到的大多是困难样本。所以总分骗了所有人。

自动化评估流水线

老实讲，手动跑评估撑不过一周。FlowPix现在的做法是把评估脚本做成CI/CD的一部分——每次改Prompt就自动触发评估。阈值设好，不达标的直接拦截。

大致流程：

1. Git提交包含Prompt变更
2. 自动跑评估脚本（30样本×3轮）
3. 对比baseline分数
4. 准确率下降>2% → 自动拒绝合并
5. 通过 → 发通知到企微群

跑一次大概8分钟，用的GPT-4o。成本大概$0.3一次。对比手动评估省下的人力，这点钱根本不叫钱。

常见问题

为什么要评估Prompt而不是直接看输出？

单次输出有随机性。同一个Prompt跑10次，结果可能天差地别——尤其temperature不是0的时候。靠一两次"看起来不错"就下结论，上线翻车是迟早的事。量化评估能告诉你Prompt的真实水平：平均准确率、波动范围、边界表现。这些数字不会骗人。

评估Prompt需要多少测试样本？

最少30个。少于30个统计意义不足，结果信不过。理想状态是50-100个覆盖不同难度和类型的样本。如果是生产环境的关键Prompt（比如金融风控、医疗分诊），建议200个以上，每个样本跑3次取平均。别在测试集上省钱——测试集不够好，评估结果就是废纸。

Prompt评估要花多少时间？

用自动化脚本的话，30个样本+3轮测试+GPT-4o做裁判，大约5-10分钟跑完。人工标注那确实费时间——30个样本大概需要1-2小时认真标注。FlowPix的做法是：先用AI裁判初筛，然后人工抽查裁判打分最低的20%样本。这样既快又不漏关键问题。