添加示例反而变差的问题亦有存在。通过小型LLM验证的生成式AI测试方法

人们常说，生成式AI“加上示例准确率就会提高”“让它复查错误就会减少”。大家是否在尚未验证其实际效果的情况下，就已经将这些技巧应用到了企业内部的使用方式中呢？

2026年10月29日，在代表寺田 康佑担任讲师的某企业内部研讨会上，我们在小型语言模型上尝试了这两种技巧。结果发现，有些问题加上范例后回答变正确了，但同样的操作却导致另一些问题出现了错误。甚至在要求其复查时，模型还会坚称错误的答案“无需修改”。本文将介绍当时得出的结果，以及在业务中测试生成式AI时的对比方法。

究竟发生了什么

该研讨会共三期，本次为最后一期，采用线上形式，时长为90分钟。每位参加者都在自己的电脑上使用相同的模型与配置进行了测试。这里记录的结果均在讲师的电脑上进行了核实。

• 模型：Qwen2.5-3B-Instruct（Q4_K_M，约2.1GB）
• 应用程序：LM Studio
• 配置：Context 4096、Temperature 0（便于每次得出相同答案的设置）、max tokens 1024

现在的对话式AI即便不加任何技巧，也能给出看起来像模像样的回答。而早期的模型功能受限，需要人工巧妙调整输入来进行弥补。这些技巧后来被融入到模型和机制中，演变成了如今的对话式AI。在研讨会上，我们借助小型模型回顾了这一演变历程。这种推进方式效仿了制作并使用古老工具的“实验考古学”。

加上范例后，反而变差的问题

第一个技巧是预先展示2个回答方式的范例（Few-shot）。我们仅改变是否有范例这一条件，对相同的问题进行了对比。

找零计算是一道这样的题目：买了3个120日元的苹果和4个80日元的橘子，用1000日元纸币付款。在没有范例时正确回答了320日元，但加上范例后却回答了680日元。680日元是商品的总金额，模型将其与找零混淆了。而在从预约文本中提取姓名、日期、时间和人数的问题中，加上范例的那一方，在日期栏中保留了原文中的“（木）”。

另一方面，在询问三个人中谁最慢的问题中，没有范例时给出了错误的答案C，加上范例后则变成了正确的B。同样的技巧，根据问题的不同，结果可能变好，也可能变差。

要求复查时，坚称错误“无需修改”

第二个技巧是在回答之后，在同一对话中要求其复查（自我检查）。在将5个词按五十音顺序排序的问题中，模型保持着错误的顺序，断言“无需修改”。在三人速度的问题中，模型在复查过程中虽然写对了三个人的顺序，但最终答案依然是C。

即使配置相同，答案也会出现波动

即使将Temperature统一设置为0，复查后的答案依然不一致。在讲师的电脑上对三人速度的问题进行了8次复查测试，得出正确答案B的仅有1次。

以上结果仅为在讲师的1台电脑上、使用3B小型模型针对5道问题进行的测试记录。目前尚未验证在如今的大型对话式AI上是否会出现相同的结果。

常见的误区

小型模型上出现的情况，与在业务中测试生成式AI时遇到的误区是相通的。

将回答流畅作为正确的证据

如果回答迅速且语句通顺，看起来就会显得很正确。在研讨会上，无论是流畅的解释，还是“已确认”的回复，都不作为证据，我们只将最终答案与正确答案进行对照。

一次改变多项条件

如果既添加范例，又调整措辞，还更换模型，就无法弄清究竟是哪项改动导致了结果的变化。在研讨会上，每次也只改变一项条件，并且针对每个条件都开启新的对话。唯独复查是在同一对话中连续提出的。

凭单次结果做决定

正如三人速度的问题那样，存在即使配置相同答案也会波动的问题。单次成功或单次失败，都不能单独作为判断的依据。

只保留变好的例子

尝试各种技巧时，人们往往只记住变好的结果。但正如找零计算那样，原本正确的答案也可能因为使用了技巧而变成错误。

如何推进

在业务中测试生成式AI时，按照以下顺序推进，会更容易说明得出了什么结论。

1. 选出几道实际希望在业务中委托处理的问题，预先确定正确答案或合格条件
2. 仅改变1项条件，将改变前后的结果并列对比
3. 将相同的问题重复测试几次
4. 从内容（是否正确）、格式（是否按要求的形式书写）、完成度（是否书写至最后）、耗时这4个维度进行记录，变好的例子和变差的例子都要保留
5. 是否使用、用于何种业务，由人员查看记录后做出决定

我们认为，即使模型变大，这种对比方法也同样适用。

Cor.株式会社为生成式AI和本地LLM的引入及培训提供支持。在此过程中，我们可以共同梳理契合业务的问题选择方法与记录方式。在最初的咨询阶段，无需发送业务的实际数据、机密文件或认证信息。

总结

在研讨会最后，我们回顾了这两种技巧的后续发展。展示范例的技巧走向了训练模型遵循指令的方向。要求复查的技巧则走向了先思考后回答的模型，以及用于验证答案的机制。研讨会以这两者都已被融入当今对话式AI之中作为结语。即便如此，回答流畅与回答正确依然是两码事。

有些问题会因范例或复查而变好，有些则会变差。尝试技巧时，应预先定好正确答案，一次只改变一项条件，重复测试几次，并将变好的例子和变差的例子一并记录下来。是否使用，应由人员在查看该记录后做出判断。

参考资料

• Qwen2.5-3B-Instruct-GGUF（Qwen、Hugging Face）
• LM Studio Docs
• Brown et al., “Language Models are Few-Shot Learners”（2020, arXiv:2005.14165）
• Ouyang et al., “Training language models to follow instructions with human feedback”（2022, arXiv:2203.02155）
• Huang et al., “Large Language Models Cannot Self-Correct Reasoning Yet”（2023, arXiv:2310.01798）