同一个问题问三次,答案不一样是常态。稳定性要看的不是「一不一样」,而是差异出现在哪一层:事实、结构、还是措辞。
生成式模型的输出有随机性,这不算缺陷。但如果同一个提示词每次给出的事实不同,那就不能用在需要准确的地方。
差异分三层
**措辞层**:同一个意思换个说法。这一层不影响使用,只影响复制粘贴时的统一性。
**结构层**:这次给三点、下次给五点,或者表格变成段落。这一层影响排版和后续处理,尤其是你要把输出喂给程序时。
**事实层**:数字、日期、名称、结论不一致。这一层最危险,因为看起来都像真的。
怎么测
固定一个提示词,连跑三次,然后逐层对比:
1. 三次的结论是否一致(事实层) 2. 三次的结构是否一致(结构层) 3. 三次的措辞差异有多大(措辞层)
如果事实层就不一致,这个任务不适合直接交给它,除非你能逐条核实。
让输出稳定的四个做法
**约束格式**:明确说「用表格输出,三列:项目、结论、依据」。格式约束能显著降低结构漂移。
**给例子**:给一个输入输出的范例,比描述十句有效。
**要求引用**:让它标出依据来源。不是为了信它,而是为了在事实不一致时能快速定位。
**降低开放度**:把「帮我分析一下」改成「按这三个维度分析,每维度不超过两句」。开放度越低,方差越小。
什么时候不稳定是好事
创意类任务里,三次给三个方向恰恰是价值。写标题、想 slogan、找角度,这时候要的是多样性,不是稳定性。
所以「稳不稳定」不是产品的绝对好坏,而是要和任务匹配。同一份工作里,事实类任务要稳定,创意类任务要发散。
一个容易被忽略的点
多轮对话的稳定性比单轮更差。前面几轮的内容会污染后面的判断,尤其当你在中途改了需求。实用做法是:需求变了就开新对话,别在旧对话里改。