快通道置信度 0.6 的坑

一个写死的数字,让一整类条目永远没有出头之日。查了半天,bug 不在代码逻辑里,在两个配置的夹缝里。

rag-wiki 的快通道 FastEntry 有个我一直没细想的设计:它的 confidence 不是根据问题或检索分数算出来的,而是按条目来源写死的分档。由已生效的 Wiki 条目派生出来的,给 0.9;由慢通道高频流量沉淀出来的(7 天内出现 3 次以上、且没有来源),给 0.6。而快通道的命中阈值 min-confidence 是 0.8。

把这三个数字摆在一起,坑就自己跳出来了:0.6 小于 0.8,意味着沉淀条目默认永远不会被命中。它们被辛辛苦苦地统计、沉淀、存进库里,然后永远躺在那里,除非先人工给它绑定一个来源,才有机会被派生成高分条目。这不是代码写错了,是两个各自看起来都合理的配置,合在一起互相锁死。

这类写死分档的好处也得说清楚:快通道全程零模型调用,又便宜又稳定,行为完全可预测。教训只有一个:凡是写死的阈值和分档,上线前把所有数字拉一张表对一遍,别让它们在夹缝里互相打架。

回文章列表