案例长文
问答机器人优化:当大家不再默认先问它的时候
2024–2025 · 产品经理
知识库 · 语料治理 · 流程优化
公司内部有个 AI 问答机器人,本来是帮员工查产品规则的。业务一快,答案却经常滞后:有人查到下架规则,有人问场景该用什么产品却推荐不准。慢慢地,大家不再把它当成可靠入口,宁愿多走一步去问同事。这个项目要解决的,不只是「答得对不对」,而是「大家还愿不愿意先问它」。
背景与问题
公司内部有 AI 问答机器人,供员工查询产品规则。业务迭代快,机器人回答经常滞后,员工反馈「查不到准确信息」,效率受影响;不少人宁愿问身边同事也不愿用机器人,信任度下滑。
需求拆解
(1)语料与现行产品规则对齐,减少引用已下架规则、旧版价格等过时回答
(2)提升「XX 场景用什么产品」等高频问法的推荐准确率
(3)建立可持续的更新机制,避免再次依赖「临时发现才修」
方案与推进
下面是当时实际推进过的一串动作:有的偏流程,有的偏协作,有的偏验收。顺序未必是「最优模板」,但更接近真实推进时的颗粒度。
(1)问题诊断:抽样分析近一个月约 200 条员工提问并对照实际规则,量化约 15% 回答引用过期内容、约 20% 场景推荐错误,避免凭感觉拍脑袋
(2)方案选择:在资源有限下对比「重训模型(周期长、成本高)」与「优化知识库 + 补充推荐规则(见效快)」;判断根因是知识未跟上业务而非模型本身,先选后者快速止血
(3)梳理近三个月产品规则变更记录,逐条核对语料:删除过期内容、补充新增规则
(4)针对高频「用什么产品」类问题,与相关产品同事梳理标准推荐规则并配置进系统
(5)推动建立「月度语料同步流程」:每月规则更新后,产品经理须同步更新机器人语料,从流程上堵住滞后
结果与反思
结果不一定都能量化成漂亮数字,但至少要能说清楚「发生了什么变化」以及「还欠什么」。
(1)上线约一个月后抽样:问答准确度提升约 20%
(2)总咨询量提升约 30%
(3)问卷调研约 70% 员工表示「靠谱多了」
收束一句
当根因是知识滞后而不是模型能力时,用运营、规则与流程先止血,往往比等一版长周期重训更贴近业务节奏;数据化的抽样诊断,是争取资源与对齐共识的前提。