返回首页 · 经历

案例长文

问答机器人优化:当大家不再默认先问它的时候

2024–2025 · 产品经理

知识库 · 语料治理 · 流程优化

公司内部有个 AI 问答机器人,本来是帮员工查产品规则的。业务一快,答案却经常滞后:有人查到下架规则,有人问场景该用什么产品却推荐不准。慢慢地,大家不再把它当成可靠入口,宁愿多走一步去问同事。这个项目要解决的,不只是「答得对不对」,而是「大家还愿不愿意先问它」。

背景与问题

公司内部有 AI 问答机器人,供员工查询产品规则。业务迭代快,机器人回答经常滞后,员工反馈「查不到准确信息」,效率受影响;不少人宁愿问身边同事也不愿用机器人,信任度下滑。

需求拆解

1语料与现行产品规则对齐,减少引用已下架规则、旧版价格等过时回答
2提升「XX 场景用什么产品」等高频问法的推荐准确率
3建立可持续的更新机制,避免再次依赖「临时发现才修」

方案与推进

下面是当时实际推进过的一串动作:有的偏流程,有的偏协作,有的偏验收。顺序未必是「最优模板」,但更接近真实推进时的颗粒度。

1问题诊断:抽样分析近一个月约 200 条员工提问并对照实际规则,量化约 15% 回答引用过期内容、约 20% 场景推荐错误,避免凭感觉拍脑袋
2方案选择:在资源有限下对比「重训模型(周期长、成本高)」与「优化知识库 + 补充推荐规则(见效快)」;判断根因是知识未跟上业务而非模型本身,先选后者快速止血
3梳理近三个月产品规则变更记录,逐条核对语料:删除过期内容、补充新增规则
4针对高频「用什么产品」类问题,与相关产品同事梳理标准推荐规则并配置进系统
5推动建立「月度语料同步流程」:每月规则更新后,产品经理须同步更新机器人语料,从流程上堵住滞后

结果与反思

结果不一定都能量化成漂亮数字,但至少要能说清楚「发生了什么变化」以及「还欠什么」。

1上线约一个月后抽样:问答准确度提升约 20%
2总咨询量提升约 30%
3问卷调研约 70% 员工表示「靠谱多了」

收束一句

当根因是知识滞后而不是模型能力时,用运营、规则与流程先止血,往往比等一版长周期重训更贴近业务节奏;数据化的抽样诊断,是争取资源与对齐共识的前提。

Meow.原型:小椰