客服接入生成式 AI,生产率提升应该怎样计算?

一个客服团队接入 AI 后,平均回复变快了,是否就能说明生产率提高?如果用户更快收到一句并不解决问题的话,几小时后还要重新联系,局部速度可能上升,整个服务却没有变好。工作场景中的 AI 评价,必须先定义什么产出值得增加,再讨论模型生成了多少文本。

Brynjolfsson、Li 与 Raymond 的《Generative AI at Work》利用一套客服辅助工具分批上线的数据,研究真实工作中的变化。本文采用 2023 年 NBER 工作论文及其修订口径,讨论它能够支持什么结论,以及企业如何把类似研究思路转化为可解释的评价,而不把一个平均数当成所有岗位的统一回报。

复古水粉画里的客服坐席戴着耳机查看建议
AI 生成配图 · 20 世纪中期广告水粉画 · 未完纪

先确定产出,再谈每小时

客服工作的直接目标是解决问题,而不是尽快把对话关闭。因此,研究用每小时解决的问题数衡量生产率,比只比较打字速度更贴近有效产出。这个指标仍然依赖对“解决”的业务定义:由用户确认、系统记录还是后续状态判断,都可能影响结果。

一个可靠的评价应说明分子和分母。分子是否包含后来重新打开的问题,分母是否包含培训、等待和处理记录的时间?如果只算在线聊天时段,模型节省的工后整理可能看不见;如果只数关闭工单,又可能把转交给别人的工作算成自己的完成。研究结论必须与实际口径对应。

以下是纯假设例子:某人每小时处理十次对话,其中八次真正解决;工具上线后每小时处理十二次,却仍只有八次解决。对话量增长 20%,有效问题解决数没有变化。这个例子没有描述论文数据,只是说明为什么“更忙”“更快”和“产出更多”不能互相替换。

质量还应以其他指标交叉检查。顾客反馈、转接、重复联系和返工能帮助发现分子是否过于乐观。它们也有局限,例如愿意填写满意度的人可能不是随机样本。因此,不必幻想一个指标概括全部服务质量,更好的做法是预先规定主要结果,再把其他结果作为互补证据。

论文中的百分之十四来自什么比较

NBER 2023 年工作论文研究的数据涉及 5179 名客服人员。工具在对话中提供实时建议,人员可以采纳、修改或忽略。作者估计,获得工具访问权限使平均生产率提高约 14%,新手和原有技能较低者改善更明显,资深高技能人员的影响较小。NBER 工作论文 31161

2025 年 2 月在线发表的期刊定稿使用了 5172 名客服人员的数据,报告每小时解决的问题数平均增加约 15%。下文用工作论文的 14% 展开算例,引用时应将人数和估计值与对应版本一起注明。期刊定稿,作者存档

这是一项对特定公司、任务和工具实施方式的研究。数字描述的是研究条件下的平均变化,不意味着每个员工恰好提高 14%,也不意味着所有知识工作都可以乘以同一系数。平均值中包含不同经验、不同问题组合以及实际使用行为。

访问权限与采用建议同样应区分。实际采纳程度可能和工作难度、经验或态度相关。只观察采纳最多的人,可能挑出原本就擅长使用工具的员工;只看最常触发建议的对话,又可能集中在更困难的问题上。作者研究分批上线所提供的变化,试图比单纯比较爱用与不用工具的人得到更可信的解释。

百分之十四也不能直接换算成节省百分之十四工时。以下仍为假设算术:若每小时有效产出从十提高到十一点四,在需求不变、任务相同且其他条件均不变时,完成相同数量所需时间约变为原来的十除以十一点四,也就是约 87.7%。现实里还有排队、培训、需求变化与质量要求,这个倒数关系只是理想条件下的尺度说明。

打开 HTML 互动演示 · 更快结束对话,会提高实际解决效率吗?

分批上线提供因果线索,但不是自动随机化

工具在不同时间向不同人员上线,形成可以利用的时间差异。这类设计能够比较上线前后,并参考尚未上线或其他可比人员的同期变化,减少把整个业务环境改善误认成工具收益的可能。它仍然需要认真检查上线安排与结果变化之间是否存在其他联系。

用一个完全假设的简化例子说明:上线组产出由十变十二,对照组同期由十变十一,二者变化之差为一。这个差值把共同上升的一部分排除在外。真实论文的估计使用更完整的数据与模型,不能用这四个假设数字代替;例子只是解释为什么只看上线组前后差两,并不充分。

关键识别问题包括上线前趋势是否相近,是否优先给某类员工开放,是否同时改变培训、排班或任务分配,以及人员进入退出是否影响样本。管理者若专门把简单工单分给工具组,即使工具毫无作用,也可能看到速度上升。反过来,如果工具组承担更多难题,直接比较又可能低估收益。

分析需要说明这些因素怎样处理,并保留不确定性。分批上线不是一个天然的因果保证,也不能靠多加几个控制变量消除所有未知。它的价值在于把因果问题具体化,让读者能够判断结论依赖哪些条件,而不是只接受一张上线前后向上的曲线。

为什么新手可能收益更大

客服经验的一部分藏在沟通顺序中:什么时候追问,怎样解释规则,什么时候给出下一步。熟练人员可能已经掌握这些模式,新手则需要更长时间积累。AI 从历史对话中提取并提供建议,有机会把部分有效做法更及时地送到新手面前。论文把这种经验传播视为一种得到支持但仍需谨慎解释的机制。

这不表示模型把优秀员工的全部能力复制了出来。判断模糊信息、识别例外和处理未见情形,可能仍然依赖人。系统传播的也可能只是训练资料里常见的表达方式。如果历史记录存在错误或过时规则,流畅建议并不会自动把它们纠正。因此,机制分析应同时检查建议内容与业务结果。

要区分即时辅助与真正学习,可以观察工具暂时不可用时的表现,以及新人随时间形成的独立能力。若人只是照着建议回复,离开工具就回到原有水平,收益主要是现场支持;若不调用时也逐渐采用更好的方法,则可能出现技能积累。二者都可能有价值,但不能只凭短期产出同样上升就视为一回事。

平均效果较小的资深人员也不等于工具完全无用。他们可能在少数陌生问题上获益,在熟悉任务上却花时间忽略冗余提示。评价可以按任务类型与经验交叉分析,并事先规定分组规则,避免在大量子组中只挑最亮眼结果。不同员工的净收益,可能正是工作流需要不同界面的理由。

文本任务的进步为什么不能直接外推

Noy 与 Zhang 的 2023 年研究采用职业相关写作任务,随机比较获得生成式 AI 帮助的条件与对照条件,分别评价完成时间与文本质量。它与客服现场研究提供互补证据:前者更便于控制任务,后者更贴近日常服务,但两者都只覆盖各自研究设定。写作任务研究的 MIT 作者预印本

Dell’Acqua 等 2023 年工作论文研究知识工作任务,强调 AI 能力在不同任务之间并不均匀。看起来复杂程度相近的任务,使用 AI 后可能得到不同方向的影响。这使“把某个岗位整体自动化”的讨论,需要回到具体任务与人机组合上检查。2023 年工作论文的 MIT Sloan 镜像

对客服团队也是如此。常见流程问答、复杂账目解释和新政策例外并不是同一任务,不能因为模型擅长起草回复,就认定它同样擅长核对事实。工具应把可核对的资料与候选表达联系起来,让人知道建议依据什么;当业务规则更新,评价样本和知识来源也要同步更新。

一项可执行的内部评价应该保留什么

内部试验可先选择边界清楚的任务,记录原有流程作为基线,再比较知识库搜索、固定回复模板和 AI 建议。这样能够分辨收益是否来自信息更容易查找,还是来自更灵活的对话组织。只比较有工具与完全没有支持的工作方式,可能无法回答新工具相对现有方案值不值得投入。

主要指标与质量底线应在查看结果前确定,评估周期需要覆盖学习使用工具的阶段。数据记录应允许把一次建议与后续处理过程对应起来,同时限制不必要的个人信息进入分析。对员工来说,评价规则应解释清楚,避免因为某个新指标容易刷高,就把合理追问和必要转接压缩掉。

成本也要完整。模型调用只是其中一项,接入、资料维护、培训、人工核对和失败后的返工都会占用资源。若工具提高产出但增加了同等甚至更多的复核负担,净效果需要重新计算。对于企业,真正可用的证据是完成同等质量任务的总资源变化,而不是单独展示一次生成的价格。

最后还要区分生产率、需求和岗位数量。即使相同工时能解决更多问题,企业也可能提高服务覆盖、缩短等待或承接新增需求。研究中的局部效率提升,并没有自动决定组织怎样调整人员。把这些不同层面的结论分开,才不会用一个具体的客服结果替代整个劳动力市场的判断。

客服 AI 的价值,应该体现为问题更稳妥地得到解决,经验更容易传递,质量与成本都能够核对。百分之十四是一个需要理解条件的研究结果;一套清楚的产出定义、比较设计与持续验证,才是其他团队可以真正带走的方法。

参考资料

© 版权声明
THE END
喜欢就支持一下吧
点赞38