智能质检优化实践:召回率和准确率,哪个更重要?

首页    普通文章    智能质检优化实践:召回率和准确率,哪个更重要?
 

01麦瑟尔夫人

图:美剧《了不起的麦瑟尔夫人》

 

很多企业拥有中大型电销或客服中心,每天与客户产生成千上万次沟通。沟通的质量,决定了企业的收入或客户满意度。企业监督业务人员的沟通质量和执行力的过程,被称为质检。

 

前两篇文章,我们介绍了“关键词+正则”质检方式和全新的“非正则”质检方式的区别,也介绍了两种机器质检方式各自适配的场景

 

双模质检,各司其职“非正则”质检方式通过引入深度学习算法模型,能够更好地利用上下文语义来判断一个句子是否命中了质检项,显著提升找全率(术语“召回率”)和找准率(术语“准确率”)。同时,由于深度学习算法模型对训练数据量有要求,因此“非正则”方式更适合目标通话量较多的质检项,而目标通话量过少的质检项,无法训练出好的算法模型,需要继续使用“关键词+正则”的方式。

 

今天,我们进一步分析,如何对不同的质检项采取不同的优化策略,使机器质检和人工复检更好地平衡,提升整体质检工作的效率。

 

召回率和准确率的关系

 

我们希望每个质检项所命中的目标通话又全又准。这也是循环智能的质检产品引入“非正则”模式的原因。

 

但在优化质检项的命中效果时,当召回率和准确率都达到了一定的高度,想要继续提升,难免会遇到“二选一”的问题:召回率和准确率互相影响、此消彼长,一个指标增长,另一个指标通常就会下降。

 

02召回和准确

图:Designed by Creazilla*

 

在实际应用中,大部分企业的业务流程是“机器质检+人工复检”:将机器质检的结果交给人工做复检。因此,机器质检的召回率和准确率变化,会影响到人工复检的成本:

 

  • 提升召回率(适当牺牲准确率),意味着降低“漏检”的风险,但可能会增加“误检”带来的人工复检成本;

  •  

  • 提升准确率(适当牺牲召回率),意味着降低“误检”带来的人工复检成本,但可能会增加“漏检”的风险。

  •  

那么对于不同的质检项而言,如果碰到“二选一”的问题,该如何做出选择?

 

 

负向质检项:通常“召回率”优先

 

负向质检,就是找出不合格、不合规的地方。通俗地说,在销售、客服质检中,是指找出业务员“说了什么不该说的”。负向质检是企业比较常见的需求,尤其是在受监管比较严格的领域。

 

03宁可错杀一片

 

 

在贷后资产管理(催收)领域,质检项以负向为主,例如恐吓威胁、疑似私收钱款等。负向质检项通常有两个特征,第一是违规量通常都不太大(大部分通话不会违规),第二是漏检之后的风险相对比较大。因此,针对负向质检项,我们通常应该通过调整算法模型的参数或规则代码,保证“召回率”优先,将更多涉嫌违规的通话都找出来,然后增加人工成本去做复检,“宁可错杀一片,不可放过一个”。

 

 

正向质检项:通常“准确率”优先

 

正向质检,是指对业务员符合规范的地方进行加分激励。最近几年,正向质检越来越受到企业重视,因为负向质检判断的只是业务员有没有犯错,是一种“惩恶”的理念,而正向质检可以用来激励业务员变得更加专业、更加规范,是一种“扬善”的理念,更有利于形成正向循环。

 

04宁可漏掉几个

 

 

例如客服领域的规范性用语:“标准开场白”、“标准结束语”、“服务延伸用户(请问还有什么可以帮您)”以及“确认客户预留信息”等。这类正向质检项,通常目标通话量比较大,如果错误率较高,复检成本就会很高。面临二选一的时候,我们通常应该通过调整模型参数或规则代码,优先提升准确率,降低人工复检成本,“宁可漏掉几个,不可错杀一片”。

 

 

实际场景更复杂

 

需要重申,我们在优化质检项命中效果的时候,最好的情况是,能找到同时提升召回率和准确率的方法,或者能找到大幅提升其中一个指标,而另一个指标不会明显下降的方法。如果这两条路都走不通,为了继续提升效果,才需要结合漏检的风险高低以及人工复检的成本,进行“二选一”。

 

通常,因为负向质检项的漏检风险比较高,所以“召回率优先”,降低漏检风险;而正向质检项的目标通话量比较大,所以“准确率优先”,降低复检成本。

 

不过,也有少量例外。比如有的负向质检项,目标通话量不算少,而且风险也比较低,那可以考虑“准确率优先”;有的正向质检项,目标通话率非常少,而且重要性比较高,那就应该考虑“召回率优先”。

 

此外,在实际应用中,还要将其他因素综合考虑进去,比如不同质检项的召回率和准确率提升难度不同,比如不同企业的复检员数量是不同的……我们才能更好地制定不同质检项的优化策略。
 

  © THE END   


循环智能的主产品是基于对话数据的 AI 销售中台,针对销售和客服场景,提供三大核心模块:线索成单预测、客户心声分析和智能质检。点击这里,预约在线演示

2020年3月17日 15:01