天潤(rùn)融通提出四層質(zhì)檢體系，破解企業(yè)Agent解決率難題
現(xiàn)如今，越來(lái)越多企業(yè)開(kāi)始使用Agent來(lái)接待用戶，Agent也逐漸成為企業(yè)的AI員工。在這種情況下，一個(gè)現(xiàn)實(shí)問(wèn)題隨之出現(xiàn)：我們?cè)撊绾魏饬緼gent的工作情況，以及它的整體表現(xiàn)？
就像管理一名普通員工一樣，我們既需要發(fā)現(xiàn)Agent在工作中的問(wèn)題，也需要找到這些問(wèn)題背后的原因，幫助它持續(xù)改進(jìn)。
因此，對(duì)Agent進(jìn)行質(zhì)檢，幾乎成為一件不可避免的事情。
但在最近的交流中，我們發(fā)現(xiàn)很多團(tuán)隊(duì)對(duì)Agent的質(zhì)檢仍然缺乏經(jīng)驗(yàn)，評(píng)估方式依舊停留在“工具階段”，比如命中率、召回率、是否答對(duì)等指標(biāo)。這些指標(biāo)在測(cè)試環(huán)境中或許有效，卻很難回答真實(shí)業(yè)務(wù)里最重要的那個(gè)問(wèn)題——客戶的這次問(wèn)題，到底有沒(méi)有被解決。
基于這一背景，本文將結(jié)合標(biāo)桿客戶的實(shí)踐，探討企業(yè)應(yīng)當(dāng)如何對(duì)Agent進(jìn)行質(zhì)檢。
一、傳統(tǒng)指標(biāo)，為什么不再夠用？
在實(shí)際落地中，很多團(tuán)隊(duì)對(duì)Agent的質(zhì)檢，依然停留在一組熟悉的技術(shù)指標(biāo)上：命中率、召回率、是否答對(duì)。
這些指標(biāo)并非沒(méi)有價(jià)值，它們可以幫助判斷Agent是否按預(yù)期調(diào)用了知識(shí)、執(zhí)行了規(guī)則。但它們只能回答一個(gè)問(wèn)題——系統(tǒng)有沒(méi)有正常工作。
真正的問(wèn)題在于，這些指標(biāo)無(wú)法反映Agent在真實(shí)對(duì)話中的工作結(jié)果。
一次回答即使“技術(shù)上正確”，也可能因?yàn)槔斫馄?、表達(dá)方式或上下文判斷失誤，導(dǎo)致客戶的問(wèn)題并未得到解決。當(dāng)質(zhì)檢只關(guān)注指標(biāo)是否達(dá)標(biāo)，而不關(guān)注結(jié)果是否閉環(huán)時(shí)，評(píng)估本身就會(huì)與真實(shí)業(yè)務(wù)產(chǎn)生偏差。
因此，如果質(zhì)檢仍然停留在“答得對(duì)不對(duì)”這一層面，那么Agent永遠(yuǎn)只能被當(dāng)作工具來(lái)評(píng)估，而無(wú)法被當(dāng)作一名需要對(duì)工作結(jié)果負(fù)責(zé)的員工。
二、四層質(zhì)檢體系：從風(fēng)險(xiǎn)控制到結(jié)果閉環(huán)
1、第一層：系統(tǒng)全量質(zhì)檢，看Agent有沒(méi)有觸碰“絕對(duì)不能錯(cuò)”的底線？
這一層質(zhì)檢關(guān)注的不是效果，而是風(fēng)險(xiǎn)。
在實(shí)際運(yùn)行中，需要對(duì)Agent的全部會(huì)話進(jìn)行100%全量檢測(cè)，重點(diǎn)識(shí)別高風(fēng)險(xiǎn)指令和緊急業(yè)務(wù)場(chǎng)景，比如客訴賠付、時(shí)間承諾、人員安排承諾、工單處理進(jìn)度承諾等，一旦觸及不可接受的錯(cuò)誤類型，能夠被第一時(shí)間發(fā)現(xiàn)并處理。
這一層質(zhì)檢的作用非常明確：為Agent劃清安全邊界。它并不試圖判斷Agent表現(xiàn)得好不好，只負(fù)責(zé)確保一件事——不會(huì)出大事。
2、第二層質(zhì)檢：Agent核查Agent，看問(wèn)題是否真的被解決。
僅僅不出錯(cuò)，并不等于把工作做好。因此，第二層質(zhì)檢的關(guān)注點(diǎn)，從“合規(guī)”轉(zhuǎn)向“結(jié)果”。
這是Zenava智能體平臺(tái)自帶的質(zhì)檢能力，通過(guò)引入另一個(gè)Agent，對(duì)已完成的會(huì)話進(jìn)行判斷，重點(diǎn)關(guān)注對(duì)話中的關(guān)鍵信號(hào)：客戶是否反復(fù)表達(dá)同一訴求，是否出現(xiàn)明顯的負(fù)面情緒，是否陷入無(wú)效往返。
這一層質(zhì)檢不再糾結(jié)回答是否“正確”，而是判斷一件更重要的事：客戶的問(wèn)題有沒(méi)有被閉環(huán)解決。
3、第三層質(zhì)檢：人工反饋，系統(tǒng)看不到的體驗(yàn)問(wèn)題，讓人來(lái)發(fā)現(xiàn)。
即便引入多層自動(dòng)判斷，仍然會(huì)有一類問(wèn)題無(wú)法被系統(tǒng)準(zhǔn)確識(shí)別——體驗(yàn)問(wèn)題。
在真實(shí)使用中，一線客服人員往往最清楚哪些回答“看起來(lái)沒(méi)錯(cuò)”，但在實(shí)際溝通中并不讓人信任、理解或接受。因此，通過(guò)持續(xù)的人工反饋機(jī)制，這些真實(shí)使用感受才能被記錄下來(lái)，并反向用于優(yōu)化Agent的表現(xiàn)。
這一層質(zhì)檢的價(jià)值在于：補(bǔ)齊系統(tǒng)指標(biāo)無(wú)法覆蓋的體驗(yàn)盲區(qū)。
4、第四層質(zhì)檢：客戶滿意度才是最終裁判。
無(wú)論前面設(shè)置了多少內(nèi)部指標(biāo)，最終都必須回到一個(gè)問(wèn)題：客戶是否認(rèn)可這次服務(wù)。
滿意度并不是為了讓數(shù)據(jù)好看，而是作為對(duì)前面所有質(zhì)檢結(jié)果的最終校驗(yàn)。只有當(dāng)Agent真正解決了客戶的問(wèn)題，客戶才會(huì)給出正向反饋。
在這一層，評(píng)判權(quán)不再掌握在系統(tǒng)或團(tuán)隊(duì)手中，而是交還給真實(shí)的業(yè)務(wù)對(duì)象。
過(guò)去，我們只會(huì)讓客戶對(duì)人工客服進(jìn)行滿意度評(píng)價(jià)，而很少讓客戶評(píng)價(jià)機(jī)器人。一個(gè)重要原因在于，我們默認(rèn)機(jī)器人的服務(wù)體驗(yàn)有限，客戶的滿意度也不會(huì)太高。
但在實(shí)際運(yùn)行中，這一判斷正在被不斷修正。過(guò)去一年里，越來(lái)越多客戶開(kāi)始在對(duì)話中主動(dòng)向Agent表達(dá)感謝，這本身就是體驗(yàn)改善的直接信號(hào)。
隨著客戶對(duì)Agent的認(rèn)可度不斷提升，引入滿意度評(píng)價(jià)，也逐漸成為把Agent當(dāng)作“員工”來(lái)管理的重要一步。
三、質(zhì)檢不是打分，而是讓Agent持續(xù)變好的機(jī)制
當(dāng)然，對(duì)企業(yè)來(lái)說(shuō)，對(duì)Agent質(zhì)檢，打分從來(lái)不是目的，幫助Agent持續(xù)改進(jìn)，提高服務(wù)能力才是更重要的事情。
因此，質(zhì)檢并不是質(zhì)檢完就結(jié)束，而是應(yīng)該把每一次“不滿意”，都視為一次明確的失敗案例，找出不滿意出現(xiàn)在哪里、為什么出現(xiàn)、能不能被避免，必須被逐條拆清。
在實(shí)際落地中，這些問(wèn)題往往高度集中，我們也做了總結(jié)，它主要來(lái)自三類：
· 第一，知識(shí)缺失，Agent根本沒(méi)有可用答案；
· 第二，知識(shí)存在，但沒(méi)有被正確召回；
· 第三，答案本身不適合真實(shí)閱讀，結(jié)構(gòu)混亂、信息過(guò)載，導(dǎo)致客戶放棄理解。
當(dāng)這些問(wèn)題被系統(tǒng)性拆解之后，結(jié)論往往非常清晰：絕大多數(shù)“不滿意”，并不是Agent做不到，而是沒(méi)有被正確訓(xùn)練和持續(xù)運(yùn)營(yíng)。
也正因?yàn)槿绱?，Agent的質(zhì)檢不應(yīng)止步于發(fā)現(xiàn)問(wèn)題，而應(yīng)持續(xù)推動(dòng)Agent在真實(shí)業(yè)務(wù)中變得更好。
如果你的Agent已經(jīng)開(kāi)始走向真實(shí)業(yè)務(wù)，現(xiàn)在真正需要補(bǔ)上的，往往不是能力，而是一套可持續(xù)的質(zhì)檢與改進(jìn)機(jī)制。
從衡量開(kāi)始，把問(wèn)題跑出來(lái)，再把Agent練出來(lái)，才是它真正走向規(guī)?；那疤?。
轉(zhuǎn)載請(qǐng)?jiān)谖恼麻_(kāi)頭和結(jié)尾顯眼處標(biāo)注：作者、出處和鏈接。不按規(guī)范轉(zhuǎn)載侵權(quán)必究。
未經(jīng)授權(quán)嚴(yán)禁轉(zhuǎn)載，授權(quán)事宜請(qǐng)聯(lián)系作者本人，侵權(quán)必究。
本文禁止轉(zhuǎn)載，侵權(quán)必究。
授權(quán)事宜請(qǐng)至數(shù)英微信公眾號(hào)(ID: digitaling) 后臺(tái)授權(quán)，侵權(quán)必究。
評(píng)論
評(píng)論
推薦評(píng)論
暫無(wú)評(píng)論哦，快來(lái)評(píng)論一下吧！
全部評(píng)論（0條）