1、基于人工標注的評價
基于問答知識庫來回答的系統(tǒng)，回答能力受限于知識庫的豐富程度，也就是說知識庫對用戶問題的覆蓋率，覆蓋率越高，準確性越高。
因此并非能回答用戶的所有問題，系統(tǒng)最佳的狀態(tài)是將能回答的全部回答準確，不能回答的全部拒識，即拒絕回答。
因此這里的評價指標包括有問題解決率、拒識率、召回率和準確率等，
召回率=機器人能回答的問題數(shù)/問題總數(shù)
準確率=機器人正確回答的問題數(shù)/問題總數(shù)
問題解決率=機器人成功解決的問題數(shù)/問題總數(shù)
拒識率=機器人未回答問題數(shù)/用戶問題數(shù)
通過從每日的全量數(shù)據(jù)集中抽樣出一個小數(shù)據(jù)集，保證小數(shù)據(jù)集的數(shù)據(jù)分布盡量符合全量數(shù)據(jù)集，然后由標注團隊對數(shù)據(jù)集做標注，標注出每個問題的實際答案，一般標注完成后還有質(zhì)檢的環(huán)節(jié)，以保證標注結(jié)果盡量準確，這樣便生成了每日數(shù)據(jù)的標準評測集。
2、基于用戶反饋的評價
人工評價能夠評價智能客服系統(tǒng)的準確率，但是答案是否合理，能否為用戶解決問題，需要用戶去反饋評價，整個智能客服系統(tǒng)的最終目標是幫助用戶解決問題。
最終統(tǒng)計參評比例、滿意度等指標，這些指標能夠真正反應智能客服系統(tǒng)的好壞。實際中往往用戶參評比例低，可以使用各種方法去刺激用戶評價。
以上就是能夠得到一個客服系統(tǒng)最真實好壞的方法。長沙朗深技術升級的智能客服系統(tǒng)在長久的實踐中得到了廣大用戶的不斷好評。如果你也有客服系統(tǒng)需要進行智能升級，朗深技術的呼叫中心智能升級套件是一個非常好的選擇。只需要在原先的呼叫中心基礎上利用呼叫中心套件，將智能呼叫中心功能添加進去即可。
