基于音視頻識(shí)別及語(yǔ)義分析的智能約談平臺(tái)
針對(duì)行政約談場(chǎng)景中存在的人工記錄效率低、內(nèi)容理解偏差記錄、資料追溯繁雜等問(wèn)題,本成果開(kāi)展了基于音視頻識(shí)別及語(yǔ)義分析的智能約談平臺(tái)的研究。基于 AI 深度學(xué)習(xí)的音視頻識(shí)別框架、復(fù)雜網(wǎng)絡(luò)理論和語(yǔ)義知識(shí)本體的文本語(yǔ)義相似度計(jì)算方法,研究音視頻識(shí)別的語(yǔ)音轉(zhuǎn)寫(xiě)、對(duì)話管理、計(jì)算機(jī)視覺(jué)技術(shù)和內(nèi)容分析的語(yǔ)義理解、語(yǔ)義優(yōu)化、情感識(shí)別方法,實(shí)現(xiàn)網(wǎng)信約談、紀(jì)委約談、公安審訊、監(jiān)獄談話等多種行政約談場(chǎng)景下的約談智能化和數(shù)字化。其中,語(yǔ)音識(shí)別轉(zhuǎn)寫(xiě)是開(kāi)展智能約談系統(tǒng)研究的前提和基礎(chǔ),本成果訓(xùn)練了聲學(xué)模型和語(yǔ)言模型,構(gòu)建編碼器,通過(guò)音頻角色分離和聲紋識(shí)別技術(shù)分離說(shuō)話人聲音,編碼器識(shí)別解碼,經(jīng)過(guò)文本語(yǔ)義處理轉(zhuǎn)寫(xiě)為文本。而文本語(yǔ)義處理是智能約談系統(tǒng)提升約談效能的源動(dòng)力,成果構(gòu)建了基于語(yǔ)義本體的自動(dòng)專家導(dǎo)引約談知識(shí)庫(kù),通過(guò)基于復(fù)雜網(wǎng)絡(luò)的語(yǔ)義相似度計(jì)算給約談工作人員推薦約談問(wèn)題;約談結(jié)束后,利用融合主題特征的文本自動(dòng)摘要技術(shù)快速生成匯報(bào)摘要,利用基于分布式表示的事件抽取技術(shù)自動(dòng)生成約談報(bào)告。本成果研制高效、便捷的智能約談音視頻識(shí)別及語(yǔ)義分析平臺(tái),實(shí)現(xiàn)了在線約談?lì)A(yù)約、人臉識(shí)別身份核驗(yàn)、語(yǔ)音實(shí)時(shí)轉(zhuǎn)寫(xiě)、約談問(wèn)題智能引導(dǎo)提問(wèn)、音視文同步顯示、匯報(bào)摘要自動(dòng)生成、約談報(bào)告自動(dòng)生成、約談文件回溯、約談大數(shù)據(jù)分析等功能。
西安電子科技大學(xué)
2022-12-15