2019年12月，愛數智慧自然式對話測試數據集入選LDC Catalog，編號為LDC2019S23。LDC Catalog是經過CoreTrustSeal數據知識庫認證的數據存儲平臺，并獲得OLAC(開放數據存儲聯(lián)盟) 五星級評定。愛數智慧此次入選的數據集由60名發(fā)音人在不同環(huán)境中錄制而成，發(fā)音人來自全國多個口音區(qū)，年齡段覆蓋均衡。作為測試集，該數據集可為多種對話類語音識別模型測試提供特征廣泛的語音數據。
AI巨頭發(fā)力多輪對話研究，對話數據集需求爆發(fā)
AI巨頭在應用層的拓展推動對話類數據集需求迎來爆發(fā)期?！?019人工智能商業(yè)化報告》指出，語音交互更貼近人類的溝通行為和習慣，隨著技術突破帶來的用戶體驗的提升，將最有可能成為人機交互的主流。對話式語音交互成為AI巨頭發(fā)力的重點，谷歌、亞馬遜、阿里、騰訊、百度、小米等紛紛推出了支持多輪連續(xù)對話的智能音箱、智能助理、智慧客服、智能機器人等產品。AI系統(tǒng)連續(xù)對話能力將引發(fā)金融、教育、科技互聯(lián)網、交通出行、移動通信、科技制造等行業(yè)的交互變革。
另一方面，朗讀式數據的模型識別準確率已可達97%-98%，而從CHiME 5比賽數據來看，對話式數據的模型識別準確率基本在50%左右。這個結果表明，在語音識別領域，對話類語音識別仍然是一個挑戰(zhàn)。語音識別技術應用需要更好、更智能的對話類語音識別模型，也需要更多的對話類數據提升模型性能。
愛數智慧自然式對話測試數據集入選LDC Catalog
總有一些企業(yè)走在了行業(yè)趨勢的前端，因此當市場需求興起時，那些具有前瞻性眼光的企業(yè)便能抓住機遇的風口。2019年12月，著名的語音數據存儲與發(fā)布平臺LDC將愛數智慧的自然式對話測試數據集納入數據集目錄，編號為LDC2019S23。公開資料顯示，該目錄已經過CoreTrustSeal數據知識庫認證。這充分肯定了入選數據集的可信賴度，同時也表明這些數據在未來仍然有用且有意義。
愛數智慧自然式對話測試數據集詳解
愛數智慧科技有限公司成立于2016年，是一家專業(yè)的人工智能數據服務商，為語音識別、語音合成等領域提供專業(yè)的數據采集和標注服務。人工智能從業(yè)者常說 “Garbage in, garbage out”，也就是說好的數據和好的模型一樣重要。因此，我們不禁有些好奇這個數據集的魅力。愛數智慧的工作人員從數據采集、標注以及應用三方面為我們講述了這個數據集的豐富內涵。
（一）采集的多樣性
該數據集采用自發(fā)式風格錄制，發(fā)音人根據選擇的主題自由對話，充分還原生活中自然語言對話的場景。
發(fā)音人的多樣性：該數據集由60名發(fā)音人錄制而成，年齡段為4-67歲，采樣均衡;發(fā)音人來自全國多個口音區(qū)，如陜西、內蒙、福建等;
錄制環(huán)境多樣性：該數據集在三個不同混響的房間進行錄制，接近真實生活場景;
錄音設備多樣性：錄音設備包含5種不同品牌安卓手機、8種型號的蘋果手機、2種型號的錄音筆;
拾音距離的多樣性：數據集既包含近場數據，又包含遠場數據。
（二）標注的準確性
同一說話人音頻截取的準確性。在對話過程中，既有設備錄制單人說話聲音，又有設備
同時記錄對話音頻。因此，為了保證說話人音頻的一致性，需要將至少3份音頻數據結合起來標注。這要求在不同的音頻數據中，對同一說話人音頻的截取要保持高度的統(tǒng)一。
前瞻性的標簽體系和標注準則。自然語言產生的語音交疊、停頓、咳嗽、拍手等聲音都
是有意義的，這些聲音表明了說話人的狀態(tài)、情緒，甚至會暗示說話人的心理活動。如何用機器可識別的語言說明這些聲音呢?愛數智慧的標注團隊制定了一套客戶認可的標簽體系，為出現(xiàn)在音頻中的每一種聲音找到歸屬。在長期的標注中，愛數智慧形成了一套完整的標注準則，讓數據保持一致性。
（三）語音識別模型適配的多樣性
該自然式對話測試數據集可用于多種類型的語音識別模型測試，如對話識別模型、說話人分離、模型魯棒性測試等。
對話類語音識別模型準確率測試。例如，在一個典型的家庭應用場景中，使用語音交互的家庭成員包含老人、妻子(成年女性)、丈夫(成年男性)、孩子。這些家庭成員的發(fā)音方式、發(fā)音習慣均有差異。在語音識別模型中，該數據集發(fā)音人年齡的多樣性可用于測試模型對不同年齡段的識別效果。
說話人分離任務測試?；谔囟ㄕf話人的場景化識別已經成為研究熱點，美國國家標準局從2002年的豐富轉寫評測中正式加入了說話人分離任務，即從多人對話中自動地將語音依據說話人進行劃分并加以標記。該數據集在采集中，已經設置了單人錄音通道和多人錄音通道。因此，可以將該數據集用于測試模型對說話人分離任務的準確率。
說話人確認任務測試。標注人員按照說話人對音頻進行標注，即每段音頻都有對應的說話人。由于該數據集采用多種不同類型的設備錄制，在模型中，可將不同設備錄制的語音段用于對待測說話人的身份進行判斷，從而得出模型完成說話人確認任務的準確率。
模型魯棒性測試。該數據集采集中，既有近場數據，又包含遠場數據。將不同拾音距離的數據放入模型中，可以測試出模型在不同底噪、距離等因素干擾下的準確率，從而分析模型魯棒性。
此外，該數據集包含了多種口音的語音數據，可以幫助模型快速擴展到多個不同口音區(qū)域。
據了解，愛數智慧擁有數據量行業(yè)領先的中文自然對話數據庫，并在多語種自然對話數據制作上擁有行業(yè)認可的專業(yè)度。可制作50多種語言的數據集，如中文、日語、韓語、泰語、他加祿語、馬來語以及各種口音的英語等。該公司已經積累10萬小時+多語種多場景的音頻數據，可快速用于提高語音識別模型性能。隨著AI巨頭對對話數據需求的爆發(fā)式增長，我們期待愛數智慧作為對話數據制作的先行者，發(fā)揮先發(fā)優(yōu)勢，為提升語音識別模型性能提供有力的數據支撐。
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
