在不久前結(jié)束的冬奧會各類賽事直播中，有不少虛擬人前來助陣，其中就有AI手語主播，為聽障人士提供了共享奧運精彩的可能。但在日常生活中，聽障人士想要方便地獲取信息仍面臨著眾多困難，國內(nèi)不少科技公司都意圖通過技術(shù)的力量解決這些問題。

3月3日下午，百度智能云曦靈的發(fā)布AI手語平臺和AI手語平臺一體機，則為手語服務(wù)普及、緩解無障礙窗口短缺困境提供了新解法。

百度智能云曦靈是百度在去年底的Create 2021上推出，是數(shù)字人生產(chǎn)、內(nèi)容創(chuàng)作、業(yè)務(wù)配置服務(wù)為一體的平臺級產(chǎn)品。目前已服務(wù)數(shù)十個用戶和多個場景，包含數(shù)字員工、虛擬偶像等，AI手語數(shù)字人也是其中一個重要方向。在此次冬奧會央視新聞客戶端上，百度智能云曦靈打造的AI手語主播就已上崗，目前已經(jīng)生產(chǎn)了超過200條視頻和進行數(shù)場直播，總觀看次數(shù)已超過1億次。

百度集團副總裁吳甜在發(fā)布會上表示，新代際用戶越來越多的在接受和喜愛數(shù)字內(nèi)容的消費，以及虛擬世界帶來的新鮮感，數(shù)字人的需求正在不斷提升。同時，人工智能呈現(xiàn)融合創(chuàng)新和降低門檻的新特點，綜合運用多技術(shù)的數(shù)字人帶來新體驗，AI加持使數(shù)字人制作和運營成本與門檻降低，AI手語平臺將讓更多聽障人士享受科技帶來的便利。

搜狐科技在發(fā)布會上了解到，中國有超過2000萬的聽障用戶，它占到全球總聽障用戶的39%，但專業(yè)的手語翻譯不足1萬人，相較于日美等國家，手語翻譯人員與聽障用戶的比例是1比100，而我國的比例是1比2780，巨大的需求缺口亟待補足。

這些反映到具體生活中，就會對聽障人士的生活造成諸多不便。百度AI人機交互負責(zé)人李士巖就介紹到，絕大多數(shù)的線上場景，無論是APP電視還是智能硬件，都沒有提供手語服務(wù)。線下的場景則更為復(fù)雜，醫(yī)院有超過97%的聽障用戶因為沒有手語翻譯而在就診遇到困難;在火車站有超過75.73%的用戶沒有使用過火車站的無障礙手語設(shè)施。

此次百度智能云發(fā)布的AI手語平臺及AI手語平臺一體機有望改變這一現(xiàn)狀。據(jù)介紹，AI手語平臺具備視頻手語合成、直播手語合成、文本轉(zhuǎn)手語、語音轉(zhuǎn)手語四大功能，只需幾小時的部署，即可實現(xiàn)普通視頻合成為手語視頻、實時直播中增加手語畫面、文字翻譯為手語、語音實時翻譯為手語等多種效果。AI手語平臺可搭載在各類APP、網(wǎng)站、小程序中，讓聽障人士也能輕松實現(xiàn)線上社交、娛樂休閑、課程學(xué)習(xí)等各類需求。

對于醫(yī)院、銀行、機場等線下場景，此次發(fā)布的全離線一體機V3以及端云結(jié)合一體機P3，搭載了AI手語平臺的核心功能，可實現(xiàn)ASR語音識別、語音翻譯、人像渲染等多功能。通過將普通服務(wù)窗口轉(zhuǎn)換為“無障礙窗口”，聽障人士在醫(yī)院可輕松實現(xiàn)掛號、看診、繳費、取藥等全系列流程，在車站、機場可獨立完成值機、托運、改簽、中轉(zhuǎn)，在法院、警局等特殊場景中也可對各類緊急情況進行實時平等的溝通。

但AI手語的實現(xiàn)也需要克服諸多技術(shù)挑戰(zhàn)。和傳統(tǒng)翻譯相比，手語翻譯并非按照日常說話的順序，而要根據(jù)語句意思進行語言精煉和語序調(diào)整。同時，手語是真正的小語種，數(shù)據(jù)量難以支撐訓(xùn)練，各類場景聲學(xué)環(huán)境復(fù)雜難部署，還需要唇語及表情的配合輔助理解。

因此想實現(xiàn)高可懂度的AI手語能力，就需要解決三個技術(shù)難點：語音識別的清晰度、手語翻譯的準確度和手語動作的流暢度。那么，百度智能云曦靈-AI手語平臺在提供聽得清、翻得準、打得好的手語服務(wù)上做得怎么樣?

據(jù)了解，在語音識別清晰度上，百度智能云曦靈的AI手語平臺通過SMLTA語音識別算法模型，實現(xiàn)聲學(xué)、語言一體化端到端建模語音識別，在手機端近場語音識別率可達98%以上。

百度語音技術(shù)部總監(jiān)高亮表示，百度語音在手語平臺里主要需要解決實時的問題，要把它做的又快又要準，對模型的要求就特別高。“語音大模型SMLTA能夠做到實時識別和非常高的準確度，還可針對諸如旅游、醫(yī)院、司法等不同領(lǐng)域的詞準率進行針對性訓(xùn)練，詞準率可達96%。”

解決了語音的問題，如何準確翻譯成手語也是一大挑戰(zhàn)。百度人工智能技術(shù)委員會主席何中軍在交流會上表示，手語翻譯面臨語序順序不同、詞匯語義差異、效率和實時性等挑戰(zhàn)，為此百度研發(fā)了首個基于神經(jīng)網(wǎng)絡(luò)的精煉度可控手語翻譯模型，并聯(lián)合手語語言學(xué)專家、特殊教育專家等制定了自然手語標注規(guī)范，建設(shè)了大規(guī)模自然手語翻譯語料庫，使得模型可以從真實數(shù)據(jù)中學(xué)習(xí)手語翻譯知識，比如語序的調(diào)整、詞語的映射以及長度控制等，從而生成符合聽障人群習(xí)慣的自然手語。

“手語翻譯有點像同聲傳譯，對表達的準確性和時間延時低，但打手勢速度比說話要慢，所以更加需要對語言的提煉。”何中軍表示，這就需要在模型里面去學(xué)精煉度，同時引入長度的控制模型，可以動態(tài)調(diào)整語句的長短，做到既能夠把主要意思傳遞出來，又能夠把一些不太重要的內(nèi)容忽略掉，從而達到準確度和凝練度都能兼得的效果。

值得注意的是，在自然手語翻譯語料庫的建立也離不開諸多聽障人士的助力，天津理工大學(xué)聾人工學(xué)院的500多名學(xué)生就參與了百度手語數(shù)字人的語料庫標注工作。 “去年11月份在接到這個任務(wù)的時候，真的是時間緊任務(wù)急，學(xué)生聽說要為冬奧會服務(wù)，所以也是特別高興，其實也是為了服務(wù)聾人朋友自己。”天津理工大學(xué)聾人工學(xué)院副院長袁甜甜分享到。

在手語動作的流暢度上， AI手語平臺通過動作融合算法， 基于《國家通用手語詞典》規(guī)范精修近11000多個手語動作，讓每一個動作的起落之間自然銜接，實現(xiàn)連貫性表達。再配合4D掃描技術(shù)訓(xùn)練，使得AI手語數(shù)字人表情自然生動，口型生成準確度高達98.5%。百度表示，未來將在不斷完善產(chǎn)品的基礎(chǔ)上，加快覆蓋和落地，解決各類場景中無障礙窗口稀缺的問題。

標簽： AI手語主播 聽障人士 AI手語平臺 AI手語平臺一體機