根據(jù)世界聽障聯(lián)盟的數(shù)據(jù)顯示可知,全球現(xiàn)約有4.66億人患有殘疾性聽力受損,其中兒童患者的數(shù)量為3.4億,這一龐大的統(tǒng)計數(shù)字遠(yuǎn)遠(yuǎn)超過了全球人口數(shù)量的5%?,F(xiàn)階段,我國聽力殘疾患者數(shù)量達2780萬人,聽力障礙人群更是高達約7200萬人。對于這規(guī)模龐大的聽障群體而言,手語是其與外界溝通交流最重要的途徑之一,但目前掌握手語的群體卻寥寥無幾。因此,新式手語識別技術(shù)的誕生對于聽障群體與其他群體間的正常交流至關(guān)重要。
在如此背景下,雙橋智聯(lián)團隊于2021年正式成立,團隊創(chuàng)始人何慧敏,立志發(fā)展助殘事業(yè),負(fù)責(zé)團隊整體運營,在電子科技大學(xué)中山學(xué)院董帥、彭程博士等教師指導(dǎo)下,組建了一支實力雄厚的研發(fā)團隊,團隊潛心研究,在技術(shù)上不斷追求創(chuàng)新和突破,各項技術(shù)均為業(yè)內(nèi)領(lǐng)先,團隊現(xiàn)已擁有三項核心技術(shù),第一,基于大語言模型多模態(tài)知識遷移的動態(tài)手語識別技術(shù);第二,基于輕量化3D Transformer的手語元動作和復(fù)合動作意圖識別方法:第三,基于雙向數(shù)據(jù)綁定技術(shù)的手語識別HCI引擎,以及5件發(fā)明專利授權(quán),3篇SCI論文,4件軟件著作權(quán)。
團隊討論項目研發(fā)方案
雙橋智連團隊推出的《基于HCI的智能手語識別系統(tǒng)》,具有更高的識別準(zhǔn)確度與更快的識別速度,在競品的算法識別準(zhǔn)確率達到80%的情況下,雙橋智連的產(chǎn)品準(zhǔn)確率可高達96%。與此同時,團隊構(gòu)建了結(jié)構(gòu)化的手語特征數(shù)據(jù)集,自制數(shù)據(jù)集包含約10萬個視頻,每個視頻長度5~15秒,覆蓋了所有8400個手語詞匯。目前,雙橋智連的智能手語識別系統(tǒng)已在中山市特殊教育學(xué)校落地應(yīng)用。對此,中山市特殊學(xué)校副校長巫曉丹說道:“聽障學(xué)生和健聽人之間的高效溝通受渠道影響還存在一些障礙,通過人工智能技術(shù)輔助溝通是一種很好的方法,可以為聽障人士搭建與世界溝通無障礙的橋梁”。該項目成果在未來的發(fā)展道路上,可推廣應(yīng)用到醫(yī)院、銀行、公共交通、警務(wù)、大型賽事等更多公共服務(wù)場所,促進聽障人群就業(yè),這對于提升我國無障礙交流融合水平等方面的層次具有非同凡響的意義。
目前,雙橋智連項目已收到10家愛心企業(yè)合作意向書,全面對接了18個社群,雙橋智連團隊將牢記自己的初心使命,打造出高效,準(zhǔn)確,輕量,數(shù)字化的聾健雙向交流助聾產(chǎn)品,為聽障人士提供更加便捷、更加高效的溝通方式。
基于HCI的智能手語識別系統(tǒng),用AI技術(shù)造福世界,助力聽障人士與世界無障礙交流!
◆編輯:龍慧◆二審:蘇鵬蘊◆三審:周亞平