AI驅(qū)動(dòng)的耳機(jī)通過語音克隆和3D空間音頻提供群組翻譯

華盛頓大學(xué)（University of Washington）的博士生陳拓超（Tuochao Chen）最近參觀了墨西哥的一家博物館。陳不會(huì)說西班牙語，所以他在手機(jī)上運(yùn)行了一個(gè)翻譯應(yīng)用程序，并將麥克風(fēng)對(duì)準(zhǔn)導(dǎo)游。但即使在博物館相對(duì)安靜的地方，周圍的噪音也太大了。由此產(chǎn)生的文本毫無用處。

最近出現(xiàn)了各種技術(shù)，有望實(shí)現(xiàn)流暢的翻譯，但這些都沒有解決陳的公共空間問題。例如，Meta 的新眼鏡只能與隔離揚(yáng)聲器一起使用;他們會(huì)在說話人完成后播放自動(dòng)語音翻譯。

現(xiàn)在，Chen 和威斯康星大學(xué)的一組研究人員設(shè)計(jì)了一種耳機(jī)系統(tǒng)，可以同時(shí)翻譯多個(gè)揚(yáng)聲器，同時(shí)保留人們聲音的方向和質(zhì)量。該團(tuán)隊(duì)構(gòu)建了這個(gè)名為 Spatial Speech Translation 的系統(tǒng)，并使用裝有麥克風(fēng)的現(xiàn)成降噪耳機(jī)。該團(tuán)隊(duì)的算法將空間中的不同說話者分開，并在他們移動(dòng)時(shí)跟隨他們，翻譯他們的語音，并以 2-4 秒的延遲播放。

華盛頓大學(xué)的研究人員設(shè)計(jì)了一種耳機(jī)系統(tǒng)，可以同時(shí)翻譯幾個(gè)人說話，跟隨他們的移動(dòng)并保留他們聲音的方向和質(zhì)量。該團(tuán)隊(duì)構(gòu)建了這個(gè)名為 Spatial Speech Translation 的系統(tǒng)，并使用配有麥克風(fēng)的現(xiàn)成降噪耳機(jī)。圖片來源：Chen et al./CHI '25
該團(tuán)隊(duì)于 4 月 30 日在日本橫濱舉行的 ACM CHI 計(jì)算系統(tǒng)中的人為因素會(huì)議上展示了他們的研究。概念驗(yàn)證設(shè)備的代碼可供其他人構(gòu)建?！捌渌g技術(shù)是建立在只有一個(gè)人在說話的假設(shè)之上的，”資深作者、華盛頓大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院的教授Shyam Gollakota說?！暗诂F(xiàn)實(shí)世界中，你不能只有一個(gè)機(jī)器人聲音為一個(gè)房間里的多人說話。我們第一次保留了每個(gè)人的聲音及其來源。