感受洪荒之力！深度傳感器搭配機(jī)器學(xué)習(xí)，這個(gè)AR應(yīng)用能制造閃電，還能與現(xiàn)實(shí)交互

年輕人，你渴望力量嗎？

就是那種能在指尖召喚閃電，隨手一扔就能造成大量傷害的力量。

現(xiàn)在，你只需要?jiǎng)觿?dòng)你的手指，就能在指尖形成一股能量，這股能量也能和現(xiàn)實(shí)世界產(chǎn)生互動(dòng)，這個(gè)閃電還會(huì)消散形成細(xì)小的電流，在物體邊緣上下流動(dòng)，留下粉色的光芒。

就像這樣：

這款名叫Let's All Be Wizards!的應(yīng)用已經(jīng)上線了App Store，售價(jià)2.99美元。不過由于需要利用到LiDAR，因此目前也只有iPhone 12 Pro和iPhone 13 Pro用戶能夠得到這股力量。

沒想到吧，如此神奇的力量竟然也隱藏在你的手機(jī)中。

相關(guān)視頻在Reddit和LinkedIn上都引起了十分熱烈的討論和圍觀，比如有網(wǎng)友就贊嘆到，“和房間的聯(lián)動(dòng)也太厲害了吧”。

還有人表示，“這肯定是一個(gè)很棒的NFT”。

接下來就和文摘菌一起來看看這股力量的源泉吧~

深度傳感器+機(jī)器學(xué)習(xí)，LiDAR也是關(guān)鍵之一

首先，除了一臺支持LiDAR的蘋果手機(jī)外，還需要準(zhǔn)備到Unity 2020.3LTS和ARFoundation。

既然力量要從手中展現(xiàn)，那就必然要對手部進(jìn)行捕捉，這就需要60FPS手部檢測（60 FPS hand detection）

以及3D骨骼世界檢測（3D Bones world detection）。

也正是基于此，LiDAR就顯得尤為必要，因?yàn)槲恢迷试S手上的準(zhǔn)確照明（次表面散射）或邊緣檢測（用于最后返回的火花）以真正將原生世界和虛擬世界融合在一起。如果沒有實(shí)時(shí)深度估計(jì)，這些功能都不可能實(shí)現(xiàn)。

空間網(wǎng)格上的照明也是通過5個(gè)渲染器通道來實(shí)現(xiàn)的：

• 每個(gè)像素（屏幕空間）的法線和距離  

• 背景相機(jī)和手部遮擋

• 手部次表面散射照明 

• 光暈和游戲空間fx（實(shí)際上，每個(gè)能量球一次通過）

• 透明和不透明對象

正如項(xiàng)目作者Olivier Goguel總結(jié)的那樣，“由于深度傳感器和基于視覺的機(jī)器學(xué)習(xí)，我們可以實(shí)時(shí)創(chuàng)建手及其周圍環(huán)境的數(shù)字版本，以生成虛擬和真實(shí)物體無縫交互的3D環(huán)境”。

該項(xiàng)目也已經(jīng)在GitHub上開源了，詳細(xì)過程大家也可以自行前往查看：

項(xiàng)目鏈接：

https://github.com/ogoguel/realtimehand

混合現(xiàn)實(shí)和物體識別打破游戲和數(shù)據(jù)的束縛

翻開Olivier Goguel的LinkedIn主頁，文摘菌也被這滿滿的履歷“閃瞎了眼”。

作為一名電子游戲愛好者，Goguel先后在Argonaut、Lagardere Active、Mimesis Republic、Namco、Microsoft和Asobo Studio等大型電子游戲公司工作了超過25年。也正是這些經(jīng)歷，讓他有機(jī)會(huì)將一些技術(shù)和思維應(yīng)用于許多娛樂項(xiàng)目上，其中就包括AR/VR體驗(yàn)。

目前他在HoloForge Interactive擔(dān)任CTO一職。

在HoloForge Interactive的官網(wǎng)上，他們就表示，他們要在個(gè)人、地點(diǎn)和數(shù)據(jù)融合的體驗(yàn)中，打破束縛，充分發(fā)揮其潛力。

比如在2016年，他們就與Microsoft合作，開發(fā)了通過混合現(xiàn)實(shí)和物體識別進(jìn)行體驗(yàn)的游戲Young Conker。

在游戲中，場景都將直接在房間里構(gòu)建，比如敵人會(huì)出現(xiàn)在咖啡桌周圍，你的沙發(fā)里可能藏著要收集的物品，你需要蹦床去看電視等等。關(guān)卡也會(huì)隨著環(huán)境而適應(yīng)并隨之變化。

在這個(gè)項(xiàng)目中，開發(fā)者們需要攻克以下幾點(diǎn)難關(guān)：

• 環(huán)境識別：游戲檢測環(huán)境的拓?fù)浣Y(jié)構(gòu)，然后找出其組成部分。系統(tǒng)需要檢測房間中的地板、墻壁和天花板以及各種不同類型的家具，并與游戲中的角色創(chuàng)造獨(dú)特的互動(dòng)。

• 交互：玩家可以用目光移動(dòng)主角，無需操縱桿即可實(shí)時(shí)精確控制游戲操作。

• Room Solver AI：游戲使用空間映射工具，并采用人工智能自動(dòng)生成關(guān)卡和角色定位。 

• 與角色真正聯(lián)結(jié)：由于游戲知道玩家的位置和正在尋找的位置，因此每個(gè)角色都可以以不同且令人驚訝的方式對玩家的存在做出反應(yīng)。

Local Lenses如何改變對城市的觀看方式

說到AR，文摘菌印象最深刻的還要屬前年Snapchat推出的一個(gè)戶外AR項(xiàng)目Local Lenses。

這個(gè)AR項(xiàng)目與專注于地圖的競爭對手不同，Snap計(jì)劃讓用戶使用數(shù)字內(nèi)容來改變社區(qū)的外觀，用戶可以“用彩色油漆裝飾附近的建筑物”，效果將對朋友可見。

從官方安利視頻上看，Snapchat的這個(gè)AR簡直是手殘黨福音了，你能隨意對城市進(jìn)行填涂，操作起來也很簡單，只需要在Snapchat上調(diào)用攝像頭，City Painter就能讓你在街道上方噴灑紅色和藍(lán)色的“噴泉”，然后用預(yù)先設(shè)計(jì)的涂鴉對墻面磚塊進(jìn)行裝飾。

看著爽快，開發(fā)Local Lens的過程可沒有那么簡單，首先就在于重要公共地標(biāo)的3D數(shù)據(jù)太少，其次還需要選擇一個(gè)用戶無需擔(dān)心交通問題的街道。 同時(shí)，雖然用戶平時(shí)不會(huì)在每個(gè)角度上都對街道照留念，但空間的絕對大小對于開發(fā)者來說也是一個(gè)不小的難題。在這個(gè)意義上，附屬于Local Lens的City Painter獨(dú)辟蹊徑，用3D繪制了整個(gè)卡納比街，方便用戶從任意角度進(jìn)行繪制，這也改變了人們對城市的觀看方法。 Snapchat從多個(gè)來源提取出了街道的視覺數(shù)據(jù)，包括用戶共享的公開照片?！皩τ贚ocal Lens反射出的景象，我們利用360度的相機(jī)圖像，”Pan表示，“人們走在街上就能繪制地圖，還可以把它與我們可能擁有的、任何關(guān)于該地區(qū)的公共新聞?wù)掌Y(jié)合起來”。
City Painter還支持經(jīng)驗(yàn)共享。正如Pan所說，“當(dāng)你對外部環(huán)境做某事時(shí)，其他人幾乎可以同步看到結(jié)果。就算后來你離開了，第二天出現(xiàn)了新的參觀者，這些變化也將會(huì)持續(xù)存在，也就是說，這些新人能看到自己和他人所改變的空間”。
如今隨著元宇宙概念逐漸被理解和研究，相信未來會(huì)有更多有趣的VR和AR項(xiàng)目被開發(fā)出來吧！