感受洪荒之力！深度傳感器搭配機(jī)器學(xué)習(xí)，這個(gè)AR應(yīng)用能制造閃電，還能與現(xiàn)實(shí)交互
年輕人，你渴望力量嗎？
就是那種能在指尖召喚閃電，隨手一扔就能造成大量傷害的力量。
現(xiàn)在，你只需要?jiǎng)觿?dòng)你的手指，就能在指尖形成一股能量，這股能量也能和現(xiàn)實(shí)世界產(chǎn)生互動(dòng)，這個(gè)閃電還會(huì)消散形成細(xì)小的電流，在物體邊緣上下流動(dòng)，留下粉色的光芒。
就像這樣：
這款名叫Let's All Be Wizards!的應(yīng)用已經(jīng)上線了App Store，售價(jià)2.99美元。不過(guò)由于需要利用到LiDAR，因此目前也只有iPhone 12 Pro和iPhone 13 Pro用戶能夠得到這股力量。
沒(méi)想到吧，如此神奇的力量竟然也隱藏在你的手機(jī)中。
相關(guān)視頻在Reddit和LinkedIn上都引起了十分熱烈的討論和圍觀，比如有網(wǎng)友就贊嘆到，“和房間的聯(lián)動(dòng)也太厲害了吧”。
還有人表示，“這肯定是一個(gè)很棒的NFT”。
接下來(lái)就和文摘菌一起來(lái)看看這股力量的源泉吧~
深度傳感器+機(jī)器學(xué)習(xí)，LiDAR也是關(guān)鍵之一
首先，除了一臺(tái)支持LiDAR的蘋(píng)果手機(jī)外，還需要準(zhǔn)備到Unity 2020.3LTS和ARFoundation。
既然力量要從手中展現(xiàn)，那就必然要對(duì)手部進(jìn)行捕捉，這就需要60FPS手部檢測(cè)（60 FPS hand detection）
以及3D骨骼世界檢測(cè)（3D Bones world detection）。
也正是基于此，LiDAR就顯得尤為必要，因?yàn)槲恢迷试S手上的準(zhǔn)確照明（次表面散射）或邊緣檢測(cè)（用于最后返回的火花）以真正將原生世界和虛擬世界融合在一起。如果沒(méi)有實(shí)時(shí)深度估計(jì)，這些功能都不可能實(shí)現(xiàn)。
空間網(wǎng)格上的照明也是通過(guò)5個(gè)渲染器通道來(lái)實(shí)現(xiàn)的：
每個(gè)像素（屏幕空間）的法線和距離
背景相機(jī)和手部遮擋
手部次表面散射照明
光暈和游戲空間fx（實(shí)際上，每個(gè)能量球一次通過(guò)）
透明和不透明對(duì)象
正如項(xiàng)目作者Olivier Goguel總結(jié)的那樣，“由于深度傳感器和基于視覺(jué)的機(jī)器學(xué)習(xí)，我們可以實(shí)時(shí)創(chuàng)建手及其周?chē)h(huán)境的數(shù)字版本，以生成虛擬和真實(shí)物體無(wú)縫交互的3D環(huán)境”。
該項(xiàng)目也已經(jīng)在GitHub上開(kāi)源了，詳細(xì)過(guò)程大家也可以自行前往查看：
項(xiàng)目鏈接：
https://github.com/ogoguel/realtimehand
混合現(xiàn)實(shí)和物體識(shí)別打破游戲和數(shù)據(jù)的束縛
翻開(kāi)Olivier Goguel的LinkedIn主頁(yè)，文摘菌也被這滿滿的履歷“閃瞎了眼”。
作為一名電子游戲愛(ài)好者，Goguel先后在Argonaut、Lagardere Active、Mimesis Republic、Namco、Microsoft和Asobo Studio等大型電子游戲公司工作了超過(guò)25年。也正是這些經(jīng)歷，讓他有機(jī)會(huì)將一些技術(shù)和思維應(yīng)用于許多娛樂(lè)項(xiàng)目上，其中就包括AR/VR體驗(yàn)。
目前他在HoloForge Interactive擔(dān)任CTO一職。
在HoloForge Interactive的官網(wǎng)上，他們就表示，他們要在個(gè)人、地點(diǎn)和數(shù)據(jù)融合的體驗(yàn)中，打破束縛，充分發(fā)揮其潛力。
比如在2016年，他們就與Microsoft合作，開(kāi)發(fā)了通過(guò)混合現(xiàn)實(shí)和物體識(shí)別進(jìn)行體驗(yàn)的游戲Young Conker。
在游戲中，場(chǎng)景都將直接在房間里構(gòu)建，比如敵人會(huì)出現(xiàn)在咖啡桌周?chē)?，你的沙發(fā)里可能藏著要收集的物品，你需要蹦床去看電視等等。關(guān)卡也會(huì)隨著環(huán)境而適應(yīng)并隨之變化。
在這個(gè)項(xiàng)目中，開(kāi)發(fā)者們需要攻克以下幾點(diǎn)難關(guān)：
環(huán)境識(shí)別：游戲檢測(cè)環(huán)境的拓?fù)浣Y(jié)構(gòu)，然后找出其組成部分。系統(tǒng)需要檢測(cè)房間中的地板、墻壁和天花板以及各種不同類(lèi)型的家具，并與游戲中的角色創(chuàng)造獨(dú)特的互動(dòng)。
交互：玩家可以用目光移動(dòng)主角，無(wú)需操縱桿即可實(shí)時(shí)精確控制游戲操作。
Room Solver AI：游戲使用空間映射工具，并采用人工智能自動(dòng)生成關(guān)卡和角色定位。
與角色真正聯(lián)結(jié)：由于游戲知道玩家的位置和正在尋找的位置，因此每個(gè)角色都可以以不同且令人驚訝的方式對(duì)玩家的存在做出反應(yīng)。
Local Lenses如何改變對(duì)城市的觀看方式
說(shuō)到AR，文摘菌印象最深刻的還要屬前年Snapchat推出的一個(gè)戶外AR項(xiàng)目Local Lenses。
這個(gè)AR項(xiàng)目與專注于地圖的競(jìng)爭(zhēng)對(duì)手不同，Snap計(jì)劃讓用戶使用數(shù)字內(nèi)容來(lái)改變社區(qū)的外觀，用戶可以“用彩色油漆裝飾附近的建筑物”，效果將對(duì)朋友可見(jiàn)。
從官方安利視頻上看，Snapchat的這個(gè)AR簡(jiǎn)直是手殘黨福音了，你能隨意對(duì)城市進(jìn)行填涂，操作起來(lái)也很簡(jiǎn)單，只需要在Snapchat上調(diào)用攝像頭，City Painter就能讓你在街道上方噴灑紅色和藍(lán)色的“噴泉”，然后用預(yù)先設(shè)計(jì)的涂鴉對(duì)墻面磚塊進(jìn)行裝飾。
看著爽快，開(kāi)發(fā)Local Lens的過(guò)程可沒(méi)有那么簡(jiǎn)單，首先就在于重要公共地標(biāo)的3D數(shù)據(jù)太少，其次還需要選擇一個(gè)用戶無(wú)需擔(dān)心交通問(wèn)題的街道。 同時(shí)，雖然用戶平時(shí)不會(huì)在每個(gè)角度上都對(duì)街道照留念，但空間的絕對(duì)大小對(duì)于開(kāi)發(fā)者來(lái)說(shuō)也是一個(gè)不小的難題。在這個(gè)意義上，附屬于Local Lens的City Painter獨(dú)辟蹊徑，用3D繪制了整個(gè)卡納比街，方便用戶從任意角度進(jìn)行繪制，這也改變了人們對(duì)城市的觀看方法。 Snapchat從多個(gè)來(lái)源提取出了街道的視覺(jué)數(shù)據(jù)，包括用戶共享的公開(kāi)照片?！皩?duì)于Local Lens反射出的景象，我們利用360度的相機(jī)圖像，”P(pán)an表示，“人們走在街上就能繪制地圖，還可以把它與我們可能擁有的、任何關(guān)于該地區(qū)的公共新聞?wù)掌Y(jié)合起來(lái)”。
City Painter還支持經(jīng)驗(yàn)共享。正如Pan所說(shuō)，“當(dāng)你對(duì)外部環(huán)境做某事時(shí)，其他人幾乎可以同步看到結(jié)果。就算后來(lái)你離開(kāi)了，第二天出現(xiàn)了新的參觀者，這些變化也將會(huì)持續(xù)存在，也就是說(shuō)，這些新人能看到自己和他人所改變的空間”。
如今隨著元宇宙概念逐漸被理解和研究，相信未來(lái)會(huì)有更多有趣的VR和AR項(xiàng)目被開(kāi)發(fā)出來(lái)吧！
點(diǎn)「在看」的人都變好看了哦！
轉(zhuǎn)載請(qǐng)?jiān)谖恼麻_(kāi)頭和結(jié)尾顯眼處標(biāo)注：作者、出處和鏈接。不按規(guī)范轉(zhuǎn)載侵權(quán)必究。
未經(jīng)授權(quán)嚴(yán)禁轉(zhuǎn)載，授權(quán)事宜請(qǐng)聯(lián)系作者本人，侵權(quán)必究。
本文禁止轉(zhuǎn)載，侵權(quán)必究。
授權(quán)事宜請(qǐng)至數(shù)英微信公眾號(hào)(ID: digitaling) 后臺(tái)授權(quán)，侵權(quán)必究。
評(píng)論
評(píng)論
推薦評(píng)論
暫無(wú)評(píng)論哦，快來(lái)評(píng)論一下吧！
全部評(píng)論（0條）