人均一個(gè)XR數(shù)字人，元宇宙如何實(shí)現(xiàn)“捏人自由”？

原創(chuàng) 贊收藏評論

舉報(bào) 2022-07-26

掃描,分享朋友圈

當(dāng)我們步入一個(gè)新世界，最先關(guān)注的，就是自己的“人設(shè)”。

在2000年，騰訊QQ已經(jīng)是全民APP，擁有2.91億用戶，100萬日活，然而流量卻無法變現(xiàn)。幸好當(dāng)時(shí)一個(gè)產(chǎn)品經(jīng)理想出了打扮網(wǎng)絡(luò)形象的“QQ秀”，一經(jīng)推出便大受歡迎，騰訊QQ也成功開啟了商業(yè)化的道路。

QQ秀的成功有其必然性：絕大多數(shù)產(chǎn)業(yè)都是圍繞人這個(gè)中心展開的，所以在一個(gè)全新的社交空間，當(dāng)先崛起的肯定是宣示自我存在的產(chǎn)業(yè)。同樣的道理，在元宇宙概念深入人心的今天，第一個(gè)真正崛起的產(chǎn)業(yè)也是數(shù)字人，我們在短視頻可以刷到虛擬明星，各個(gè)品牌也開始青睞數(shù)字人代理，甚至連馬斯克也來湊熱鬧：雖然沒有搞個(gè)數(shù)字形象，但是他聲稱將自己的意識上傳到了云端，意圖實(shí)現(xiàn)“數(shù)字永生”。

有媒體形容，2022年是數(shù)字人的“生育高峰期”。IDC發(fā)布的行業(yè)報(bào)告也顯示，在2022年后，數(shù)字人將與深度學(xué)習(xí)、自動駕駛等一起，成為AI最熱門的賽道之一，預(yù)計(jì)到2026年中國數(shù)字人市場規(guī)模將達(dá)到102.4億元。而在其中，XR數(shù)字人被視為用戶與虛擬世界鏈接交互的第一入口，為每個(gè)人在元宇宙中創(chuàng)造專屬身份，將成為必然趨勢。

中央財(cái)經(jīng)大學(xué)數(shù)字經(jīng)濟(jì)融合創(chuàng)新發(fā)展中心主任陳端認(rèn)為，“如果說‘元宇宙’是一種引領(lǐng)性的概念、愿景，那么‘?dāng)?shù)字人’就是通向未來數(shù)字新大陸的重要橋梁。”

但是另一方面，數(shù)字人變得人人可有并非易事，因?yàn)樗皇且粋€(gè)代表身份的“頭像”，而是一個(gè)生活在元宇宙的“宇宙人”，它是用戶的分身，是連接人類與虛擬世界的橋梁，需要“活”起來。

數(shù)字人技術(shù)難度的一個(gè)側(cè)面證明，是國內(nèi) AR 頭部企業(yè) Rokid 在近日發(fā)布了自研 XR 數(shù)字人技術(shù)，并迅速在業(yè)界引起了廣泛關(guān)注。該技術(shù)的最大亮點(diǎn)是支持用戶自己打造專屬XR數(shù)字人，同時(shí)將對外部開發(fā)者開放。

為什么XR數(shù)字人技術(shù)會引發(fā)如此廣泛的關(guān)注？這要從為什么我們需要XR數(shù)字人，以及XR數(shù)字人到底有多難“造”說起。

一、元宇宙“造人”有多難？

數(shù)字人發(fā)展的核心動力，從本質(zhì)來說是人對互動體驗(yàn)的無限追求。

為什么隨著技術(shù)發(fā)展，我們有了圖文、語音、視頻等遠(yuǎn)程交流方式，但在重要場合依然傾向于人與人之間面對面交流？不僅是因?yàn)橹苯咏涣魇娣易匀?，更重要的是面對面能夠通過語氣、態(tài)度，眼神、微表情、身體動作傳遞更多信息，更好更完善地表達(dá)自己的意思。

而這，也正是數(shù)字人劃時(shí)代的地方，它既可以是虛擬世界的虛擬形象，也可以是人在元宇宙中的另一個(gè)分身，但無論是哪一種，都會模糊虛擬與現(xiàn)實(shí)的邊界，為我們帶來更為真實(shí)的交流互動體驗(yàn)。

因此，Rokid自研XR數(shù)字人技術(shù)的第一個(gè)核心是為用戶提供自由“捏人”功能，其包含著完整的數(shù)字人設(shè)計(jì)系統(tǒng)。通過采用五頭身比例，將寫實(shí)風(fēng)格與卡通風(fēng)格進(jìn)行平衡，讓數(shù)字人的面部特征與表情動作更加突出和生動，同時(shí)也更具親和力。再加上，五官和服裝的自由搭配組合, 可以讓用戶自由“捏”出更具個(gè)性的數(shù)字人形象。有消息稱， Rokid 還將推出更多的五官分類組合和動作，從而迎合全世界不同國家、不同膚色、不同文化的用戶的審美。

更值得關(guān)注的是，Rokid 自研 XR 數(shù)字人技術(shù)還將對外開放，既支持第三方 XR 開發(fā)者通過 SDK 集成，接入數(shù)字人引擎服務(wù)，開發(fā)屬于自己的數(shù)字人形象和體系；也可以通過Rokid 即將推出的數(shù)字人管理平臺，進(jìn)行數(shù)字人形象、服裝、道具等設(shè)計(jì)，以數(shù)字人引擎共同豐富元宇宙生態(tài)。

但是數(shù)字人不只是“捏臉”，其還有更多需要極高技術(shù)儲備才能實(shí)現(xiàn)的功能。自然的聲音、流暢的表情與動作，以及良好的互動體驗(yàn)背后，是人物形象模擬、人物聲音克隆、自然語言處理、知識圖譜解析等多方面先進(jìn)人工智能技術(shù)的復(fù)合應(yīng)用。

目前，無論是蘋果的ARkit，還是主打無標(biāo)記點(diǎn)面部表情捕捉系統(tǒng)的Faceware，或者是通過攝像頭來進(jìn)行面部捕捉的DynamicXYZ，原理都是通過外部設(shè)備采集面部表情動作，然后在映射到高精度的3D角色上。

這種以面部捕捉為核心的數(shù)字人表情實(shí)現(xiàn)方式需要諸多設(shè)備。一是成本極高，前段時(shí)間在抖音走紅的虛擬數(shù)字人，幾分鐘的視頻需往往需要花費(fèi)幾十萬；二是動作捕捉需要提前預(yù)設(shè)，在解算效果不好的情況下進(jìn)行后期的手動精修處理，因此無法適應(yīng)線上會議、元宇宙空間互動等需要實(shí)時(shí)生成動畫的場景。這些技術(shù)難點(diǎn)也讓這一類數(shù)字人大多用在B端場景，而無法實(shí)現(xiàn)C端的大規(guī)模應(yīng)用。

Rokid自研XR數(shù)字人技術(shù)，則通過更低成本，環(huán)節(jié)更少的音頻驅(qū)動方案，實(shí)現(xiàn)了數(shù)字人的表情幀和聲音幀同頻，嘴部動畫實(shí)時(shí)生成，為XR數(shù)字人在C端應(yīng)用邁出重要一步。

Rokid是如何做到的？

二、數(shù)字人產(chǎn)業(yè)的新支點(diǎn)

當(dāng)前，業(yè)界實(shí)現(xiàn)數(shù)字人實(shí)時(shí)表情生成的主要方案，是面部捕捉與深度學(xué)習(xí)的結(jié)合。

這套方案的核心，是基于深度學(xué)習(xí)構(gòu)建面部實(shí)時(shí)驅(qū)動系統(tǒng)，通過泛化的神經(jīng)網(wǎng)絡(luò)模塊，根據(jù)真人表演錄制的視頻直接解算出3D角色的面部綁定動畫參數(shù)值，從而實(shí)時(shí)驅(qū)動角色動畫。這一方式較傳統(tǒng)的面部捕捉方案更進(jìn)一步，對設(shè)備的和算力的要求同樣也會飆升，其成本可以達(dá)到百萬元級別，而且還會隨著建模精度等因素進(jìn)一步提高，所以難以廣泛普及應(yīng)用。

而Rokid自研XR數(shù)字人技術(shù)，是根據(jù)音素——也就是根據(jù)語音的自然屬性劃分出來的最小語音單位，一個(gè)發(fā)音動作構(gòu)成一個(gè)音素——來通過ASR（數(shù)字語音識別）算法倒推出發(fā)音時(shí)的口型動作，從而形成實(shí)時(shí)的表情動作，這樣就擺脫了表情動作捕捉對攝像頭等設(shè)備的依賴，實(shí)現(xiàn)口型與表情動作與真人同步匹配。

相較面部識別與深度學(xué)習(xí)，通過ASR技術(shù)生成嘴部表情動作的技術(shù)原理并不復(fù)雜，為什么卻沒有普及？原因很簡單，這種方案流程較長，需要將語音用ASR技術(shù)將語音識別成文字，然后再通過 TTS（從文本到語音）輸出音素+bs系數(shù)生成表情，這樣需要經(jīng)過兩層轉(zhuǎn)換，意義容易失真，同時(shí)在低算力的前提下，長流程會形成微妙卻致命的“遲滯”，讓語音和表情無法絕對同步，也就無法實(shí)現(xiàn)數(shù)字人交流帶來的流暢與自然。

作為以智能音箱技術(shù)起家，同時(shí)在AR設(shè)備領(lǐng)域具有頭部地位的廠商，Rokid在語音識別、元宇宙和數(shù)字人技術(shù)領(lǐng)域都有深厚積累，省略了將語音識別成文字，再由文字輸出音素的環(huán)節(jié)，以更短的識別路徑、更低的延遲實(shí)現(xiàn)了數(shù)字人聲音幀和表情幀的絕對同步，而且進(jìn)一步降低了性能要求，提升了識別的準(zhǔn)確度。

目前，在移動端，Rokid 自研 XR 數(shù)字人解決方案單幀處理時(shí)間實(shí)現(xiàn)了低于 3ms/frame，且 CPU 占用率能保證的在 10% 以下。

這一方案不僅降低了XR數(shù)字人的生成門檻，也為XR數(shù)字人產(chǎn)業(yè)帶來了一次質(zhì)變：它讓數(shù)字人產(chǎn)業(yè)可以拓展到手機(jī)和AR設(shè)備上，為AR設(shè)備產(chǎn)業(yè)“注入靈魂”。

正如前文所述，XR數(shù)字人是連接元宇宙和用戶的橋梁，只有當(dāng)“橋梁”成本足夠低，元宇宙相關(guān)應(yīng)用和技術(shù)才能被用戶廣泛接受，并且成為推動AR等設(shè)備普及的“殺手級應(yīng)用”和下一代互聯(lián)網(wǎng)的支點(diǎn)。以Rokid發(fā)布的自研XR數(shù)字人技術(shù)為代表，我們正逐步接近一個(gè)技術(shù)“奇點(diǎn)”——數(shù)字人在C端低成本普及的大門正被緩緩打開，元宇宙的無窮魅力正在被更多人看到與參與。

三、讓每個(gè)人都成為元宇宙的締造者

回到這次技術(shù)發(fā)布，為什么Rokid自研XR數(shù)字人技術(shù)，著重強(qiáng)調(diào)了低成本與開放性？

因?yàn)樵钪姹举|(zhì)不是某個(gè)應(yīng)用或者某個(gè)產(chǎn)品，甚至某個(gè)產(chǎn)業(yè)，而是一個(gè)完整的，與現(xiàn)實(shí)世界平行的生態(tài)，需要無數(shù)企業(yè)和個(gè)人共同努力建設(shè)。在這之中，數(shù)字人作為人們在元宇宙中穿梭的通行證和橋梁，只有成本足夠低且易于獲得，才能激發(fā)設(shè)計(jì)者和用戶興趣建設(shè)一個(gè)新世界的熱情。

現(xiàn)實(shí)世界中，宇宙因?yàn)槲镔|(zhì)才存在，而在虛擬世界中，宇宙因?yàn)椤叭恕辈糯嬖?。因此，Rokid 開放 XR 數(shù)字人技術(shù)的目標(biāo)，即是從整個(gè)產(chǎn)業(yè)高度著眼，盡量降低每個(gè)人探索和接觸元宇宙的成本，并且讓所有人在創(chuàng)造自己數(shù)字“分身”的過程中獲得對虛擬世界的初步體驗(yàn)與好奇，從而推動整個(gè)虛擬現(xiàn)實(shí)技術(shù)的普及和發(fā)展。

可以想見，相比于當(dāng)前的互聯(lián)網(wǎng)，元宇宙將會更為立體；相比于現(xiàn)實(shí)的世界，元宇宙將會更為個(gè)性化。前往這個(gè)更為精彩的宇宙，用戶只需一個(gè)“通行證”：自己親手打造的數(shù)字人形象。當(dāng)用戶創(chuàng)造出這個(gè)形象時(shí)，他已不僅是這個(gè)元宇宙的游客和探索者，而且是締造元宇宙的一員。

作者：錢皓

編輯：安吉拉

本文系作者授權(quán)數(shù)英發(fā)表，內(nèi)容為作者獨(dú)立觀點(diǎn)，不代表數(shù)英立場。
未經(jīng)授權(quán)嚴(yán)禁轉(zhuǎn)載，授權(quán)事宜請聯(lián)系作者本人，侵權(quán)必究。