直播預告：PBRMAX標準與超寫實AI數(shù)字人

原創(chuàng) 贊收藏評論

舉報 2021-06-18

掃描,分享朋友圈

6.18只能剁手買買買？NO！

今年6.18 Renderbus瑞云渲染邀您一起看直播，學技術(shù)，抽大獎！

本次直播，我們邀來南京萬生華態(tài)EcoPlants CEO彭程，為大家分享PBRMAX標準與超寫實AI數(shù)字人中的相關(guān)內(nèi)容。直播中還會為Renderbus瑞云渲染影視動畫用戶的年中充值抽獎活動開獎！英偉達Quadro RTX4000、堅果J7S投影儀、Bose SoundLink Revolve+ 藍牙音響和華為手表GT2等多重豪禮將花落誰家，誠邀您一起見證幸運時刻！
01嘉賓介紹

彭程是南京萬生華態(tài)科技有限公司的創(chuàng)始人兼CEO，連續(xù)創(chuàng)業(yè)者，中國科技藝術(shù)新生代領(lǐng)軍人物。

他曾就讀于紐約視覺藝術(shù)學院，羅德島設(shè)計學院，薩凡納藝術(shù)學院以及哥德堡大學。精通工業(yè)、影視、特效及傳媒等跨行業(yè)的創(chuàng)新整合。致力于打造全球最大的影視PBR數(shù)字資產(chǎn)庫，及影視工業(yè)化流程軟件解決方案。

萬生華態(tài)EcoPlants（簡稱：萬生華態(tài)）目前是國內(nèi)唯一一家能夠批量生產(chǎn)高精度3D掃描模型和PBR材質(zhì)的科技公司，為影視娛樂、教育、工業(yè)設(shè)計、游戲、數(shù)字文旅等行業(yè)提供最前沿的一站式軟硬件解決方案，其中包含3D數(shù)字資產(chǎn)與PBR材質(zhì)庫、軟件協(xié)同平臺、數(shù)字人虛擬拍攝流程、實時渲染云等，將為無數(shù)創(chuàng)作者帶來革命性的創(chuàng)作體驗。

02全球首位“數(shù)字宇航員”

《飛向月球Ⅱ》在視覺呈現(xiàn)上進行全面的飛躍式升級，萬生華態(tài)先進的技術(shù)手段是深化中央廣播電視總臺“5G+4K/8K+AI”戰(zhàn)略格局的基礎(chǔ)支撐。為了還原出極為逼真的月球探索歷程，萬生華態(tài)依托原創(chuàng)混合現(xiàn)實（IMR) 超高清電視制作平臺，通過對央視主持人張騰岳進行測量攝影，完成人物數(shù)字資產(chǎn)采集；并且利用AI深度學習、美術(shù)加工以及現(xiàn)場實時驅(qū)動等一系列技術(shù)流程，實現(xiàn)全球首次將AI超寫實“數(shù)字航天員”應用在4K科學紀錄片中。

《飛向月球Ⅱ》“數(shù)字宇航員”精彩瞬間

想要實現(xiàn)數(shù)字人高質(zhì)量逼真的效果和自然流暢的互動，溝通成本與時間成本高昂，需要長期的配合。而在《飛向月球Ⅱ》的制作過程中，萬生華態(tài)打通了超寫實數(shù)字人前中后期制作的全流程，并通過自研面捕頭盔與AI算法，極大地提升了高保真人臉與面部微表情的捕捉與制作效率，在短時間內(nèi)實現(xiàn)了對標游戲CG級別的數(shù)字人制作，真正做到全流程自主可控。《飛向月球Ⅱ》制作僅花費1個多月時間，實現(xiàn)了CG級別的數(shù)字人效果，高質(zhì)量、快速地應用在國家級紀錄片中。

AI數(shù)字航天員，原型為央視主持人張騰岳

這一切的實現(xiàn)離不開萬生華態(tài)在“數(shù)字宇航員”制作中的4大數(shù)字人制作技術(shù)要點：

1. 自主研發(fā)動捕頭盔硬件Ecap：頭盔硬件對面部肌肉運動進行實時和高精度跟蹤與重建，準確還原出逼真細膩的面部表情，實現(xiàn)影視級別的面部動作捕捉；

2. 自主研發(fā)的面部捕捉算法：深度學習驅(qū)動的實時人臉識別、三維重建算法，實時皺紋貼圖解算，全面捕捉各類面部表情動作，瞳孔運動、皮膚運動、皮膚反射捕捉、細微皺紋...不放過任何一個細節(jié)；

細膩的皮膚紋理眼神捕捉

3. 實時面部動作與表情渲染：基于PBR的實時光線追蹤渲染，針對人臉特殊優(yōu)化的著色器和渲染pipeline，采用OCIO的色彩管理系統(tǒng)，充分保證色彩的真實性、準確性，應用NVIDIA A6000，實現(xiàn)實時4K HDR渲染；

單幀渲染

4. 應用適合東方人的FACS系統(tǒng)：高度寫實、微表情豐富的混合變形（Blendshape），方便適配實時面捕算法的綁定邏輯；

利用Blendshape對表情動畫進行處理

03瑞云專訪

瑞云渲染：萬生華態(tài)團隊是如何結(jié)緣《飛向月球Ⅱ》？

彭程：因為和英偉達、央視一起討論出關(guān)于數(shù)字人技術(shù)以及虛擬拍攝對于廣電產(chǎn)業(yè)的影響，航天產(chǎn)業(yè)硬科技配合著新的虛擬拍攝技術(shù)組合是一個很好的多維度技術(shù)宣傳，就試著將公司各個技術(shù)部整合在這個項目里做一些嘗試和應用，希望利用數(shù)字技術(shù)做一個項目能代表未來的方向，這就是當時我們的初衷。

瑞云渲染：這個項目的制作花了多長時間，可以簡單介紹一下團隊制作《飛向月球Ⅱ》的pipeline嗎？

彭程：制作前期準備花了一些時間，整體拍攝到制作前后1個半月，因為涉及不同的場別使用不同的渲染方式，近景和遠景渲染配置不一樣，也需要滿足導演實時構(gòu)圖取景的實時預演虛擬拍攝需求，同時要兼顧后期的4K HDR的標準。

?

所以pipeline都想好了1-2套備選方案，實時動捕后，也要能夠快速迭代人工修改的可能，也要跑通一些AI的算法。所以AI和手工標定以及藝術(shù)處理有交流和融合，也是在項目中根據(jù)進度去決策最終的pipeline，由于UE4版本也在迭代中，所以要考慮軟硬件驅(qū)動的適配，每一次迭代AI或者場景都會跑一次測試。

央視團隊有節(jié)目組和制作組，萬生華態(tài)有技術(shù)和藝術(shù)制作兩個部，大家一起開發(fā)，測試，跑通流程，再優(yōu)化。團隊合作中有未知的跨行情況，在跑流程過程中互相了解定位，掌握配合是關(guān)鍵。因為《飛向月球》的制作周期很緊，審片流程嚴格，所以流程的穩(wěn)定是團隊協(xié)作的最高優(yōu)先級。

瑞云渲染：《飛向月球Ⅱ》制作過程中需要與傳統(tǒng)的電視節(jié)目導演和后期剪輯人員合作，請問你們在合作中是如何確保高效地溝通與制作的？

彭程：合作主要發(fā)生在項目預演，導演，后期制作三個環(huán)節(jié)。在實際拍攝正片之前，確認方案的時候有較多互動，互動中請主持人參與模擬，體驗的過程很關(guān)鍵，配合技術(shù)人員給電視臺人員的溝通和講解，讓他們大概了解到自己的流程和工作執(zhí)掌的定位。在拍攝后，根據(jù)藝術(shù)工程和技術(shù)要求的標準，確保穩(wěn)定優(yōu)先級，不跨越流程提需求，即可保證產(chǎn)出和有效溝通。

瑞云渲染：《飛向月球Ⅱ》創(chuàng)新性地采用了“超寫實數(shù)字人物”作為主持人，堪稱全球首位 AI“數(shù)字航天員”，團隊采用了哪些核心技術(shù)來實現(xiàn)人物從表情細節(jié)到動作都如此栩栩如生的？

彭程：首先采集主持人面部的微表情，并對多個姿態(tài)進行掃描，配合后期以及引擎的調(diào)參，以好的數(shù)據(jù)和處理為基礎(chǔ)為接下來的動畫制作打下最好的基礎(chǔ)。期間高速面捕攝像機的算法捕捉，實時對應到綁定的轉(zhuǎn)化工程邏輯，以及基于實時數(shù)據(jù)可微調(diào)的后期權(quán)限，這個組合讓微表情可控，在正片呈現(xiàn)中更穩(wěn)定。這次是我們第一個AI處理全流程的嘗試，在后期的數(shù)字人中，我們會定向優(yōu)化很多細節(jié)。

瑞云渲染：和傳統(tǒng)制作相比，制作《飛向月球Ⅱ》的太空場景涉及數(shù)據(jù)和資產(chǎn)量很大，團隊是如何解決以構(gòu)建一個如此真實的太空場景的呢？

彭程：本次項目使用了最新的英偉達A6000顯卡，項目開拍的當天才從美國消毒完寄送到手上，保證了最大RAM，同時也做了LOD的優(yōu)化，有一些貼圖不需要全套PBR使用，減少一些總體內(nèi)存空間。

在虛擬拍攝的過程中，不同于傳統(tǒng)的特效到制片再到創(chuàng)意設(shè)計師的流程，從創(chuàng)意到導演再到后期一定是連在一起的。因此虛擬拍攝中的所有步驟都是可視化且可復制的，它相當于一個“數(shù)據(jù)”，這種快速地拍攝跟數(shù)字營銷很匹配，導演的效率會變得非常高。另外，虛擬制片和傳統(tǒng)綠幕的區(qū)別在于，LED屏把數(shù)字資產(chǎn)以光照的形式打到人物身上，減去了很多后期的流程，同時導演可以實時看到畫面的效果，可以和后期在實時過程中就形成共識。這樣很多創(chuàng)意的部分，可以形成模塊化和區(qū)塊化，并且還能二次使用，結(jié)合AI運用在各種想象和場景中快速地多次部署，這種靈活度在傳統(tǒng)視頻拍攝流程中是不具備的。這種技術(shù)可以幫助廣播電視行業(yè)快速制作達到影視級別的3D作品，降低成本、提升效率，并且方便二次創(chuàng)作大量的衍生作品，如電影、互動式小游戲，未來的VR/AR等等，實現(xiàn)不同媒介之間的有機聯(lián)動，更好的賦能廣播電視行業(yè)的創(chuàng)作能力，帶來新的商業(yè)模式。

《曼達洛人2》中使用的LED屏虛擬拍攝

瑞云渲染：現(xiàn)在不論國內(nèi)國外，數(shù)字人的研究和應用都是非常熱門的話題，請問您認為數(shù)字人的開發(fā)中最重要的技術(shù)難點在哪？您認為目前數(shù)字人IP的開發(fā)和應用最成功的案例有哪些？數(shù)字人IP的開發(fā)和應用如何做到更真實，更容易與用戶產(chǎn)生情感連接，讓觀眾更樂于接受，更買賬？

彭程：數(shù)字人技術(shù)難點主要在面部表情的動畫捕捉，目前市面上的解決方案不能很好的滿足需求，所以我們自己研發(fā)了基于紅外和TOF的面捕頭盔，加上自研的面部捕捉、跟蹤和校準算法、實時皺紋貼圖解算、適配綁定邏輯的實時映射算法、符合東方人骨骼的FACS系統(tǒng)等等，確保采集數(shù)據(jù)的處理結(jié)果和三維重建的準確。

豐富細膩的面部表情

目前比較成功的有時尚界的Lil Miquela和Imma，從人物的仿真度、持續(xù)內(nèi)容更新的高頻率、時尚IP聯(lián)名的火爆程度都證明了她們的成功。個人比較喜歡的是英雄聯(lián)盟的人物Seraphine，因為在人物推出前期對Seraphine的日常生活和成長過程進行了詳細的運營，很接地氣也很有血有肉，不是一個單純的游戲角色，推出后也跟K/DA女團有很完美的結(jié)合，期待K/DA的發(fā)展。

Lil Miquela & Imma

Seraphine

K/DA

很多商品的價值取決于共識，共識又取決于基礎(chǔ)的柔性需求和潛意識的品牌價值需求，因此很多公司在做品牌傳播的時候，會找明星代言。可以說，明星的本質(zhì)就像數(shù)字人一樣，制片人、經(jīng)紀人給他一套設(shè)備、一個方向，然后他按照“劇本”去做表演形成“人設(shè)”，只是呈現(xiàn)的載體不同。在5G到來時，線上線下綜合在一起的時候，所有公司都會打造一個虛擬的品牌形象，它可能就是數(shù)字人，因為數(shù)字人更容易與用戶形成情感連接、有天然的親和力。就像每個公司都會有自己的企業(yè)文化，所以各種企業(yè)都會通過數(shù)字人的方式去打造自己的周邊產(chǎn)品，再通過有效運營，數(shù)字人會很快地融入到數(shù)字營銷市場，其傳播屬性也具有非常高的跨界性和可編輯性。為什么現(xiàn)在國內(nèi)大部分的數(shù)字人都沒有做出比較好的效果，或者并沒有形成很可觀的廣告收益？看一下美國、日本等地比較成功的案例，你會發(fā)現(xiàn)不管是明星還是動畫影視，能支撐 IP成功的原因之一就是，在數(shù)字營銷設(shè)計這個數(shù)字人的時候，它是完整的、有血有肉的，從性格到邏輯再到和品牌的互動是足夠真實可信的。而目前國內(nèi)缺失的是導演與策劃對數(shù)字人的塑造理解，因此導致大眾對很多電影里的IP形象無法形成深刻的印象。一個好的數(shù)字人IP需要鮮明的特征、完整的背景，符合所代表企業(yè)、產(chǎn)品的形象設(shè)計與價值觀，和長期堅持的運營，不會比捧紅一個明星簡單。等技術(shù)帶來的新鮮感和紅利消失，最后比拼的依然是運營能力。

如果想了解