虛擬數字人怎么制作(5分鐘為你破解超火的虛擬數字人如何制作?)

虛擬人概念從早期動漫領域的初音未來用一首《甩蔥歌》讓綠色雙馬尾的“歌姬”形象火出圈，到洛天依登上央視春晚舞臺，再到眾多虛擬歌手、虛擬主播、KOL、代言人等活躍于各種情境中。

去年以來，元宇宙和虛擬人技術進入全球科技產業的聚光燈下，國內也涌現出了很多新的虛擬人形象。2021年10月，虛擬美妝達人“柳夜熙”將虛擬數字人推向了更多普通用戶。

要知道，具有數字化外形的虛擬人，與具備實體的機器人是不同的，虛擬人依賴顯示設備存在，且具備以下三方面特征：

一、擁有人的外觀，具有特定的相貌、性別和性格等人物特征；

二、擁有人的行為，具有用語言、面部表情和肢體動作表達的能力；

三、擁有人的思想，具有識別外界環境、并能與人交流互動的能力。

虛擬人可以根據角色類型分為三種：

1、寫實/超寫實類角色虛擬人，比如柳夜熙、翎ling、AYAYI等；

2、二次元角色虛擬人，比如洛天依、初音未來、星瞳等；

3、卡通/吉祥物角色虛擬人，比如海爾兄弟、京東狗、蘇格拉寧等。

為了更好地理解虛擬人，可以對其制作環節進行拆解。

虛擬人制作環節拆解

虛擬人的實現主要由建模、驅動、渲染、呈現與互動，5大環節組成。

其中建模、驅動、渲染環節主要依靠影視CG、VFX技術與游戲引擎等實現：

首先，3D建模為構建虛擬人形象的基礎，重點在于實現細節的精細還原；

其次，通過將捕捉采集的動作遷移至虛擬人是目前3D虛擬人動作生成的主要方式，核心技術是動作捕捉；

最后，渲染技術用于提升虛擬人的逼真程度，實時互動亦需要實現實時渲染。

根據Unity技術開放日公布的流程，Unity制作虛擬人先要根據FaceCode標準掃描真人的極限表情，接著要進行模型清理、BlendShap拆分，并修補細節、修貼圖和血流圖等，之后繼續進行Rigiging（包括重定位等）和模型捕捉（使用第三方提供的高精度結果來驅動模型或者真人驅動等），最終渲染完成，形成虛擬人。

Unity技術開放日

而呈現環節可以分為實時與非實時兩類。實時的可在全息表演、AR等技術的成熟發展下，不斷提升效果質量；相較于非實時（視頻、照片）的虛擬人互動性更強、發展潛力更大。

虛擬人的交互又可分為智能驅動型和真人驅動型兩種：

智能驅動型可以通過智能系統自動讀取并解析識別外界輸入信息，根據解析結果決策虛擬人后續的輸出文本，然后驅動人物模型生成相應的語音與動作來使虛擬人跟用戶進行互動。人物模型是預先通過AI技術訓練得到的，可通過文本驅動生成語音和對應動畫，在業內次模型稱為TTSA(TextToSpeech&Animation)人物模型。

另外，智能驅動作為虛擬人的一條探索方向，還意圖通過深度學習技術打造“永不塌房”、“不知疲倦”的虛擬人。

真人驅動型是通過真人來驅動，主要原理是真人根據視頻監控系統傳來的用戶視頻，與用戶實時語音，同時通過動作捕捉采集系統真人的表情、動作呈現在虛擬數字人形象上，從而與用戶進行交互。

《阿麗塔：戰斗天使》女主角阿麗塔

真人動作捕捉技術驅動虛擬角色

柳夜熙、A-Soul等虛擬人皆屬于真人驅動型。受制于現有的技術水平，AI驅動的虛擬人在制作成本和技術門檻上仍然大大高于真人動捕。

那么，“智能驅動”我們還差在哪？

虛擬人在互動環節需要實現的感知、理解、決策、表達4大功能。通過下圖，我們能更直觀的理解目前虛擬人在發展階段“理解和決策”是目前最顯著的短板。比如，智能虛擬人可以做客服播報，卻仍無法實現在自然對話中進行開放式閑聊。

虛擬人在互動環節的技術挑戰

圖源：網絡

依托人工智能，當前智能驅動型虛擬人需要有感知、分析人類行為的能力，高度依賴計算機視覺、自然語言處理、深度學習等技術的發展。這也是虛擬人發展的下一個目標。

不同類型虛擬人的技術發展

圖源：網絡

虛擬數字人作為創新形態，被業內視作元宇宙概念下技術、內容與產業協同升級的初步嘗試。

如今，虛擬人理論和技術日益成熟，未來，會在多個角度突破人類局限，比如生命周期長、行為可控、多線程持久工作、思維和計算能力強，可塑性好等。其相應的應用層也在不斷擴大、不斷豐富，產業正在逐步形成。

虛擬人的產業鏈從上到下可分為基礎層、平臺層和應用層

圖源：《2020年虛擬數字人發展白皮書》

百度、騰訊、網易、嗶哩嗶哩等公司積極布局虛擬人產業。據第三方機構統計數據，2020年嗶哩嗶哩虛擬主播的直播總營收約為1.8億元，2021年達5.3億元。

艾媒咨詢預計，2022年我國虛擬人市場規模將達到120億元，并有望帶動1866億元相關市場。根據速途元宇宙研究院測算，2022年我國虛擬人市場規模同比增速將達到64.5%。