抬頭仰望夜空，面對(duì)浩瀚星海，心中無(wú)限遐想，雖知遙不可及，卻期待能像航海者那樣，在星光的指引下破浪而行。銀河，凝聚了從古至今人類對(duì)宇宙的無(wú)限憧憬，也代表了人類智慧對(duì)文明科技孜孜不倦，不斷探索的精神。
以“銀河”命名的吉利旗艦車(chē)型E8，不久前剛完成其首秀，內(nèi)外飾采用了全新的”漣漪”設(shè)計(jì)語(yǔ)言，并搭載了虛幻引擎為用戶提供更具創(chuàng)意、安全、智能的座艙體驗(yàn)，備受公眾關(guān)注的同時(shí)也引入了不少專業(yè)領(lǐng)域的話題和討論。
其實(shí)長(zhǎng)久以來(lái)，智能座艙都無(wú)可爭(zhēng)議地被視為新能源汽車(chē)的”大腦“，無(wú)論是內(nèi)飾的美學(xué)設(shè)計(jì)還是人機(jī)界面（HMI）的交互體驗(yàn)，都已成為智能汽車(chē)發(fā)展道路上引領(lǐng)潮流和邁向成功的重要標(biāo)志。
那么，銀河E8智能座艙的設(shè)計(jì)與實(shí)現(xiàn)的目標(biāo)是什么？怎樣依靠實(shí)時(shí)技術(shù)在反復(fù)迭代中提升品質(zhì)？虛幻引擎有哪些技術(shù)能幫助團(tuán)隊(duì)提升座艙體驗(yàn)？如何利用有限的芯片算力來(lái)挑戰(zhàn)超大屏幕的實(shí)時(shí)畫(huà)質(zhì)和性能？
上述的幾個(gè)問(wèn)題一直以來(lái)都是智能座艙/車(chē)機(jī)（HMI）開(kāi)發(fā)過(guò)程中被時(shí)常提及和關(guān)注的焦點(diǎn)，筆者一時(shí)之間也無(wú)法給出正確有效的答案，幸運(yùn)的是后來(lái)我在同事的幫助下聯(lián)絡(luò)到吉利汽車(chē)研究院，得此機(jī)會(huì)與負(fù)責(zé)研發(fā)銀河E8智能座艙的團(tuán)隊(duì)一起來(lái)深入探討關(guān)于量產(chǎn)車(chē)智能座艙的設(shè)計(jì)、實(shí)現(xiàn)、和落地這幾個(gè)業(yè)內(nèi)最為關(guān)心的核心話題。
首先祝賀吉利研究院智能座艙的團(tuán)隊(duì)使用虛幻引擎成功研發(fā)出銀河E8智能車(chē)機(jī)系統(tǒng)，能否先跟大家先介紹一下團(tuán)隊(duì)？
在21年的時(shí)候，我們開(kāi)始孵化并建立了一個(gè)3D HMI的專項(xiàng)，目標(biāo)是把游戲行業(yè)成熟的3D交互技術(shù)，應(yīng)用在汽車(chē)行業(yè)的HMI里面，提升智能座艙的”娛樂(lè)”體驗(yàn)，并基于這個(gè)目標(biāo)開(kāi)始構(gòu)建團(tuán)隊(duì)及工具鏈。核心成員參考了游戲行業(yè)的研發(fā)團(tuán)隊(duì)結(jié)構(gòu)結(jié)合汽車(chē)行業(yè)的特定需求做了“本地化融合”，HMI工具鏈也根據(jù)對(duì)游戲引擎的使用經(jīng)驗(yàn)和項(xiàng)目需求，最終選擇了Unreal。團(tuán)隊(duì)構(gòu)成包括模型師、地編、特效師、TA、UE4開(kāi)發(fā)等，負(fù)責(zé)座艙3D技術(shù)相關(guān)的前瞻POC及3D HMI產(chǎn)品的全棧落地。
E8 的外觀和內(nèi)飾設(shè)計(jì)讓人耳目一新， 對(duì)于車(chē)機(jī)系統(tǒng)還了解不多，能否結(jié)合軟硬件先介紹一下？
銀河E8內(nèi)外飾設(shè)計(jì)采用了西湖“漣漪”的設(shè)計(jì)語(yǔ)言，在智能車(chē)機(jī)（HMI）方面為了給用戶表現(xiàn)出最大的誠(chéng)意，通過(guò)采用8K分辨率的貫穿式高清屏幕+高通8295芯片的硬件組合，來(lái)呈現(xiàn)出極致的沉浸式視覺(jué)體驗(yàn)。
回顧當(dāng)初設(shè)立的這一目標(biāo)，在智能車(chē)機(jī)領(lǐng)域當(dāng)時(shí)還鮮有項(xiàng)目落地，團(tuán)隊(duì)從8295-DHU到實(shí)現(xiàn)8K-全屏的3D引擎渲染，可以說(shuō)一路上處處充滿了挑戰(zhàn)。雖然高通8295在行業(yè)里已經(jīng)是最頂級(jí)的車(chē)規(guī)級(jí)芯片，但對(duì)于8K屏幕、駕駛、娛樂(lè)一拖三的產(chǎn)品需求來(lái)說(shuō)，仍然是充滿了未知。
當(dāng)時(shí)市面上大多數(shù)車(chē)型搭載的芯片還都處于高通8155這個(gè)代次，吉利研究院最初出于哪些考慮要為E8的車(chē)機(jī)選用新一代的高通驍龍8295芯片？E8作為吉利銀河的首款純電旗艦車(chē)型，希望能給到用戶的是高價(jià)值感的產(chǎn)品，在座艙和HMI的層面需要給用戶提供最高的硬件配置、最安全的平臺(tái)架構(gòu)，最強(qiáng)的軟件工具和最好的用戶體驗(yàn)，以當(dāng)時(shí)行業(yè)內(nèi)普遍應(yīng)用的8155芯片算力來(lái)講，無(wú)論是在測(cè)試數(shù)據(jù)還是落地項(xiàng)目的表現(xiàn)方面都無(wú)法達(dá)到E8的既定目標(biāo)和滿足相應(yīng)的需求，所以很快就決定放棄8155，選用高通下一代具有更高算力的8295芯片。近幾年市場(chǎng)上可選擇的3D引擎和HMI開(kāi)發(fā)工具也不少，能否講下最終選擇用虛幻引擎來(lái)開(kāi)發(fā)的原因和過(guò)程？在公司層面：項(xiàng)目開(kāi)發(fā)上需要純自研車(chē)機(jī)系統(tǒng)（ 銀河N OS） 進(jìn)行代碼級(jí)融合，作為一款3D引擎：Unreal不僅有行業(yè)領(lǐng)先的視覺(jué)渲染效果，還提供了開(kāi)發(fā)車(chē)機(jī)系統(tǒng)的定制化引擎，最重要的是源碼全部開(kāi)源，方便我們做二次開(kāi)發(fā)和功能定制，在性能上也有更寬域的壓榨空間。在團(tuán)隊(duì)執(zhí)行層面，首先大家公認(rèn)游戲引擎的能力和可拓展性相比傳統(tǒng)工具更強(qiáng)，在后來(lái)的引擎選型方面，主要是在Unreal、Unity、Cocos這幾款商業(yè)引擎中選擇，Unreal在PC/主機(jī)類游戲里有著完整的工具鏈生態(tài)及高品質(zhì)渲染的優(yōu)點(diǎn)，強(qiáng)大的交互和渲染能力帶來(lái)的是移動(dòng)端基礎(chǔ)包體存儲(chǔ)的增加；Unity在智能手機(jī)生態(tài)興起時(shí)上市并在移動(dòng)端得到廣泛的應(yīng)用，大量的移動(dòng)端引擎的開(kāi)發(fā)者，是首批為移動(dòng)端低功耗而誕生的引擎，包體大小靈活可控，但在渲染品質(zhì)和可拓展性上相對(duì)較弱，需要有團(tuán)隊(duì)具有較強(qiáng)的渲染管線定制的能力；Cocos同Unity一樣是智能手機(jī)興起時(shí)誕生的2D引擎，有較多數(shù)量的開(kāi)發(fā)者和較高的使用率，通過(guò)后續(xù)的更新了加入了3D引擎的模塊，優(yōu)點(diǎn)也是輕量化+國(guó)產(chǎn)引擎。基于以上的研究和對(duì)于HMI視覺(jué)品質(zhì)的需求，我們最終選擇了Unreal，同時(shí)也對(duì)Epic Games團(tuán)隊(duì)的技術(shù)能力和支持力度表示由衷的感謝。團(tuán)隊(duì)在實(shí)現(xiàn)將虛幻引擎整合到銀河NOS無(wú)界的過(guò)程中有遇到過(guò)哪些挑戰(zhàn)？首先就是關(guān)于芯片平臺(tái)的問(wèn)題，因?yàn)殂y河E8是首批用到8295芯片的車(chē)型，在開(kāi)發(fā)DHU的主板時(shí)就遇到了很大的阻礙和難度；之后就是解決8K分辨率的貫穿式長(zhǎng)屏的顯示，無(wú)論從DHU芯片平臺(tái)的視頻驅(qū)動(dòng)上，還是引擎渲染窗口的負(fù)載率上，都需要面對(duì)很大的挑戰(zhàn)；在開(kāi)發(fā)過(guò)程中，設(shè)計(jì)與開(kāi)發(fā)的分離，也對(duì)落地的實(shí)現(xiàn)還原效果以及性能損耗造成了一定流程上的阻力；在內(nèi)容制作過(guò)程中，8K屏幕的抗鋸齒方案的選擇上，也給我們帶來(lái)了比較大的困擾，是選擇FXAA還是TAA，是選擇低性能還是接受一定的性能損耗，最后我們還是選擇了TAA，在保持住整體視覺(jué)效果的基礎(chǔ)上，后面再通過(guò)其他手段來(lái)優(yōu)化性能。用戶可以在銀河NOS無(wú)界上體驗(yàn)到哪些使用虛幻引擎開(kāi)發(fā)的應(yīng)用場(chǎng)景？在銀河N OS無(wú)界中，我們首次引入了還原真實(shí)世界以及數(shù)字孿生的概念；進(jìn)入車(chē)機(jī)系統(tǒng)，首先映入眼簾的就是具有視覺(jué)震撼力的一個(gè)桌面場(chǎng)景，我們稱之為靈境無(wú)界的3D主題，在場(chǎng)景中我們?nèi)谌肓烁挥兄袊?guó)韻味的西湖元素，搭配銀河E8特有的漣漪美學(xué)，表現(xiàn)出一個(gè)既真實(shí)又虛幻，既有科技感又富有詩(shī)意的環(huán)境氛圍；
我們還運(yùn)用虛幻引擎的特性，設(shè)計(jì)了跟隨時(shí)間變化的環(huán)境光照，美輪美奐的雨雪天氣，當(dāng)用戶打開(kāi)車(chē)門(mén)進(jìn)入座艙，點(diǎn)點(diǎn)星光從門(mén)開(kāi)的一側(cè)飄向另一側(cè)，這些都是依靠虛幻引擎賦予的能力所實(shí)現(xiàn)；在數(shù)字孿生方面，我們?cè)谧烂嫔戏胖昧算y河E8的可交互車(chē)模，用戶可以方便快捷的控制大燈、門(mén)窗、后備箱等；其他功能比如車(chē)輛的運(yùn)動(dòng)模式，空調(diào)的吹風(fēng)效果，車(chē)控的效果示意等等也都是通過(guò)虛幻引擎開(kāi)發(fā)實(shí)現(xiàn)的；并且在后續(xù)的智駕版本中加入了銀河輔助駕駛，自動(dòng)泊車(chē)，記憶泊車(chē)等功能，還可以通過(guò)虛幻引擎搭建虛擬視圖，可以說(shuō)在銀河N OS無(wú)界版中，幾乎每一處都使用了虛幻引擎的能力。
這些實(shí)時(shí)交互的場(chǎng)景是在虛幻引擎哪個(gè)版本上開(kāi)發(fā)的？從idea 到落地上車(chē)大致是怎樣的一個(gè)開(kāi)發(fā)流程？虛幻 4.27 車(chē)機(jī)定制版流程-概念提出、需求分析、界面概念設(shè)計(jì)、美術(shù)3D引擎還原、引擎軟件開(kāi)發(fā)、整車(chē)功能集成、引擎和系統(tǒng)優(yōu)化、上車(chē)測(cè)試交付。在HMI的開(kāi)發(fā)過(guò)程中有哪些虛幻引擎的功能或工具對(duì)項(xiàng)目幫助比較大？開(kāi)發(fā)：Level：流關(guān)卡在一鏡到底和場(chǎng)景切換得流暢和資變體：運(yùn)行時(shí)資產(chǎn)管理方便快捷Sequencer：結(jié)合Level創(chuàng)建得Level Sequences讓轉(zhuǎn)場(chǎng)動(dòng)畫(huà)得制作更高效還有常用得藍(lán)圖(動(dòng)畫(huà)、材質(zhì))、lightmap、后效等優(yōu)化：Insights：?jiǎn)?dòng)耗時(shí)優(yōu)化工具FrontEnd：性能優(yōu)化工具命令行控制臺(tái)：stat 系列、MemReport等除了以上虛幻提供得工具外，還結(jié)合一些外部工具提高更好得使用效果和便捷性，比如：安卓工具：AndroidStudio Profile、SnapDragon（產(chǎn)看GPU使用率，busying脈沖耗時(shí)占比）、RenderDoc、BootChart（查看啟動(dòng)時(shí)系統(tǒng)資源競(jìng)爭(zhēng)關(guān)系）Linux工具：adb top |dumpsys、bind（綁和操作）QNX：busyboxDebug（查看GPU、顯存等）可視化編程：虛幻引擎提供了藍(lán)圖系統(tǒng)，允許開(kāi)發(fā)人員使用可視化的節(jié)點(diǎn)來(lái)創(chuàng)建邏輯和交互。這對(duì)于設(shè)計(jì)和實(shí)現(xiàn)HMI中的各種交互邏輯非常有用。高品質(zhì)渲染：虛幻引擎擁有先進(jìn)的渲染引擎，可以實(shí)現(xiàn)高質(zhì)量的圖形效果。這對(duì)于創(chuàng)建逼真的用戶界面和可視化效果至關(guān)重要。車(chē)輛動(dòng)力學(xué)仿真：如果項(xiàng)目涉及到與車(chē)體對(duì)象的交互，虛幻引擎的物理仿真系統(tǒng)可以幫助模擬真實(shí)世界中的物理效果，從而增強(qiáng)HMI的真實(shí)感和交互性。多平臺(tái)支持：虛幻引擎支持多種平臺(tái)，包括PC、主機(jī)、移動(dòng)設(shè)備等，這意味著開(kāi)發(fā)的HMI可以輕松地在不同的設(shè)備上部署和運(yùn)行。工具：Insights（查看cpu消耗）、FrontEnd、Stat（Mesh合批、drawcall的優(yōu)化）安卓工具：AndroidStudio Profile、SnapDragon（產(chǎn)看GPU使用率，busying脈沖耗時(shí)占比）、RenderDoc、BootChart（查看啟動(dòng)時(shí)系統(tǒng)資源競(jìng)爭(zhēng)關(guān)系）Linux工具：adb top |dumpsys、bind（綁和操作）QNX：busyboxDebug（查看GPU、顯存等）最終package部署上車(chē)之后在屏幕上實(shí)際呈現(xiàn)的分辨率和運(yùn)行效率是多少？調(diào)試過(guò)程中最大的難點(diǎn)是什么，如何解決的？分辨率：7680*936 (8K)性能參數(shù)：CPU:34%(單核)、GPU:40%、內(nèi)存(700M)、顯存(700M)最大的難點(diǎn)還是集中在這個(gè)8K屏幕上，產(chǎn)品需要 “一鏡到底、即時(shí)響應(yīng)”之外還要兼顧系統(tǒng)消耗占用最低、運(yùn)行流暢無(wú)卡頓和最優(yōu)視覺(jué)效果，做了如下的解決方案：? 動(dòng)態(tài)幀策略：HMI在前臺(tái)鎖定25幀，除此之外在其他場(chǎng)景下會(huì)設(shè)置15fps、5fps以及freeze三擋策略，來(lái)優(yōu)化系統(tǒng)的占比? 分層資源管理：2D和3D的資產(chǎn)占比在1:9，除了車(chē)模常駐在內(nèi)存外，其他資源都是通過(guò)后臺(tái)靜默加載來(lái)無(wú)縫銜接鏡頭切換，做到體驗(yàn)絲滑無(wú)卡頓? UE4和車(chē)機(jī)系統(tǒng)交互策略：車(chē)機(jī)信號(hào)和觸控作為HMI的唯二信號(hào)源，我們對(duì)數(shù)據(jù)鏈路進(jìn)行了即時(shí)和緩存的區(qū)分；此外在場(chǎng)景對(duì)高頻信號(hào)的“無(wú)序”且“反復(fù)”的處理上做了2級(jí)緩存和分類在銀河E8這個(gè)HMI的項(xiàng)目上，虛幻引擎與傳統(tǒng)工具相比有什么優(yōu)勢(shì)？最大的優(yōu)勢(shì)就是工具鏈和能力比較全，基礎(chǔ)的DCC到關(guān)卡導(dǎo)入的地編的工具與流程很便捷；獨(dú)特的藍(lán)圖功能，覆蓋了關(guān)卡藍(lán)圖、普通藍(lán)圖、gameplay藍(lán)圖、材質(zhì)藍(lán)圖，可以通過(guò)藍(lán)圖節(jié)點(diǎn)來(lái)對(duì)邏輯、材質(zhì)、轉(zhuǎn)場(chǎng)等功能進(jìn)行快速實(shí)現(xiàn)，加速了POC和后期項(xiàng)目工程開(kāi)發(fā)的進(jìn)度；
在引入虛幻引擎并成功研發(fā)出首款吉利汽車(chē)的HMI產(chǎn)品后，團(tuán)隊(duì)有什么想說(shuō)的？銀河N OS無(wú)界版的成功落地，給了吉利設(shè)計(jì)團(tuán)隊(duì)（品牌院、座艙等部門(mén)）非常大的信心，也正是因?yàn)槭褂锰摶靡妫o這款車(chē)機(jī)帶來(lái)了前所未有的體驗(yàn)，每一位進(jìn)入銀河E8座艙的用戶，都對(duì)這款融合了3D引擎能力的車(chē)機(jī)產(chǎn)品表達(dá)了極大的興趣，在社交媒體上帶來(lái)了非常高的熱度，作為吉利設(shè)計(jì)團(tuán)隊(duì)的成員，通過(guò)這個(gè)項(xiàng)目的成功落地和交付，更加堅(jiān)定了我們擁抱新技術(shù)，開(kāi)拓新思路的設(shè)計(jì)方向；未來(lái)結(jié)合AI大模型以及3D引擎的車(chē)機(jī)產(chǎn)品，一定會(huì)在產(chǎn)品體驗(yàn)上到達(dá)一個(gè)前所未有、無(wú)法想象的高度，未來(lái)將會(huì)需要3D引擎團(tuán)隊(duì)和車(chē)企之間更加緊密的合作。
