近日,長安汽車與重慶郵電大學聯(lián)合團隊在CVPR自動駕駛國際挑戰(zhàn)賽“Driving with Language”賽道上獲得獎金最高的創(chuàng)新獎。本次獲獎充分展示了長安汽車在AI大模型和智能駕駛領(lǐng)域的優(yōu)秀研發(fā)實力,預示著長安汽車正在加速發(fā)力智能駕駛新賽道,將全面開啟長安汽車AI大模型智駕的新時代。
作為國際公認的自動駕駛頂級賽事,CVPR自動駕駛國際挑戰(zhàn)賽涵蓋了多個前沿科技領(lǐng)域賽道,獲得了國際范圍內(nèi)科研和產(chǎn)業(yè)界的廣泛關(guān)注。今年,挑戰(zhàn)賽特別設立了“Driving with Language”賽道,吸引了來自14個國家和地區(qū)的152支隊伍參賽,其中包括劍橋大學、慕尼黑工業(yè)大學、浙江大學等知名高校團隊,以及英偉達、AMD、騰訊、長安等領(lǐng)先企業(yè)隊伍,是本屆賽事中參賽隊伍最多的賽道。
此次長安汽車獲獎方案提出的BeVLM算法,是行業(yè)首個將智能駕駛BEV(鳥瞰圖視角)感知和大語言模型(LLM)進行端到端融合,并通過思維圖(GoT)進行上下文理解增強,在公開數(shù)據(jù)集上取得優(yōu)異成績的算法工作。
近兩年,以ChatGPT為代表的LLM技術(shù)迅猛發(fā)展,在跨領(lǐng)域知識理解和復雜任務推理方面涌現(xiàn)出非凡的能力,解決了自然語言理解領(lǐng)域的模型泛化問題,推進人工智能應用進入爆發(fā)期。當前,自動駕駛系統(tǒng)面臨的一個重要挑戰(zhàn)是缺乏對通用世界知識的理解和推理能力,難以應對各種復雜和罕見的駕駛情境。如何將LLM的能力與自動駕駛系統(tǒng)相結(jié)合,已成為業(yè)界關(guān)注的焦點。
經(jīng)過為期兩個月的激烈競賽,全球152支隊伍累計提交了978次結(jié)果。最終經(jīng)組委會評審,長安汽車與重慶郵電大學聯(lián)合團隊提出的BeVLM方案在眾多參賽方案中脫穎而出,榮獲賽道最高獎(獎金最多)——創(chuàng)新獎。BeVLM方案創(chuàng)新地將BEV感知和LLM進行多模態(tài)端到端融合訓練,使BEV特征與LLM的語言特征對齊,從而賦予LLM理解車身周圍環(huán)境元素空間關(guān)系的能力。該方案采用思維圖技術(shù),建立感知、預測、決策的邏輯鏈條,使大語言模型能夠模擬人類駕駛的推理過程,完成自動駕駛?cè)蝿?。在所有提交結(jié)果的最終評分榜單中,BeVLM取得了排名第二的成績 0.7759,與第一名的0.7799同列0.775~0.780區(qū)間,是唯二的總分高于0.775的方案。
長安汽車積極響應國家AI+戰(zhàn)略指引,積極擁抱AI大模型在智能駕駛領(lǐng)域的技術(shù)范式變革。由長安汽車智能駕駛首席技術(shù)官陶吉博士籌備組建的智駕AI大模型技術(shù)研發(fā)團隊,目前已啟動基于“端到端”大模型和“多模態(tài)”大模型的新一代智能駕駛技術(shù)方案的攻堅工作。
據(jù)陶首席介紹,研發(fā)團隊攻克由大數(shù)據(jù)和大模型驅(qū)動的AI原生智能駕駛核心技術(shù)的突破,致力于為用戶提供更安全、更舒適、更智能的駕駛體驗。長安汽車的智駕系統(tǒng)將會是一個具備全球競爭力的系統(tǒng)。
據(jù)悉,長安汽車已逐步將自動駕駛技術(shù),應用于量產(chǎn)搭載,實現(xiàn)了先進技術(shù)向?qū)嶋H生產(chǎn)力的轉(zhuǎn)化。長安汽車總裁王俊介紹,長安汽車正在加速智能平權(quán),在未來長安智駕汽車非常有競爭力,讓消費者逐步享用技術(shù)創(chuàng)新帶來的便捷出行,推動智駕不斷迭代。
本次獲獎,充分展示了長安汽車在智能駕駛大模型領(lǐng)域的快速行動和領(lǐng)先地位,也標志著長安汽車做好了進入AI大模型和智能駕駛3.0技術(shù)競爭時代的準備。