計(jì)算機(jī)視覺是人工智能重要的技術(shù)領(lǐng)域之一。每年，國(guó)內(nèi)外都會(huì)舉辦眾多的計(jì)算機(jī)視覺學(xué)術(shù)或者行業(yè)大會(huì)，其中，計(jì)算機(jī)視覺與模式識(shí)別國(guó)際會(huì)議（IEEE CVPR）、國(guó)際計(jì)算機(jī)視覺大會(huì)（ICCV）以及歐洲計(jì)算機(jī)視覺國(guó)際會(huì)議（ECCV）是最為知名的三大頂會(huì)。

在全球?qū)＜覍W(xué)者交流研討的同時(shí)，這些頂會(huì)還會(huì)舉辦系列挑戰(zhàn)賽，全球眾多頂尖團(tuán)隊(duì)積極報(bào)名參賽，在計(jì)算機(jī)視覺的各個(gè)細(xì)分領(lǐng)域同臺(tái)“論劍”，一爭(zhēng)高下。

6月下旬舉辦的CVPR大會(huì)也不例外。在本次大會(huì)組織的各項(xiàng)計(jì)算機(jī)視覺挑戰(zhàn)賽中，聯(lián)想研究院團(tuán)隊(duì)共斬獲6項(xiàng)冠軍，包括：

• 第一人稱視角與外界視角融合的4D視覺挑戰(zhàn)賽（Ego4D and EgoExo4D Challenge）社交互動(dòng)（Looking At Me）賽道冠軍；
• 第一人稱視角與外界視角融合的4D視覺挑戰(zhàn)賽（Ego4D and EgoExo4D Challenge）手部姿態(tài)估計(jì)（Hand Pose）賽道冠軍；
• 自動(dòng)駕駛ARGOVERSE挑戰(zhàn)賽3D物體檢測(cè)（3D Object Detection Challenge）賽道冠軍；
• 自動(dòng)駕駛ARGOVERSE挑戰(zhàn)賽3D多目標(biāo)跟蹤（3D Multi-Object Tracking Challenge）賽道冠軍；
• 自主系統(tǒng)挑戰(zhàn)賽（Autonomous Grand Challenge, AGC）具身多模態(tài)三維視覺定位(Multi-View 3D Visual Grounding)賽道冠軍，并拿下最具創(chuàng)新獎(jiǎng)；
• 人工智能城市挑戰(zhàn)賽（AI City Challenge）多相機(jī)多行人跟蹤（Multi-Camera Multi-People Tracking）賽道冠軍。
•  

其中，研究院PC創(chuàng)新與生態(tài)系統(tǒng)實(shí)驗(yàn)室團(tuán)隊(duì)收獲前四項(xiàng)冠軍，而人工智能實(shí)驗(yàn)室和清華大學(xué)、以及與上海交通大學(xué)的兩個(gè)聯(lián)合團(tuán)隊(duì)分別拿下自主系統(tǒng)挑戰(zhàn)賽具身多模態(tài)三維視覺定位冠軍和最具創(chuàng)新獎(jiǎng)，以及AI CITY挑戰(zhàn)賽多相機(jī)多行人跟蹤賽道冠軍。

第一人稱視角與外界視角融合的4D視覺挑戰(zhàn)賽（Ego4D and EgoExo4D Challenge）

Ego4D數(shù)據(jù)集是一個(gè)大規(guī)模的以自我為中心的視頻數(shù)據(jù)集和基準(zhǔn)套件。它提供3670小時(shí)的日常生活活動(dòng)視頻，涵蓋數(shù)百種場(chǎng)景(家庭，戶外，工作場(chǎng)所，休閑等)，由來自全球74個(gè)地點(diǎn)和9個(gè)不同國(guó)家的931名獨(dú)特的相機(jī)佩戴者（camera wearer）拍攝。

 

Ego-Exo4D數(shù)據(jù)集則是一個(gè)多樣化的、大規(guī)模的多模式多視角視頻數(shù)據(jù)集和基準(zhǔn)套件。Ego-Exo4D同時(shí)捕捉以自我為中心和以外部為中心的，大眾熟悉的人類活動(dòng)視頻（例如，體育、音樂、舞蹈、自行車修理等）。

 

基于這兩個(gè)數(shù)據(jù)集，CVPR2024提出了一系列新的基準(zhǔn)挑戰(zhàn)，這些挑戰(zhàn)圍繞著理解第一人稱視覺體驗(yàn)展開。聯(lián)想研究院PC創(chuàng)新與生態(tài)系統(tǒng)實(shí)驗(yàn)室團(tuán)隊(duì)收獲了其中的社交互動(dòng)（Looking At Me）賽道和手部姿態(tài)估計(jì)（Hand Pose）賽道兩項(xiàng)冠軍。

社交互動(dòng)（Looking At Me）挑戰(zhàn)

在社交互動(dòng)（Looking At Me）賽道，團(tuán)隊(duì)以80.91 mAP（mean Average Precision，平均精度均值）的成績(jī)獲得了挑戰(zhàn)賽第一名。

 

社交互動(dòng)是人類行為理解的關(guān)鍵。通過獲取以自我為中心的視頻數(shù)據(jù),我們可以獲得一種獨(dú)特的視角,捕捉到每個(gè)參與者的言語交流和非語言線索。這種技術(shù)為研究社交互動(dòng)提供了寶貴的信息源,有助于深入理解人類的社交行為。未來，這種技術(shù)有望推動(dòng)虛擬助理和社交機(jī)器人的發(fā)展,使其能夠更好地融入人類的社交環(huán)境，提供更智能、更貼心的交互體驗(yàn)。通過分析社交互動(dòng)的細(xì)微信號(hào)，我們可以培養(yǎng)出更富同理心和社交智慧的人工智能系統(tǒng)，使其能夠更自然地與人類進(jìn)行溝通互動(dòng)。

比如該技術(shù)可以用來檢測(cè)家庭成員情緒狀態(tài)，并為其提供建議或播放音樂等緩解情緒，具備情境理解與響應(yīng)能力。再比如，當(dāng)檢測(cè)到廚房的煙霧報(bào)警器響起時(shí)，它不僅能即時(shí)通知家庭成員，還能自動(dòng)聯(lián)系緊急服務(wù)，并指導(dǎo)家中的兒童安全撤離。

在該挑戰(zhàn)中，參與者獲得了一段視頻，其中包含了已被定位和識(shí)別的社交伙伴的人臉，并對(duì)每個(gè)可見的人臉進(jìn)行分類，判斷它們是否都在看向相機(jī)佩戴者。由于場(chǎng)景中人與攝像機(jī)之間的距離，以及人體的運(yùn)動(dòng)，導(dǎo)致了人臉圖像的模糊，使得這項(xiàng)任務(wù)具有很高的挑戰(zhàn)性。

面對(duì)這項(xiàng)挑戰(zhàn)，團(tuán)隊(duì)提出了由一個(gè)InterVL圖像編碼器和Bi-LSTM網(wǎng)絡(luò)組成的InternLSTM解決方案。InternVL負(fù)責(zé)提取空間特征，Bi-LSTM提取時(shí)間特征。為了解決任務(wù)的復(fù)雜性，我們引入了平滑濾波器，以消除輸出的噪聲或尖峰。