近日,國際人工智能頂會(huì )CVPR 2024舉辦的第6屆自然場(chǎng)景情感行為分析挑戰賽(6th Workshop and Competition on Affective Behavior Analysis in-the-wild,簡(jiǎn)稱(chēng)ABAW)公布比賽結果,天翼云AI團隊(CtyunAI)在情感識別任務(wù)中表現出色,斬獲雙賽道亞軍、單個(gè)賽道季軍,并受邀在CVPR ABAW研討會(huì )上作論文分享。這是繼天翼云在CVPR中榮獲多次佳績(jì)后再一次斬獲殊榮。
CVPR會(huì )議是由IEEE主辦的關(guān)于計算機視覺(jué)和模式識別的國際學(xué)術(shù)會(huì )議,收錄了該領(lǐng)域最新的研究成果和技術(shù)發(fā)展,是全球計算機視覺(jué)三大頂級會(huì )議之一。
ABAW競賽是由國際頂級計算機視覺(jué)研究者和科學(xué)家們共同發(fā)起的競賽,致力于解決自然情境下計算機對人的情感行為進(jìn)行分析的問(wèn)題,并以此提升人機交互系統的場(chǎng)景應用能力,目標是創(chuàng )造出能夠理解人的感覺(jué)、情緒和行為的機器和機器人,從而讓機器能夠與人類(lèi)互動(dòng)并有效地成為人類(lèi)的數字助手。
本屆競賽共吸引了來(lái)自世界各地的100多支團隊參加,其中不乏國內外知名大學(xué)和研究機構,如中國科學(xué)院、中國科學(xué)技術(shù)大學(xué)等。參賽隊伍需要對來(lái)源于現實(shí)場(chǎng)景的594個(gè)視頻共300萬(wàn)幀圖像進(jìn)行分析,通過(guò)視頻中的圖像、人物、聲音來(lái)預測指定人物在連續時(shí)間下的情感。
天翼云AI團隊在本次競賽中嘗試簡(jiǎn)化問(wèn)題,僅使用純視覺(jué)特征進(jìn)行任務(wù)建模。首先,通過(guò)使用可擴展的vision表征學(xué)習的掩碼式自動(dòng)編碼器(Masked Autoencoder)在大量人臉表情相關(guān)的數據集上進(jìn)行預訓練,以學(xué)習魯棒的圖像表征;其次,在比賽提供的aff-wild2數據集上使用Expr標簽進(jìn)行微調,以更好地適合該數據集的分布;最后,利用時(shí)域卷積網(wǎng)絡(luò )(Temporal Convolutional Network)和Transformer對數據在時(shí)間維度上進(jìn)行建模,從而使模型能夠通過(guò)視頻的上下文對結果進(jìn)行預測,大大提升了模型的任務(wù)表現。
當前,以大模型為代表的AI技術(shù)的發(fā)展及應用已步入爆發(fā)期,并成為驅動(dòng)產(chǎn)業(yè)數字化與智能化的重要引擎。天翼云將繼續在圖像、音頻及多模態(tài)領(lǐng)域持續深耕,不斷夯實(shí)國云智算底座,推動(dòng)AI技術(shù)變革升級,為數字經(jīng)濟發(fā)展注入新的活力。