????近年來隨著深度攝像機(jī)和多攝像頭系統(tǒng)的出現(xiàn)，多視角三維人體姿態(tài)估計逐漸成為三維人體姿態(tài)估計領(lǐng)域的最熱門研究方向之一。多視角三維人體姿態(tài)估計能夠通過利用多個視角的數(shù)據(jù)，來補(bǔ)充在遮擋、相機(jī)運(yùn)動等復(fù)雜情況下缺失的關(guān)節(jié)點(diǎn)位置信息，減輕單視角三維人體姿態(tài)估計存在的深度模糊問題。但在實際應(yīng)用的非限定環(huán)境下，受場景背景、相機(jī)拍攝角度、光照、遮擋等復(fù)雜因素的影響，不同視角的圖像信息間存在很大的視覺表征差異，導(dǎo)致跨視角有效特征提取和融合十分具有挑戰(zhàn)性。
重慶研究院研究團(tuán)隊針對許多現(xiàn)有的多視角三維人體姿態(tài)估計方法存在忽略關(guān)節(jié)點(diǎn)多維度隱含信息、依賴特定場景的相機(jī)參數(shù)、語義特征挖掘不足等問題，研究了基于深度語義圖編碼器和基于漸進(jìn)性時空融合的多視角三維人體姿態(tài)估計方法。該研究通過提取描述人體關(guān)節(jié)點(diǎn)豐富空間結(jié)構(gòu)信息的語義圖嵌入特征，構(gòu)建實現(xiàn)不同特征間動態(tài)交互和融合的空間語義圖編碼器以及跨視角時空特征融合方法，充分挖掘不同視角關(guān)節(jié)點(diǎn)隱含的深層語義知識，增強(qiáng)姿態(tài)特征的表征性。
方法框架圖
該研究在不依賴相機(jī)外參的情況下，有效減輕了深度模糊問題，提升了三維人體姿態(tài)估計性能。相關(guān)成果發(fā)表在人工智能頂會AAAI Conference on Artificial Intelligence（CCF A類）和計算機(jī)圖形學(xué)與多媒體頂會ACM International Conference on Multimedia（CCF A類）上。
上述工作得到國家自然科學(xué)基金項目的支持。
相關(guān)論文鏈接：
https://ojs.aaai.org/index.php/AAAI/article/view/28549
https://dl.acm.org/doi/abs/10.1145/3581783.3612098