跨視圖時序對比學習的自監(jiān)督視頻表征算法

摘要： 現(xiàn)有的自監(jiān)督表征算法主要關注視頻幀之間的短期運動特性，但是幀間動作序列的變化幅度較小，而且單視圖數(shù)據(jù)因語義受限影響深度特征表達能力，視頻動作中豐富的多視圖信息未被充分利用。為此提出基于跨視圖語義一致性的時序對比學習算法，自監(jiān)督學習RGB幀和光流場兩種數(shù)據(jù)中蘊含的動作時序變化特性，主要思路為：設計局部時序對比學習方法，采用不同正負樣本劃分策略，挖掘同一實例不重疊片段之間的時序相關... （共9頁）