近日，信息学院（人工智能学院）王晗教授团队在计算机视觉研究领域取得新进展，针对开放环境下重复动作计数依赖人工标注、复杂场景中动作周期特征难以稳定建模等问题，提出了一种面向重复动作分析的周期感知自编码框架。相关成果以“Periodicity-Aware AutoEncoder for Unsupervised Repetitive Action Counting”为题，发表于国际多媒体领域TOP期刊 IEEE Transactions on Multimedia（TMM）。TMM 是中国计算机学会（CCF）推荐的计算机图形学与多媒体领域 A 类国际学术期刊（中国科学院一区Top期刊，影响因子：9.9）。

重复动作分析是计算机视觉与行为分析中的重要研究方向，在健身训练评估、康复监测以及生态监测中的重复作业行为分析等场景中具有广阔应用前景。现实场景中的重复动作往往受到个体差异、动作节奏变化、遮挡、背景干扰以及光照变化等多种因素影响，导致动作周期边界模糊、重复模式复杂多变。现有方法大多依赖精细人工标注，如逐帧起止位置标注或关键姿态定义，不仅标注成本高，而且难以适应开放场景中不断出现的新动作类别，制约了模型的可扩展性和泛化能力。

针对上述问题，研究团队提出了一种面向无监督重复动作计数的周期性感知自编码框架（Periodicity-Aware AutoEncoder, PAAE）。该方法以人体骨架序列为核心表征，通过自编码结构将高维动作特征压缩为能够反映时间周期规律的鲁棒中间表示，在降低环境噪声、外观差异和身份信息干扰的同时，突出动作本身的周期性特征（图1）。

图1 面向重复动作分析的周期感知自编码框架

为摆脱对人工计数标签和时间标注的依赖，团队进一步设计了周期性数据合成策略（Periodic Data Synthesis, PDS），结合基于插值的合成方法与基于扩散模型的生成方法，自动构造具有周期性模式的骨架动作序列及其软标签，从而为模型提供有效的无监督训练信号。

在此基础上，论文还构建了面向真实健身场景的重复动作分析数据集 Rep-Fitness （图2）。该数据集包含 209 段视频、141 个动作类别，覆盖热身与灵活性训练、下肢训练、上肢训练、核心训练、弹跳训练和全身训练等六大类健身动作，具有类别丰富、类内差异显著等特点，可用于更全面地评估模型在开放场景下的泛化能力。

图2 Rep-Fitness数据集

该研究从周期性表征学习的角度出发，为开放环境下重复动作计数提供了一种不依赖密集人工标注的新思路，有望为智能健身评估、居家康复监测、运动行为分析以及林业生产作业监测等场景提供技术支撑。

论文第一作者为信息学院（人工智能学院）2026级博士研究生俞佳磊，通讯作者为王晗教授。

该研究得到了中央高校优秀青年团队项目（QNTD202504）和智源实验室项目（ZYL2025002）的支持。

论文链接：https://ieeexplore.ieee.org/document/11614779