【技术实现步骤摘要】
本专利技术属于动作分割中的第一视角在线动作分割领域，具体涉及对视频流中的连续动作的在线识别与分割。
技术介绍
1、在当今社会，可穿戴摄像头和第一人称视角技术的普及已经成为一种趋势，它们极大地丰富了我们的视觉体验，并为增强现实和虚拟现实技术的应用提供了广阔的空间。随着这些技术的日益成熟和普及，它们已经无缝地融入我们的日常生活之中，从游戏娱乐到教育培训，从医疗健康到工业设计，几乎无处不在。
2、这种技术的融合不仅改变了我们与数字世界的交互方式，也催生了对第一人称视角下未剪辑视频数据的深入理解和分析的迫切需求。特别是在动作识别和分析领域，这种需求尤为明显。第一人称视角视频数据通常包含丰富的动作信息和上下文环境，这对于理解用户的意图、行为模式以及实时互动至关重要。例如，在智能监控系统中，通过分析第一人称视角的视频数据，可以实时识别出异常行为，及时预警，保障公共安全；在虚拟现实游戏中，通过捕捉玩家的动作，可以实现更自然、更真实的互动体验。然而，与传统的离线动作分割任务不同，第一人称视角的在线动作分割面临着更为严格的挑战。它要求模型能够...
【技术保护点】
1.一种以行为为中心的第一视角在线动作分割方法，其特征在于，具体包括以下步骤：
2.根据权利要求1所述的一种以行为为中心的第一视角在线动作分割方法，其特征在于，步骤2更详细地包括：使用I3D特征提取器提取得到帧级视频特征。
3.根据权利要求1所述的一种以行为为中心的第一视角在线动作分割方法，其特征在于，步骤3更详细地包括：使用因果掩码来屏蔽未来信息，保证第一视角在线动作分割的训练过程和推理过程一致，注意力机制的公式表示为：
4.根据权利要求1所述的一种以行为为中心的第一视角在线动作分割方法，其特征在于，步骤4更详细地包括：根据训练好...
【技术特征摘要】
1.一种以行为为中心的第一视角在线动作分割方法，其特征在于，具体包括以下步骤：
2.根据权利要求1所述的一种以行为为中心的第一视角在线动作分割方法，其特征在于，步骤2更详细地包括：使用i3d特征提取器提取得到帧级视频特征。
3.根据权利要求1所述的一种以行为为中心的第一视角在线动作分割方法，其特征在于，步骤3更详细地包括：使用因果掩码来屏蔽未来信息，保证第一视角在线动作分割的训练过程和推理过程一致，注意力机制的公式表示为：
4.根据权利要求1所述的一种以行为为中心的第一视角在线动作分割方法，其特征在于，步骤4更详细地包括：根据训练好的基于因果注意力机制的原型特征学习变换器，得到原型特征：，其中i代表动作种类，k代表原型聚类中心数量。
5.根据权利要求1所述的一种以行为为中心的第一视角在线动作分割方法，其特征在于，步骤5更详细地包括：根据步骤4中提取的视频特征...
【专利技术属性】
技术研发人员：申恒涛，徐行，韩章叶，闵钰，
申请(专利权)人：上海码极客人工智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。