一种多粒度层谱融合的场合认知方法技术

本发明专利技术公开了一种多粒度层谱融合的场合认知方法，包括以下步骤：采集不同场合下的视频图像和音频数据，对视频图像和音频数据进行人物面部、骨架、场合描述、人物交互检测、场合背景、场合类别及情感类别进行标注，构建基于深度学习的面部特征提取网络、骨架特征提取网络、文本特征提取网络、人物交互特征提取网络、背景特征提取网络和音频特征提取网络，分别提取场合中的不同粒度不同层谱的特征，并利用图神经网络进行特征融合，获得多粒度的层谱融合特征，最后构建分类器实现场合识别和情感识别，从而完成场合认知。本发明专利技术利用多层谱多粒度的场合特征，为场合认知提供了客观、连续的认知依据，从而实现更加精确的场合认知。

【技术实现步骤摘要】

本专利技术涉及一种多粒度层谱融合的场合认知方法，属于计算机视觉和模式识别领域。

技术介绍

1、随着人工智能和机器学习技术的迅速发展，场合认知技术在各种应用场景中得到了广泛关注和研究。场合是指某个特定的时间和空间下所发生的事情和活动。场合认知是指计算机系统通过分析特定的时间和空间中的各种信息，如图像、音频、传感器数据等，来理解和识别当前场合的过程。这项技术在智能监控、自动驾驶、智能家居、虚拟现实等领域具有重要的应用价值。

2、当前的技术主要集中在场景认知，即对物理环境和空间布局的理解和分析。然而，缺乏场合认知，即对特定事件、活动及其社交和文化情境、情感的识别和理解。这种缺失限制了系统在复杂和动态的真实世界中的表现。场合认知的重要性在于，它能够让系统不仅理解“在哪里”，还能够理解“发生了什么”和“表达了什么情感”，从而在智能助理、社交机器人和智能家居等领域提供更加智能和人性化的服务。因此，发展场合认知技术对于提升人工智能系统的适应性和互动性至关重要。此外在多变和复杂的实际环境中，单一模态数据无法全面捕捉复杂场合中的多样化信息，会导致场合认知的精度和本文档来自技高网...

【技术保护点】

1.一种多粒度层谱融合的场合认知方法，其特征在于，包括如下步骤：

2.如权利要求1所述的多粒度层谱融合的场合认知方法，其特征在于，步骤(1)中，场合包括社交场合、文化场合、公共场合、教育场合和娱乐场合，所述社交场合包括家庭聚会、商务会议和婚礼，所述文化场合包括文化庆典、宗教仪式和民族活动，所述公共场合包括公共演讲和社区活动，所述教育场合包括课堂教学、学术讲座和毕业典礼，所述娱乐场合包括音乐会和体育比赛。

3.如权利要求1所述的多粒度层谱融合的场合认知方法，其特征在于，步骤(2)中，所述人物面部标注使用人脸检测算法Retinaface对所述视频图像进行人脸检测，获取...

【技术特征摘要】

1.一种多粒度层谱融合的场合认知方法，其特征在于，包括如下步骤：

2.如权利要求1所述的多粒度层谱融合的场合认知方法，其特征在于，步骤(1)中，场合包括社交场合、文化场合、公共场合、教育场合和娱乐场合，所述社交场合包括家庭聚会、商务会议和婚礼，所述文化场合包括文化庆典、宗教仪式和民族活动，所述公共场合包括公共演讲和社区活动，所述教育场合包括课堂教学、学术讲座和毕业典礼，所述娱乐场合包括音乐会和体育比赛。

3.如权利要求1所述的多粒度层谱融合的场合认知方法，其特征在于，步骤(2)中，所述人物面部标注使用人脸检测算法retinaface对所述视频图像进行人脸检测，获取人脸的位置大小，并对不准确的检测结果进行人工修正；所述人体骨架标注使用3d人体姿态估计算法videopose3d对所述视频图像中人物进行人体骨架估计，获取人物的三维骨架的坐标，并进行人工修正；所述场合文本描述标注使用图像描述模型blip对所采集的视频图像生成文本描述，并对不准确的文本描述进行人工修正；所述人物交互检测标注使用目标检测算法detr对所述视频图像进行人和物体的位置检测和物体检测，并对检测结果进行人工修正；所述场合背景标注使用分割算法sam对所述视频图像中的场合背景进行分割标注，并对不准确的分割结果进行人工修正；最后对所述视频图像进行场合类别标注和对应的情感类别标注。

4.如权利要求1所述的多粒度层谱融合的场合认知方法，其特征在于，步骤(2)中，场合类别包括社交场合、文化场合、公共场合、教育场合和娱乐场合；情感类别包括高兴、悲伤、紧张、兴奋、惊讶、愤怒、尴尬和中性。

5.如权利要求1所述的多粒度层...

【专利技术属性】
技术研发人员：李新德，李兵，胡川飞，
申请(专利权)人：东南大学，
类型：发明
国别省市：