【技术实现步骤摘要】
本专利技术属于视频图像处理，具体涉及一种基于视频的学术会议内容分析方法及系统。
技术介绍
1、会议视频具有数据量大、非结构化等特点，对会议视频难以进行高效的内容检索。学术会议是一种以促进科学发展、学术交流、课题研究等学术性话题为主题的会议，一般都具有国际性、权威性、高知识性、高互动性等特点。学术会议的开展和开展后对会议内容的分析与总结对国家科学的发展有着至关重要的作用。
2、会议内容分析一般由参会人员手动进行，工作量繁琐且主观性强，人工智能辅助也仅限于对会议出现的词频进行统计、关键词提取等，难以对会议内容生成有效的内容摘要，对观众的专注度等情绪状态更加难以通过有效地方法进行统计。
技术实现思路
1、为解决现有技术中存在的上述问题，第一方面，本专利技术提供了一种基于视频的学术会议内容分析方法及系统，通过以下步骤实现：
2、s1：对所述会议视频进行颜色空间转换得到hsv格式的一维组合向量；
3、s2：根据所述一维组合向量得到所述会议视频的一维颜色直方图，计算所述会议视频的相邻帧之间的像素颜色相似度其中hi和hi+1为相邻帧，hi(b)和hi+1(b)为所述相邻帧的直方图，得到所述会议视频的帧间颜色变化特征；
4、s3：使用边缘检测算子检测所述会议视频的目标边缘，对所述目标边缘计算帧间轮廓差分测度，得到所述会议视频的帧间边缘变化特征；
5、s4：将所述帧间颜色变化特征和所述帧间边缘变化特征投影到欧氏空间得到欧式坐标，对所述欧式坐
6、s5：对所述一维颜色直方图中的v分量进行强度映射，得到均衡直方图，对所述均衡直方图进行中心化和缩放操作得到标准化直方图；
7、s6：对所述标准化直方图按照预设的卷积核进行卷积得到图像空间特征，对所述图像空间特征进行池化操作得到特征向量组，对所述特征向量组和预构建的行为特征集和表情特征集进行相似度计算得到行为分析结果和表情分析结果；
8、s7：将所述行为分析结果和所述表情分析结果输入预构建的观众专注度评分模型，得到所述会议视频的摘要目录和观众专注度评价结果。
9、具体地，s1的具体实现方法包括：
10、s101：获取所述会议视频的r、g、b分量，根据颜色空间转换公式得到所述会议视频的h、s、v分量，其中，v＝max(r,g,b)，h根据所述r、g、b分量的最大值和最小值得到；
11、s102：根据所述h、s、v分量的量化级数构建所述h、s、v分量的一维组合向量。
12、具体地，s3的具体实现方法包括：
13、s301：使用canny边缘算子检测所述会议视频的目标边缘；
14、s302：对所述目标边缘进行边缘膨胀处理得到目标膨胀边缘，所述边缘膨胀处理的公式为：其中，b为预设的结构膨胀元素，a为所述目标边缘；
15、s303：计算所述目标膨胀边缘的背景占用比例，计算公式为：
16、
17、
18、其中，αi和αi+1为所述会议视频中相邻帧的背景占用比例，将所述背景占用比例的最大值作为所述帧间边缘变化特征。
19、具体地，s4的具体实现方法包括：
20、s401：对所述欧氏空间进行模糊二型划分得到特征空间，对所述特征空间计算目标函数，计算公式为：其中，u为所述特征空间的模糊子集，v为所述模糊子集的类中心，n为所述特征空间的阶数，uci为所述特征空间的隶属度；
21、s402：对所述目标函数进行最小化处理得到聚类划分矩阵和聚类中心，根据所述聚类划分矩阵和所述聚类中心得到所述会议视频的镜头拆分视频。
22、具体地，s5中的强度映射的方法具体包括：
23、根据所述一维颜色直方图中的v分量的强度级对所述v分量进行均匀化分布，使用的公式为：其中，n为所述v分量的总和，k为所述v分量的个数，l为预设的强度级的数量。
24、具体地，s6的具体操作步骤为：
25、s601：对所述标准化直方图使用公式：行图像空间特征计算，其中，fin为所述标准化直方图在卷积层中的输入形式，wk为所述卷积核，k为输出的图像空间特征的分区子集的数量，ak为邻接矩阵，λk为所述邻接矩阵的度矩阵；
26、s602：对所述图像空间特征使用公式：进行自适应池化操作得到所述特征向量组，其中，w和h为所述图像空间特征的宽度和高度，k为所述特征向量组的大小，x和y为池化层得到的特征向量在所述图像空间特征中的位置；
27、s603：获取所述行为特征集和所述表情特征集，计算所述特征向量与所述行为特征集和所述表情特征集中的行为模型和表情模型的相似度，将所述相似度为最大值的行为模型和表情模型作为所述特征向量的行为分析结果和表情分析结果。
28、具体地，行为模型包括站立模型、举手模型、手持拍照设备模型，所述表情模型包括：平视模型、低头模型、笑容模型，根据所述行为模型和所述表情模型的类别对所述镜头拆分视频进行评分，得到所述观众专注度评分。
29、第二方面，本专利技术提供了一种基于视频的学术会议内容分析系统，包括以下模块：
30、视频采集模块，用于录制所述会议视频；
31、镜头拆分模块，用于计算所述视频采集模块录制的会议视频的帧间颜色变化特征和帧间边缘变化特征，将所述帧间颜色变化特征和所述帧间边缘变化特征投影到所述欧氏空间得到所述欧式坐标，对所述欧式坐标进行坐标聚类得到所述会议视频的镜头拆分视频；
32、特征提取模块，用于对所述镜头拆分模块得到的一维颜色直方图中的v分量进行强度映射，得到所述均衡直方图，对所述均衡直方图进行中心化和缩放操作得到所述标准化直方图，对所述标准化直方图按照预设的卷积核进行卷积得到所述图像空间特征，对所述图像空间特征进行池化操作得到特征向量组；
33、行为表情评价模型模块，用于对所述特征向量组和预构建的行为特征集和表情特征集进行相似度计算得到行为分析结果和表情分析结果，根据所述行为分析结果和所述表情分析结果对所述镜头拆分视频进行评分；
34、结果输出模块，用于将所述镜头拆分模块和所述评分计算模块得到的结果进行整合得到所述会议视频的摘要目录和观众专注度评分。
35、本专利技术的有益效果为：
36、通过对会议视频进行镜头拆分、行为识别和表情识别，并将拆分镜头、行为识别和表情识别的结果相关联，实现了自动化地生成会议视频的内容摘要并分析互动情况，提高了会议的开展效果。
本文档来自技高网...【技术保护点】
1.一种基于视频的学术会议内容分析方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述S1的具体实现方法包括：
3.根据权利要求1所述的方法，其特征在于，所述S2中的像素颜色相似度的计算公式为：其中hi和hi+1为相邻帧，hi(b)和hi+1(b)为所述相邻帧的直方图，得到所述会议视频的帧间颜色变化特征。
4.根据权利要求1所述的方法，其特征在于，所述S3的具体实现方法包括：
5.根据权利要求1所述的方法，其特征在于，所述S4的具体实现方法包括：
6.根据权利要求1所述的方法，其特征在于，所述S5中的强度映射的方法具体包括：
7.根据权利要求1所述的方法，其特征在于，所述S6的具体操作步骤为：
8.根据权利要求7所述的方法，其特征在于，所述行为模型包括站立模型、举手模型、手持拍照设备模型，所述表情模型包括：平视模型、低头模型、笑容模型，根据所述行为模型和所述表情模型的类别对所述镜头拆分视频进行评分，得到所述观众专注度评分。
9.一种基于视频的学术会议内容分析
...【技术特征摘要】
1.一种基于视频的学术会议内容分析方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述s1的具体实现方法包括：
3.根据权利要求1所述的方法，其特征在于，所述s2中的像素颜色相似度的计算公式为：其中hi和hi+1为相邻帧，hi(b)和hi+1(b)为所述相邻帧的直方图，得到所述会议视频的帧间颜色变化特征。
4.根据权利要求1所述的方法，其特征在于，所述s3的具体实现方法包括：
5.根据权利要求1所述的方法，其特征在于，所述s4的具体实现方法包括：
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。