【技术实现步骤摘要】
本专利技术涉及图像内容识别，特别是一种视频和图像内容识别抓取方法。
技术介绍
1、当前的视频与图像内容识别方法大多从视频流中连续抓取画面进行图像内容分析，以此来识别关键目标；这类方法依赖于卷积神经网络cnn、关键帧提取以及固定分辨率采样等技术，在处理静态场景和单一目标识别时表现较为出色，而在多目标、动态场景下效果不佳。
2、具体而言，传统方案会对整帧图像进行统一的高分辨率处理，即使只有少数区域包含关键信息，也会对整个图像进行全局分析，不仅浪费大量计算资源，而且在画面中背景和静态区域占据较大比例时，全局性分析会导致计算能力的浪费，降低处理效率和实时响应能力。
3、为了解决上述问题，部分方案在帧级处理的基础上加入关键帧提取技术，只采样关键帧来减少数据量，提升整体处理速度，此外，部分方案还采用基于cnn的局部特征检测技术，对特定区域，如人脸或目标物体进行预定义，从而在大范围图像中自动捕捉目标，然而这类方案大多依赖预设特征模板或固定分辨率进行处理，缺乏自适应能力，在多目标或复杂动态场景下难以有效捕捉关键目标，因此亟需一种视频和图像内容识别抓取方法来解决此类问题。
技术实现思路
1、鉴于上述现有存在的问题，提出了本专利技术。
2、本专利技术提供了一种视频和图像内容识别抓取方法解决传统抓取方案采用的固定分辨率处理方式在多目标场景下缺乏灵活性，无法根据目标细节需求动态调整分辨率，其次传统局部检测方案依赖于预定义区域，对复杂背景和多目标的场景无法进行有效的特征分
3、为解决上述技术问题，本专利技术提供如下技术方案：
4、本专利技术提供了一种视频和图像内容识别抓取方法，其包括，
5、步骤s1，分区与优先级评估，
6、对每一帧视频或图像进行初步扫描和分区，采用mobilenet特征检测模型评估各区域的特征密度、运动状态和内容复杂度；
7、步骤s2，多尺度特征提取，
8、对步骤s1评估出的高优先级区域进行深层特征提取，动态调整各分区的分辨率并结合多尺度特征：
9、根据区域优先级，动态调整每个分区的分辨率，高优先级区域以较高分辨率处理，而中低优先级区域则降低分辨率，从而提升计算效率；
10、并对不同分辨率的特征进行融合，保障在高优先级区域捕捉到更多细节，提升识别的准确性；
11、步骤s3，关键目标细分，
12、针对高优先级区域，对关键目标，即运动和突出物体进行细分与密集提取：
13、对高优先级区域内的关键目标进行二次分区，识别出包含关键信息的密集子区域，即关键目标的边缘、动态变化区域；
14、在密集子区域中，结合双向金字塔注意力bifpn机制对关键目标的动态变化和小尺度细节进行深度捕捉；
15、步骤s4，多分辨率数据动态汇总，
16、对所有抓取的数据进行统一汇总和动态调整。
17、进一步的，步骤s1中，各区域的评估流程包括：
18、检测每个分区的关键特征和运动趋势，筛选出信息密集的区域，关键特征包括物体的边缘、纹理、颜色变化；
19、根据特征密度和运动状态，将各区域分为高、中、低三个优先级。
20、进一步的，步骤s1中，进行初步扫描、分区与特征密度评估：
21、对每帧图像进行分区，并采用mobilenet提取每个区域的特征向量，量化特征密度、运动状态和内容复杂度，设输入图像大小为h×w，划分为n×m的小网格，每个网格大小为h×w，则分区数为k＝n×m；
22、对每个区域ri,j，此处i,j为分区的行列索引，提取特征向量：
23、fi,j＝mobilenet(ri,j)，其中，fi,j表示区域ri,j的特征向量，用于计算特征密度与运动状态，ri,j表示分区索引(i,j)处的区域，mobilenet表示特征检测模型的特征向量过程；
24、计算区域内特征密度，定义特征密度为特征向量fi,j的均方根值：
25、其中，di,j为区域ri,j的特征密度，表示该区域的信息复杂度，fi,j,k为特征向量fi,j中第k个特征分量，n表示fi,j的特征维度。
26、进一步的，步骤s1中，进行初步扫描、分区与特征密度评估的方式还包括：
27、对连续两帧图像中相应区域的特征向量进行差分，评估运动趋势，定义区域ri,j的运动状态为帧间特征向量差异的均方值：
28、其中，mi,j为区域ri,j的运动状态，反映该区域在两帧间的变化幅度，和分别表示第t帧和第t-1帧中区域ri,j的第k个特征分量；
29、基于特征密度di,j和运动状态mi,j，为每个区域分配优先级，设定阈值区分高、中、低优先级：
30、若di,j>dth且mi,j>mth，则pi,j＝高，
31、若或则pi,j＝中，
32、其他情况则pi,j＝低，其中，pi,j为区域ri,j的优先级，dth为特征密度的高低区分阈值，mth为运动状态的高低区分阈值；对每帧进行初步扫描，计算特征密度和运动状态，基于阈值进行判断，自动划分出高、中、低优先级区域。
33、进一步的，步骤s2中，对高优先级区域进行深层特征提取与多尺度分辨率融合，具体的：
34、根据每个高优先级区域的特征密度di,j和运动状态mi,j，动态分配不同分辨率，假设原始图像分辨率为rorig，则高优先级区域ri,j的调整分辨率定义为：
35、其中，为高优先级区域ri,j的动态调整后分辨率，rorig为原始图像的分辨率，α和β为控制权重，用于平衡特征密度和运动状态的影响，dmax和mmax为当前帧所有高优先级区域中的特征密度和运动状态最大值，用于归一化；
36、对每个调整后的高优先级区域在不同尺度上提取特征，设特征尺度为s的集合{s1,s2,…,sn}，则在每个尺度sk下的特征表示为：
37、其中，表示区域ri,j在尺度sk下的特征向量，featureextract为特征提取函数，采用卷积操作在特定尺度上提取区域特征。
38、进一步的，步骤s2中，在多尺度特征提取后，对不同尺度的特征进行加权融合，定义高优先级区域ri,j的融合特征向量为：
39、其中，为高优先级区域的最终融合特征，wk为尺度sk的权重，基于每个尺度的特征响应强度自适应确定，wk为权重，由每个尺度特征的响应强度rk确定：
40、且，其中，rk为尺度sk的特征响应强度，|ri,j|为区域ri,j的像素总数，为区域内像素x在尺度sk下的特征值。
41、进一步的，步骤s3中，在高优先级区域内进行关键目标细分与bifpn密集特征提取：
42、在高优先级区域内，对关键目标进行二次分区，聚焦特征密集区域，设高优先级区域ri,j包含关键目标ti,j，则本文档来自技高网...
【技术保护点】
1.一种视频和图像内容识别抓取方法，其特征在于：包括，
2.根据权利要求1所述的一种视频和图像内容识别抓取方法，其特征在于，步骤S1中，各区域的评估流程包括：
3.根据权利要求2所述的一种视频和图像内容识别抓取方法，其特征在于，步骤S1中，进行初步扫描、分区与特征密度评估：
4.根据权利要求3所述的一种视频和图像内容识别抓取方法，其特征在于，步骤S1中，进行初步扫描、分区与特征密度评估的方式还包括：
5.根据权利要求4所述的一种视频和图像内容识别抓取方法，其特征在于，步骤S2中，对高优先级区域进行深层特征提取与多尺度分辨率融合，具体的：
6.根据权利要求5所述的一种视频和图像内容识别抓取方法，其特征在于，步骤S2中，在多尺度特征提取后，对不同尺度的特征进行加权融合，定义高优先级区域Ri,j的融合特征向量为：
7.根据权利要求6所述的一种视频和图像内容识别抓取方法，其特征在于，步骤S3中，在高优先级区域内进行关键目标细分与BiFPN密集特征提取：
8.根据权利要求7所述的一种视频和图像内容识别抓取方
9.根据权利要求8所述的一种视频和图像内容识别抓取方法，其特征在于，步骤S4中，统一汇总和动态调整方式为：
10.根据权利要求9所述的一种视频和图像内容识别抓取方法，其特征在于，步骤S4中，进行不同优先级区域的特征整合：
...【技术特征摘要】
1.一种视频和图像内容识别抓取方法，其特征在于：包括，
2.根据权利要求1所述的一种视频和图像内容识别抓取方法，其特征在于，步骤s1中，各区域的评估流程包括：
3.根据权利要求2所述的一种视频和图像内容识别抓取方法，其特征在于，步骤s1中，进行初步扫描、分区与特征密度评估：
4.根据权利要求3所述的一种视频和图像内容识别抓取方法，其特征在于，步骤s1中，进行初步扫描、分区与特征密度评估的方式还包括：
5.根据权利要求4所述的一种视频和图像内容识别抓取方法，其特征在于，步骤s2中，对高优先级区域进行深层特征提取与多尺度分辨率融合，具体的：
6.根据权利要求5所述的一种视频和图像内容识别抓取方法，其...
【专利技术属性】
技术研发人员：王克，王金增，王会娟，
申请(专利权)人：联合智慧技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。