一种基于混合特征多模态分析的视频采集参数优化方法技术

本发明专利技术涉及图像通信技术领域，具体涉及一种基于混合特征多模态分析的视频采集参数优化方法，包括：根据每个时间段内每个GoP的I帧图像和P帧图像获得每个时间段的扰动程度集合，根据扰动程度集合和工序编码获得综合特征码，根据综合特征码获得场景类型以及获得宏块树区域，获得各宏块树区域的检测权重以及各宏块区域的代表亮度值并进一步获得当前GoP中每个宏块树区域的最终检测权重，根据最终检测权重获得每个宏块树区域的最终QP，根据每个宏块树区域的最终QP对视频进行编码，实现图像通信。本发明专利技术解决了有限码率下优先保证目标检测结果的性能的问题，克服了传图像通信中统码率控制无法自动根据场景为目标检测网络分配分宏块QP的问题。宏块QP的问题。宏块QP的问题。

【技术实现步骤摘要】
一种基于混合特征多模态分析的视频采集参数优化方法


[0001]本专利技术涉及图像通信
，具体涉及一种基于混合特征多模态分析的视频采集参数优化方法。

技术介绍

[0002]在图像通信
中，通常需要对待传输的视频流数据进行编码压缩，当需要对压缩后的视频流数据执行目标检测等任务时，不合理的视频压缩会影响YOLO等目标检测器的性能，尤其在煤矿采煤工作面、煤矿掘进工作面等煤矿井下关键地点等光照不是非常理想的区域，暗部特征可能被过度压缩，从而影响目标检测的准确度。
[0003]针对ROI进行编码的区域的码率分配可以缓解或杜绝上述问题，然而，对于掘进工作面等需要临时挂设拍摄的相机而言，由于设定合理的ROI以及目标码率是一种十分抽象，难以培训操作人员设定合理参数的任务。因此需要一种基于混合特征多模态分析的视频采集参数优化方法，来来解决对图像通信过程中视频流编码压缩后影响目标检测器的性能的问题。

技术实现思路

[0004]本专利技术提供一种基于混合特征多模态分析的视频采集参数优化方法，以解决现有的问题。
[0005]本专利技术的一种基于混合特征多模态分析的视频采集参数优化方法采用如下技术方案：本专利技术一个实施例提供了一种基于混合特征多模态分析的视频采集参数优化方法，该方法包括以下步骤：根据每个时间段内每个GoP的I帧图像和P帧图像利用背景建模方法获得第一背景张量集合和第二背景张量集合；根据第一背景张量集合和第二背景张量集合获得每个时间段的扰动程度集合；对每个时间段的所有工序进行编码获得每个时间段的工序编码，对每个时间段的工序编码以及扰动程度集合进行降维得到每个时间段的综合特征码，对所有时间段的综合特征码进行聚类获得所有场景类型，根据所有场景类型所包含时间段内的所有I帧图像中目标的包围框获得最终遮罩图像，根据最终遮罩图像构建宏块树，根据宏块树获得所有宏块树区域；根据每个时间段内各帧图像上目标包围框覆盖每个宏块树区域的次数获得每个时间段各宏块树区域的检测权重，根据每个时间段内所有I帧图像在每个宏块树区域内的亮度均值获得每个时间段各宏块区域的代表亮度值；根据每个时间段的每个宏块树区域的检测权重以及每个宏块树区域的代表亮度值训练第一神经网络以及每个场景类型的权重识别网络；根据当前GoP和前一个GoP的I帧图像在每个宏块树区域内的亮度均值、第一神经网络以及权重识别网络获得当前GoP中每个宏块树区域的最终检测权重；
获取P帧图像平均QP值，初始化最大QP值和最小QP值，根据最大QP值和最小QP值以及当前GoP中每个宏块树区域的最终检测权重获得每个宏块树区域的QP值，计算所有宏块树区域的QP值的均值，记为的值；根据值与P帧图像平均QP值对最大QP值和最小QP值进行更新操作，获得每个宏块树区域的最终QP，根据每个宏块树区域的最终QP对视频进行编码，实现图像通信。
[0006]优选的，所述根据每个时间段内每个GoP的I帧图像和P帧图像利用背景建模方法获得第一背景张量集合和第二背景张量集合，包括的具体步骤如下：将每个时间段内每个GoP的I帧图像和P帧图像分别输入到目标检测网络中，目标检测网络所有卷积层输出的张量构成的集合分别记为I帧图像的特征张量集合和P帧图像的特征张量集合；分别将每个时间段内所有I帧图像的特征张量集合中具有相同序号的张量构成第一张量序列，将第一张量序列输入到背景建模算法中得到第一背景张量，所有第一背景张量构成的集合记为第一背景张量集合；分别将每个时间段内所有P帧图像的特征张量集合中具有相同序号的张量构成第二张量序列，将第二张量序列输入到背景建模算法中得到第二背景张量，所有第二背景张量构成的集合记为第二背景张量集合。
[0007]优选的，所述根据第一背景张量集合和第二背景张量集合获得每个时间段的扰动程度集合，包括的具体步骤如下：对于每个时间段，将第一背景张量集合和第二背景张量集合中的每两个元素的差异记为每个差异张量，每个差异张量逐通道取最大值得到的每个差异张量中所有最大值构成每个扰动程度，所有扰动程度构成的集合记为每个时间段的扰动程度集合。
[0008]优选的，所述对每个时间段的所有工序进行编码获得每个时间段的工序编码，包括的具体步骤如下：为每个工序对应一个比特值，将每个时间段包含的工序对应的比特值设置为1，不包含的工序对应的比特值设置为0，将每个时间段所有工序对应的比特值构成的编码记为每个时间段的工序编码。
[0009]优选的，所述根据所有场景类型所包含时间段内的所有I帧图像中目标的包围框获得最终遮罩图像，包括的具体步骤如下：每个场景类型包含的时间段内的所有视频帧依次输入到目标检测网络中得到若干包围框，每个包围框构成一个目标遮罩图，所述若干包围框对应的目标遮罩图进行叠加后进行二值化处理得到每个场景类型的场景遮罩图像，所有场景类型的场景遮罩图像进行或运算得到最终遮罩图像。
[0010]优选的，所述根据每个时间段内各帧图像上目标包围框覆盖每个宏块树区域的次数获得每个时间段各宏块树区域的检测权重，包括的具体步骤如下：所有宏块树区域从0开始计数，每个时间段内的视频流中每一帧依次输入到目标检测网络中得到的每一帧的包围框，当一帧的包围框结果覆盖了若干个宏块树区域时，被覆盖的宏块树区域计数自加1，所有宏块树区域的计数进行归一化处理后的结果作为每个时间段各宏块树区域的检测权重。
[0011]优选的，所述根据当前GoP和前一个GoP的I帧图像在每个宏块树区域内的亮度均
值、第一神经网络以及权重识别网络获得当前GoP中每个宏块树区域的最终检测权重，包括的具体步骤如下：分别计算当前GoP中I帧图像上所有宏块树区域的亮度均值，记为第一均值；将第一均值输入第一神经网络中，输出的场景类型记为第一场景类型，将第一均值输入到第一场景类型的权重识别网络中，输出当前GoP所有宏块树区域的检测权重；获得当前GoP的前一个GoP的I帧图像上所有宏块树区域的亮度均值，记为第二均值，将第二均值输入到第一神经网络中，输出的场景类型记为第二场景类型，将第二均值输入到第二场景类型的权重识别网络中得到前一个GoP所有宏块树区域的检测权重；当前GoP每个宏块树区域的检测权重和前一个GoP每个宏块树区域的检测权重中选取出最大值，所有宏块树区域对应得到的最大值作为当前GoP所有宏块树区域的最终检测权重。
[0012]优选的，所述根据最大QP值和最小QP值以及当前GoP中每个宏块树区域的最终检测权重获得每个宏块树区域的QP值，包括的具体步骤如下：其中为当前GoP中第i个宏块树区域的QP值，为最小QP值，为最大QP值，为第i个宏块树区域的最终检测权重。
[0013]优选的，所述根据值与P帧图像平均QP值对最大QP值和最小QP值进行更新操作，获得每个宏块树区域的最终QP，包括的具体步骤如下：如果值小于GoP的P帧图像平均QP值，则令最大QP值自减1，重新计算各个宏块树区域的QP以及值；如果值大于等于GoP的P帧图像平均QP值，则令最小QP值自加1，重新计算各个宏块树区域的QP以及值；当调整最大QP值和最小QP值的数值前后，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于混合特征多模态分析的视频采集参数优化方法，其特征在于，该方法包括以下步骤：根据每个时间段内每个GoP的I帧图像和P帧图像利用背景建模方法获得第一背景张量集合和第二背景张量集合；根据第一背景张量集合和第二背景张量集合获得每个时间段的扰动程度集合；对每个时间段的所有工序进行编码获得每个时间段的工序编码，对每个时间段的工序编码以及扰动程度集合进行降维得到每个时间段的综合特征码，对所有时间段的综合特征码进行聚类获得所有场景类型，根据所有场景类型所包含时间段内的所有I帧图像中目标的包围框获得最终遮罩图像，根据最终遮罩图像构建宏块树，根据宏块树获得所有宏块树区域；根据每个时间段内各帧图像上目标包围框覆盖每个宏块树区域的次数获得每个时间段各宏块树区域的检测权重，根据每个时间段内所有I帧图像在每个宏块树区域内的亮度均值获得每个时间段各宏块区域的代表亮度值；根据每个时间段的每个宏块树区域的检测权重以及每个宏块树区域的代表亮度值训练第一神经网络以及每个场景类型的权重识别网络；根据当前GoP和前一个GoP的I帧图像在每个宏块树区域内的亮度均值、第一神经网络以及权重识别网络获得当前GoP中每个宏块树区域的最终检测权重；获取P帧图像平均QP值，初始化最大QP值和最小QP值，根据最大QP值和最小QP值以及当前GoP中每个宏块树区域的最终检测权重获得每个宏块树区域的QP值，计算所有宏块树区域的QP值的均值，记为的值；根据值与P帧图像平均QP值对最大QP值和最小QP值进行更新操作，获得每个宏块树区域的最终QP，根据每个宏块树区域的最终QP对视频进行编码，实现图像通信。2.根据权利要求1所述的一种基于混合特征多模态分析的视频采集参数优化方法，其特征在于，所述根据每个时间段内每个GoP的I帧图像和P帧图像利用背景建模方法获得第一背景张量集合和第二背景张量集合，包括的具体步骤如下：将每个时间段内每个GoP的I帧图像和P帧图像分别输入到目标检测网络中，目标检测网络所有卷积层输出的张量构成的集合分别记为I帧图像的特征张量集合和P帧图像的特征张量集合；分别将每个时间段内所有I帧图像的特征张量集合中具有相同序号的张量构成第一张量序列，将第一张量序列输入到背景建模算法中得到第一背景张量，所有第一背景张量构成的集合记为第一背景张量集合；分别将每个时间段内所有P帧图像的特征张量集合中具有相同序号的张量构成第二张量序列，将第二张量序列输入到背景建模算法中得到第二背景张量，所有第二背景张量构成的集合记为第二背景张量集合。3.根据权利要求1所述的一种基于混合特征多模态分析的视频采集参数优化方法，其特征在于，所述根据第一背景张量集合和第二背景张量集合获得每个时间段的扰动程度集合，包括的具体步骤如下：对于每个时间段，将第一背景张量集合和第二背景张量集合中的每两个元素的差异记为每个差异张量，每个差异张量逐通道取最大值得到的每个差异张量中所有最大值构成每个扰动程度，所有扰动程度构成的集合记为每个时间段的扰动程度集合。
4.根据权利要求1所述的一种基于混合特征多模态分析的视频采集参数优化方法，其特征在于，所述对每个时间段的所有工序进行编码获得每个时间段的工序编码，包括的具体步骤如下：为每个工序对应一个比特值，将每个时间段包含的工序对应的比特值设置为1，不包含的工序对应的比特值设置为0，将每个时间段所有工序对应的比特值构成的编码记为每个时间段的工序编码。5.根据权利要求1所述的一...

【专利技术属性】
技术研发人员：顾军，康亚飞，张恩明，赵金升，
申请(专利权)人：华洋通信科技股份有限公司，
类型：发明
国别省市：