播放区域检测方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例公开了一种播放区域检测方法、装置、电子设备及存储介质，通过对视频帧图片进行播放区域检测，得到视频帧图片中播放区域的第一检测框，将待检测视频拆分成多个视频片段，对视频片段中的多个第一检测框进行合并，得到视频片段的第二检测框；接着，通过根据多个第二检测框确定参考检测框，确定第二检测框与参考检测框之间的第一差异信息，根据第一差异信息，基于第二检测框确定视频片段的目标检测框，即便待检测视频的播放区域的尺寸发生变化，也可以使得目标检测框灵活地适配不同尺寸的视频片段，从而提升对尺寸变化视频进行播放区域检测的准确性，可广泛应用于人工智能、云技术、视频处理等技术领域。视频处理等技术领域。视频处理等技术领域。

【技术实现步骤摘要】
播放区域检测方法、装置、电子设备及存储介质


[0001]本申请涉及计算机
，特别是涉及一种播放区域检测方法、装置、电子设备及存储介质。

技术介绍

[0002]播放区域检测是视频处理中一种重要的分析手段，可以用于视频抠图、播放进度识别、帧率调节等场景。相关技术中，一般基于某个视频帧来对视频进行播放区域检测，然而，当待检测视频的播放区域的尺寸发生变化时，单个视频帧的播放区域检测结果体现在视频中会出现抖动的问题，无法进行有效的播放区域检测，从而降低了对尺寸变化视频进行播放区域检测的准确性。

技术实现思路

[0003]以下是对本申请详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
[0004]本申请实施例提供了一种播放区域检测方法、装置、电子设备及存储介质，提升对尺寸变化视频进行播放区域检测的准确性。
[0005]一方面，本申请实施例提供了一种播放区域检测方法，包括：
[0006]获取待检测视频，对所述待检测视频进行分帧处理，得到多个视频帧图片；
[0007]对所述视频帧图片进行播放区域检测，得到所述视频帧图片中播放区域的第一检测框；
[0008]将所述待检测视频拆分成多个视频片段，对所述视频片段中的多个所述第一检测框进行合并，得到所述视频片段的第二检测框；
[0009]根据多个所述第二检测框确定参考检测框，确定所述第二检测框与所述参考检测框之间的第一差异信息，根据所述第一差异信息，基于所述第二检测框确定所述视频片段的目标检测框，将各个所述视频片段的所述目标检测框作为所述待检测视频的播放区域检测结果。
[0010]另一方面，本申请实施例还提供了一种播放区域检测装置，包括：
[0011]视频获取模块，用于获取待检测视频，对所述待检测视频进行分帧处理，得到多个视频帧图片；
[0012]第一检测模块，用于对所述视频帧图片进行播放区域检测，得到所述视频帧图片中播放区域的第一检测框；
[0013]第二检测模块，用于将所述待检测视频拆分成多个视频片段，对所述视频片段中的多个所述第一检测框进行合并，得到所述视频片段的第二检测框；
[0014]第三检测模块，用于根据多个所述第二检测框确定参考检测框，确定所述第二检测框与所述参考检测框之间的第一差异信息，根据所述第一差异信息，基于所述第二检测框确定所述视频片段的目标检测框，将各个所述视频片段的所述目标检测框作为所述待检
测视频的播放区域检测结果。
[0015]进一步，上述第二检测模块具体用于：
[0016]获取所述视频片段中各个所述第一检测框的第一位置信息；
[0017]根据所述第一位置信息，确定在播放时序上相邻的两个所述第一检测框之间的第二差异信息，根据所述第二差异信息对所述视频片段中的多个所述第一检测框进行合并，得到所述视频片段的第二检测框。
[0018]进一步，上述第二检测模块具体用于：
[0019]当所述第二差异信息大于或者等于第一阈值时，根据所述第一位置信息确定用于覆盖多个所述第一检测框的第三检测框，将所述第三检测框作为所述视频片段的第二检测框；
[0020]或者，当所述第二差异信息小于第一阈值时，确定多个所述第一位置信息的第一均值，根据所述第一均值确定第四检测框，将所述第四检测框作为所述视频片段的第二检测框。
[0021]进一步，上述第二检测模块具体用于：
[0022]获取各个所述第一检测框的置信度，将所述置信度小于或者等于第二阈值的所述第一检测框作为异常检测框，将所述异常检测框替换为所述置信度大于或者等于第三阈值，且与所述异常检测框相邻的所述第一检测框，根据替换所述异常检测框后的所述第一位置信息，确定在播放时序上相邻的两个所述第一检测框之间的第二差异信息；
[0023]或者，确定多个所述第一位置信息的第一均值和众数，根据所述第一均值确定第四检测框，根据所述众数确定第五检测框，将与所述第四检测框之间的距离大于或者等于第四阈值的所述第一检测框作为异常检测框，将所述异常检测框替换为所述第五检测框，根据替换所述异常检测框后的所述第一位置信息，确定在播放时序上相邻的两个所述第一检测框之间的第二差异信息。
[0024]进一步，上述第三检测模块具体用于：
[0025]当所述第一差异信息小于或者等于第五阈值时，将对应的所述视频片段作为尺寸稳定片段，获取所述尺寸稳定片段的所述第二检测框的第二位置信息，确定多个所述第二位置信息的第三均值，根据所述第三均值得到所述尺寸稳定片段的目标检测框；
[0026]或者，当所述第一差异信息大于第五阈值时，将对应的所述视频片段作为尺寸变化片段，将所述尺寸变化片段对应的所述第二检测框作为所述尺寸变化片段的目标检测框。
[0027]进一步，上述第一检测模块具体用于：
[0028]将所述视频帧图片输入至预先训练好的检测网络；
[0029]对所述视频帧图片进行降采样处理，依次得到浅层特征、中层特征和高层特征；
[0030]将所述高层特征与所述中层特征融合得到第一特征，将所述第一特征与所述浅层特征融合得到第二特征，将所述第二特征与所述第一特征融合得到第三特征，将所述第三特征与所述高层特征融合得到第四特征；
[0031]对所述第二特征、所述第三特征和所述第四特征进行映射，得到所述视频帧图片中播放区域的第一检测框。
[0032]进一步，上述第一检测模块具体用于：
[0033]对所述视频帧图片进行缩小处理，得到缩小图片；
[0034]对所述缩小图片进行格式转化处理，得到彩色图片；
[0035]将所述彩色图片转化成图片张量，对所述图片张量进行正则化处理，将正则化处理后的所述图片张量输入至预先训练好的检测网络。
[0036]进一步，上述第一检测模块还用于：
[0037]获取样本帧图片，其中，所述样本帧图片标注有播放区域的类别标签和检测框标签；
[0038]基于所述检测网络对所述样本帧图片进行播放区域检测，得到所述样本帧图片中播放区域的样本检测框，以及所述样本检测框的样本置信度和样本类别；
[0039]根据所述样本检测框与所述检测框标签确定第一损失，根据所述样本置信度确定第二损失，根据所述样本类别与所述类别标签确定第三损失；
[0040]根据所述第一损失、所述第二损失和所述第三损失训练所述检测网络。
[0041]进一步，上述第一检测模块具体用于：
[0042]获取原始帧图片，以所述原始帧图片至少一个方向的边缘作为起点，对所述原始帧图片进行扩展，得到样本帧图片；
[0043]或者，获取原始帧图片，在所述原始帧图片的边缘添加预设元素，得到样本帧图片；
[0044]或者，获取多个原始帧图片，将多个所述原始帧图片进行拼接，得到样本帧图片。
[0045]进一步，上述第二检测模块具体用于：
[0046]基于预先训练好的图片特征提取网络提取所述视频帧图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种播放区域检测方法，其特征在于，包括：获取待检测视频，对所述待检测视频进行分帧处理，得到多个视频帧图片；对所述视频帧图片进行播放区域检测，得到所述视频帧图片中播放区域的第一检测框；将所述待检测视频拆分成多个视频片段，对所述视频片段中的多个所述第一检测框进行合并，得到所述视频片段的第二检测框；根据多个所述第二检测框确定参考检测框，确定所述第二检测框与所述参考检测框之间的第一差异信息，根据所述第一差异信息，基于所述第二检测框确定所述视频片段的目标检测框，将各个所述视频片段的所述目标检测框作为所述待检测视频的播放区域检测结果。2.根据权利要求1所述的播放区域检测方法，其特征在于，所述对所述视频片段中的多个所述第一检测框进行合并，得到所述视频片段的第二检测框，包括：获取所述视频片段中各个所述第一检测框的第一位置信息；根据所述第一位置信息，确定在播放时序上相邻的两个所述第一检测框之间的第二差异信息，根据所述第二差异信息对所述视频片段中的多个所述第一检测框进行合并，得到所述视频片段的第二检测框。3.根据权利要求2所述的播放区域检测方法，其特征在于，所述根据所述第二差异信息对所述视频片段中的多个所述第一检测框进行合并，得到所述视频片段的第二检测框，包括：当所述第二差异信息大于或者等于第一阈值时，根据所述第一位置信息确定用于覆盖多个所述第一检测框的第三检测框，将所述第三检测框作为所述视频片段的第二检测框；或者，当所述第二差异信息小于第一阈值时，确定多个所述第一位置信息的第一均值，根据所述第一均值确定第四检测框，将所述第四检测框作为所述视频片段的第二检测框。4.根据权利要求2或3所述的播放区域检测方法，其特征在于，所述根据所述第一位置信息，确定在播放时序上相邻的两个所述第一检测框之间的第二差异信息，包括：获取各个所述第一检测框的置信度，将所述置信度小于或者等于第二阈值的所述第一检测框作为异常检测框，将所述异常检测框替换为所述置信度大于或者等于第三阈值，且与所述异常检测框相邻的所述第一检测框，根据替换所述异常检测框后的所述第一位置信息，确定在播放时序上相邻的两个所述第一检测框之间的第二差异信息；或者，确定多个所述第一位置信息的第一均值和众数，根据所述第一均值确定第四检测框，根据所述众数确定第五检测框，将与所述第四检测框之间的距离大于或者等于第四阈值的所述第一检测框作为异常检测框，将所述异常检测框替换为所述第五检测框，根据替换所述异常检测框后的所述第一位置信息，确定在播放时序上相邻的两个所述第一检测框之间的第二差异信息。5.根据权利要求1所述的播放区域检测方法，其特征在于，所述根据所述第一差异信息，基于所述第二检测框确定所述视频片段的目标检测框，包括：当所述第一差异信息小于或者等于第五阈值时，将对应的所述视频片段作为尺寸稳定片段，获取所述尺寸稳定片段的所述第二检测框的第二位置信息，确定多个所述第二位置信息的第三均值，根据所述第三均值得到所述尺寸稳定片段的目标检测框；
或者，当所述第一差异信息大于第五阈值时，将对应的所述视频片段作为尺寸变化片段，将所述尺寸变化片段对应的所述第二检测框作为所述尺寸变化片段的目标检测框。6.根据权利要求1所述的播放区域检测方法，其特征在于，所述对所述视频帧图片进行播放区域检测，得到所述视频帧图片中播放区域的第一检测框，包括：将所述视频帧图片输入至预先训练好的检测网络；对所述视频帧图片进行降采样处理，依次得到浅层特征、中层特征和高层特征；将所述高层特征与所述中层特征融合得到第一特征，将所述第一特征与所述浅层特征融合得到第二特征，将所述第二特征与所述第一特征融合得到第三特征，将所述第三特征与所述高层特征融合得到第四特征；对所述第二特征、所述第三特征和所述...

【专利技术属性】
技术研发人员：曹润东，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：