基于场景分割的视频数据实时处理方法、装置及计算设备制造方法及图纸

本发明专利技术公开了一种基于场景分割的视频数据实时处理方法、装置、计算设备及计算机存储介质，其中，该方法包括：实时获取图像采集设备所拍摄和/或所录制的视频中包含特定对象的当前帧图像；或者，实时获取当前所播放的视频中包含特定对象的当前帧图像；将当前帧图像输入至场景分割网络中，得到与当前帧图像对应的场景分割结果；根据场景分割结果，确定特定对象的轮廓信息；依据特定对象的轮廓信息，添加个性化特效，得到帧处理图像；将帧处理图像覆盖当前帧图像得到处理后的视频数据；显示处理后的视频数据。该技术方案能够实时、准确地得到帧图像对应的场景分割结果，基于场景分割结果能够更为精准地对帧图像添加个性化特效。

Video data real-time processing method, device and computing device based on scene segmentation

The invention discloses a scene segmentation based on real-time video data processing method, device, computing device and computer storage medium, wherein, the method comprises: acquiring real-time image acquisition equipment taken and / or recorded video contains a specific object in current frame image; or, real-time access to the current frame image the video contains a specific object; the current image input to the scene segmentation in the network, and get the results corresponding to the current frame image segmentation; segmentation results according to the scene, to determine the specific object profile information; based on the contour information of specific objects, add personalized effects, get the frame image processing; image processing and video coverage the data of current frame image processing of the video frame; after data processing. The technology scheme can get the corresponding scene segmentation results in real time and accurately. The scene segmentation results can add personalized effects to the frame images more accurately.

【技术实现步骤摘要】
基于场景分割的视频数据实时处理方法、装置及计算设备
本专利技术涉及图像处理
，具体涉及一种基于场景分割的视频数据实时处理方法、装置、计算设备及计算机存储介质。
技术介绍
在现有技术中，图像场景分割处理方法主要是基于深度学习中的全卷积神经网络，这些处理方法利用迁移学习的思想，将在大规模分类数据集上经过预训练得到的网络迁移到图像分割数据集上进行训练，从而得到用于场景分割的分割网络，然后利用该分割网络对图像进行场景分割。现有技术中得到的分割网络所使用的网络架构直接利用了图像分类网络，其卷积层中卷积块的大小是固定不变的，从而感受野的大小是固定不变的，其中，感受野是指输出特征图某个节点的响应对应的输入图像的区域，大小固定的感受野只适于捕捉固定大小和尺度的目标。然而对于图像场景分割，场景中经常会包含不同大小的目标，利用具有大小固定的感受野的分割网络在处理过大和过小的目标时常常会发生问题，例如，对于较小的目标，感受野会捕捉过多的目标周围的背景，从而将目标与背景混淆，导致目标遗漏并被错判为背景；对于较大的目标，感受野仅仅能捕捉目标的一部分，使得目标类别判断出现偏差，导致不连续的分割结果。因此，本文档来自技高网...

【技术保护点】
一种基于场景分割的视频数据实时处理方法，所述方法基于经过训练的场景分割网络而执行，所述方法包括：实时获取图像采集设备所拍摄和/或所录制的视频中包含特定对象的当前帧图像；或者，实时获取当前所播放的视频中包含特定对象的当前帧图像；将所述当前帧图像输入至所述场景分割网络中，其中，在场景分割网络中至少一层卷积层，利用尺度回归层输出的尺度系数对该卷积层的第一卷积块进行缩放处理，得到第二卷积块，而后利用所述第二卷积块进行该卷积层的卷积运算，获得该卷积层的输出结果；所述尺度回归层为所述场景分割网络的中间卷积层；得到与当前帧图像对应的场景分割结果；根据与当前帧图像对应的场景分割结果，确定所述特定对象的轮廓信息...

【技术特征摘要】
1.一种基于场景分割的视频数据实时处理方法，所述方法基于经过训练的场景分割网络而执行，所述方法包括：实时获取图像采集设备所拍摄和/或所录制的视频中包含特定对象的当前帧图像；或者，实时获取当前所播放的视频中包含特定对象的当前帧图像；将所述当前帧图像输入至所述场景分割网络中，其中，在场景分割网络中至少一层卷积层，利用尺度回归层输出的尺度系数对该卷积层的第一卷积块进行缩放处理，得到第二卷积块，而后利用所述第二卷积块进行该卷积层的卷积运算，获得该卷积层的输出结果；所述尺度回归层为所述场景分割网络的中间卷积层；得到与当前帧图像对应的场景分割结果；根据与当前帧图像对应的场景分割结果，确定所述特定对象的轮廓信息；依据所述特定对象的轮廓信息，添加个性化特效，得到帧处理图像；将帧处理图像覆盖所述当前帧图像得到处理后的视频数据；显示处理后的视频数据。2.根据权利要求1所述的方法，其中，所述利用所述第二卷积块进行该卷积层的卷积运算，获得该卷积层的输出结果进一步包括：利用线性插值方法，从所述第二卷积块中采样得到特征向量，组成第三卷积块；依据所述第三卷积块与该卷积层的卷积核进行卷积运算，获得该卷积层的输出结果。3.根据权利要求1或2所述的方法，其中，所述场景分割网络训练所用的样本包含：样本库存储的多个样本图像以及与样本图像对应的标注场景分割结果。4.根据权利要求1-3任一项所述的方法，其中，所述场景分割网络的训练过程通过多次迭代完成；在一次迭代过程中，从所述样本库中提取样本图像以及与样本图像对应的标注场景分割结果，利用所述样本图像和所述标注场景分割结果实现场景分割网络的训练。5.根据权利要求1-4任一项所述的方法，其中，所述场景分割网络的训练过程通过多次迭代完成；其中一次迭代过程包括：将样本图像输入至场景分割网络，得到与样本图像对应的样本场景分割结果；根据所述样本场景分割结果与所述标注场景分割结果之间的分割损失，得到场景分割网络损失函数，利用所述场景分割网络损失函数实现场景分割网络的训练。6.根据权利要求1-5任一项所述的方法，其中，所述场景分割网络的训练步骤包括：从所述样本库中提取样本图像以及与样本图像对应的标注场景分割结果；将所述样本图像输入至所述场景分割网络中进行训练，其...

【专利技术属性】
技术研发人员：张蕊，颜水成，唐胜，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京,11