一种基于VR图像处理的焦点对象选取方法技术

本申请公开了一种基于VR图像处理的焦点对象选取方法，包括如下步骤：确定焦点对象；高清传输焦点对象并同步非高清传输背景图像。本申请达到了降低网络传输数据量，避免传输延迟并且满足客户观看视频为高清视频的技术效果。

【技术实现步骤摘要】
一种基于VR图像处理的焦点对象选取方法
本申请涉及VR图像传输
，尤其涉及一种基于VR图像处理的焦点对象选取方法。
技术介绍
当今对图像传输过程中对分辨率的要求越来越高，尤其是在VR图像传输领域，因为VR需要双目输出，所以在传输上就有双倍大小图像输出的需求。根据目前的可行性方案，如果发送端使用X264编码压缩然后在接收端使用h264解码可以实时传输压缩后的视频流数据，并能有效降低网络传输数据量。但是网路传输领域还是存在传输高清、特高清视频会导致延迟加重的情况和无法即时性观察的可能性，特别是这种4K或者8K的视频传输压力则更大。此外，相对应的视频编码领域压缩率越高则清晰度就越低，无法满足又能即时传输又能让客户观看高清视频的可能性，也无法满足VR的双目输出全景高清图的需求。
技术实现思路
本申请的目的在于提供一种基于VR图像处理的焦点对象选取方法，能够达到降低网络传输数据量，避免传输延迟并且满足客户观看视频为高清视频的技术效果。为达到上述目的，本申请提供一种基于VR图像处理的焦点对象选取方法，包括如下步骤：确定焦点对象；高清传输焦点对象并同步非高清传输背景图像。优选的，确定焦点对象的方法具体为：接收深度摄像头捕捉或拍摄的视频；获取视频中每一帧图像的图像信息和深度图像信息；利用R-CNN算法列出每一帧图像中的所有对象；对每个对象进行优先级排序，优先级高的作为焦点对象。优选的，根据每个对象与摄像头之间的最近距离进行优先级排序，最近距离越小的优先级越高。优选的，根据每个对象的类型进行优先级排序，类型至少包括人物、动物、物体，人物的优先级高于动物的优先级，动物的优先级高于物体的优先级。优选的，利用R-CNN算法列出图像中的所有对象的方法具体为：将每张图像生成多个候选区；对每个候选区，使用深度网络提取特征；将从每个候选区中提取的特征送入每一类的SVM分类器进行分类；确认候选区分类后，通过位置精修做进一步验证；通过深度信息对候选区进行分析，逐一给出具有成为焦点可能性的对象。优选的，生成候选区的方法具体为：将图像分割成多个小区域；查看各个小区域，合并符合合并类型的相邻小区域，重复直到整张图像合并成一个区域位置；输出从分割到合并完成过程中所有出现过的区域作为候选区。优选的，合并类型包括：第一类：颜色相近的小区域；第二类：纹理相近的小区域；第三类：合并后总面积小的小区域；第四类：合并后，总面积在其BBOX中所占比例大的小区域。优选的，合并符合合并类型的小区域的方法为第一类、第二类、第三类和第四类四种合并类型同时进行计算。优选的，合并小区域在多个颜色空间中进行，多个颜色空间至少包括RGB颜色空间、HSV颜色空间和Lab颜色空间。优选的，高清传输焦点对象并同步非高清传输背景图像的方法为：计算每个焦点对象的边界；计算所有焦点对象的平均深度值、第一边缘轮廓和第二边缘轮廓；根据第一边缘轮廓和第二边缘轮廓融合处理焦点对象和背景图像，并完成传输。本申请实现的有益效果如下：能够达到降低网络传输数据量，避免传输延迟并且满足客户观看视频为高清视频的技术效果。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。图1为基于VR图像处理的焦点对象选取方法一种实施例的流程图；图2为确定焦点对象的方法一种实施例的流程图；图3为利用R-CNN算法列出图像中的所有对象的方法一种实施例的流程图；图4为生成候选区的方法一种实施例的流程图；图5为高清传输焦点对象并同步非高清传输背景图像的方法一种实施例的流程图。具体实施方式下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，本专利技术提供一种基于VR图像处理的焦点对象选取方法，包括如下步骤：S110：确定焦点对象。进一步的，如图2所示，确定焦点对象的方法具体为：S210：接收深度摄像头捕捉或拍摄的视频。具体的，工作人员使用深度摄像头捕捉或拍摄的视频，并将该视频上传至电脑进行处理。其中，捕捉或拍摄的视频可以为4K视频，但不仅限于4K视频，还可以是低于4K的视频或者高于4K的视频，本实施例优选为4K视频，分辨率高。S220：获取视频中每一帧图像的彩色图像信息和深度图像信息。具体的，彩色图像信息为二维图像，深度图像信息为二维图像上每个像素对应的摄像头与真实物体点之间的距离，使用Kinect或RealScene等设备获取深度图像信息。S230：利用R-CNN算法列出每一帧图像中的所有对象。具体的，R-CNN算法是现有的深度学习算法，能识别的对象根据预先训练时参与的对象类型决定，比如针对性的训练人、猫、狗、鸡四类，则在计算对象列表时，只会给出上述四类对象。进一步的，如图3所示，利用R-CNN算法列出图像中的所有对象的方法具体为：S310：将每张图像生成多个候选区。具体的，候选区为1K～2K个。进一步的，如图4所示，生成候选区的方法具体为：S410：将图像分割成多个小区域。S420：查看各个小区域，合并符合合并类型的相邻小区域，重复直到整张图像合并成一个区域位置。具体的，合并类型有如下四种：第一类：颜色(颜色直方图)相近的小区块。具体的，第一类的范围为颜色空间范围。第二类：纹理(梯度直方图)相近的小区域。具体的，二类为梯度都相近的参与计算。第三类：合并后总面积小的小区域。保证合并操作的尺度较为均匀，避免一个大区域陆续“吃掉”其他小区域。具体的，根据1K～2K个候选区进行合并计算。设有区域a-b-c-d-e-f-g-h。优选的合并方式是：ab-cd-ef-gh->abcd-efgh->abcdefgh。第四类：合并后，总面积在其BBOX(BoundingBox，图像大小)中所占比例大的小区域。优选的，在本实施例的生成候选区的方法中，第一类、第二类、第三类和第四类需要同时被计算。合并后区域的形状规则，是根据算法自动合并与计算的。合并后的区域特征可以直接由子区域特征计算而来，速度较快。合并后的区域特征(包括颜色直方图、纹理直方图、面积和位置)可以直接由子区域的区域特征计算而来，速度较快。S430：输出从分割到合并完成过程中所有出现过的区域作为候选区。具体的，从分割到合并完成过程中所有出现过的区域是指包括分割出的所有小区域、小区域进行合并中的所有合并区域、以及合并完以后的区域。例如，设有区域a-b-c-d-e-f-g-h。优选的合并方式是：ab-cd-ef-gh->abcd-efgh->abcdefgh，则输出的候选区有区域a、区域b、区域c、区域d、区域e、区域f、区域g、区域h、区域ab、区域cd、区域ef、区域gh、区域abcd、区域efgh、区域abcdefgh。进一步的，为避免不遗漏候选区，上述操作在多个颜色空间中同时进行(RGB颜色空间、HSV颜色空间、Lab颜本文档来自技高网...

【技术保护点】
1.一种基于VR图像处理的焦点对象选取方法，其特征在于，包括如下步骤：确定焦点对象；高清传输焦点对象并同步非高清传输背景图像。

【技术特征摘要】
1.一种基于VR图像处理的焦点对象选取方法，其特征在于，包括如下步骤：确定焦点对象；高清传输焦点对象并同步非高清传输背景图像。2.根据权利要求1所述的焦点对象选取方法，其特征在于，确定焦点对象的方法具体为：接收深度摄像头捕捉或拍摄的视频；获取视频中每一帧图像的图像信息和深度图像信息；利用R-CNN算法列出每一帧图像中的所有对象；对每个对象进行优先级排序，优先级高的作为焦点对象。3.根据权利要求2所述的焦点对象选取方法，其特征在于，根据每个对象与摄像头之间的最近距离进行优先级排序，最近距离越小的优先级越高。4.根据权利要求2所述的焦点对象选取方法，其特征在于，根据每个对象的类型进行优先级排序，类型至少包括人物、动物、物体，人物的优先级高于动物的优先级，动物的优先级高于物体的优先级。5.根据权利要求2所述的焦点对象选取方法，其特征在于，利用R-CNN算法列出图像中的所有对象的方法具体为：将每张图像生成多个候选区；对每个候选区，使用深度网络提取特征；将从每个候选区中提取的特征送入每一类的SVM分类器进行分类；确认候选区分类后，通过位置精修做进一步验证；通过深度信息对候选区进行分析，逐一给出具有成为焦点可能...

【专利技术属性】
技术研发人员：孟宪民，李小波，赵德贤，
申请(专利权)人：恒信东方文化股份有限公司，
类型：发明
国别省市：北京,11