实现场景渲染的视频数据实时处理方法及装置、计算设备制造方法及图纸

本发明专利技术公开了一种实现场景渲染的视频数据实时处理方法及装置、计算设备，其方法包括：实时获取图像采集设备所拍摄和/或所录制的视频中包含特定对象的当前帧图像；或者，实时获取当前所播放的视频中包含特定对象的当前帧图像，对当前帧图像进行场景分割处理，得到当前帧图像针对于特定对象的前景图像；绘制三维场景背景图；将三维场景背景图和前景图像进行融合处理，得到当前帧处理后的图像；将当前帧处理后的图像覆盖原当前帧图像得到处理后的视频数据；显示处理后的视频数据。本发明专利技术采用深度学习方法，实现了高效率高精准性地完成场景分割处理。且对用户技术水平不做限制，不需要用户对图像进行额外处理，节省用户时间。

【技术实现步骤摘要】
实现场景渲染的视频数据实时处理方法及装置、计算设备
本专利技术涉及图像处理领域，具体涉及一种实现场景渲染的视频数据实时处理方法及装置、计算设备。
技术介绍
随着科技的发展，图像采集设备的技术也日益提高。使用图像采集设备录制的视频也更加清晰、分辨率、显示效果也大幅提高。但现有录制的视频仅是单调的录制素材本身，无法满足用户提出的越来越多的个性化要求。现有技术可以在录制视频后，由用户手动对视频再做进一步的处理，以满足用户的个性化要求。但这样处理需要用户具有较高的图像处理技术，并且在处理时需要花费用户较多的时间，处理繁琐，技术复杂。因此，需要一种实现场景渲染的视频数据实时处理方法，以便实时满足用户的个性化要求。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的实现场景渲染的视频数据实时处理方法及装置、计算设备。根据本专利技术的一个方面，提供了一种实现场景渲染的视频数据实时处理方法，其包括：实时获取图像采集设备所拍摄和/或所录制的视频中包含特定对象的当前帧图像；或者，实时获取当前所播放的视频中包含特定对象的当前帧图像；对当前帧图像进行场景分割处理，得到当前帧图像针对于特定对象的前景图像；绘制三维场景背景图；将三维场景背景图和前景图像进行融合处理，得到当前帧处理后的图像；将当前帧处理后的图像覆盖原当前帧图像得到处理后的视频数据；显示处理后的视频数据。可选地，绘制三维场景背景图进一步包括：根据高度图绘制三维场景背景图的地形信息。可选地，绘制三维场景背景图进一步包括：根据三维场景背景图的地形信息，对三维场景背景图进行纹理贴图处理。可选地，绘制三维场景背景图进一步包括：在三维场景背景图的部分指定区域添加预设静态和/或动态效果贴图。可选地，在将三维场景背景图和前景图像进行融合处理，得到当前帧处理后的图像之前，方法还包括：提取特定对象的关键点信息；根据特定对象的关键点信息，计算具有对称关系的至少两个关键点之间的距离；将三维场景背景图和前景图像进行融合处理，得到当前帧处理后的图像进一步包括：根据距离调整前景图像的显示模式。可选地，在实时获取图像采集设备所拍摄和/或所录制的视频中包含特定对象的当前帧图像；或者，实时获取当前所播放的视频中包含特定对象的当前帧图像之后，方法还包括：获取特定对象在当前帧图像中的位置信息；将三维场景背景图和前景图像进行融合处理，得到当前帧处理后的图像进一步包括：根据特定对象在当前帧图像中的位置信息和指定的前景图像在三维场景背景图的深度信息，将三维场景背景图和前景图像进行融合处理，得到当前帧处理后的图像。可选地，在得到当前帧处理后的图像之后，方法还包括：在当前帧处理后的图像的部分指定区域中添加静态或动态效果贴图。可选地，在得到当前帧处理后的图像之后，方法还包括：对当前帧处理后的图像进行色调处理、光照处理和/或亮度处理。可选地，显示处理后的视频数据进一步包括：将处理后的视频数据实时显示；方法还包括：将处理后的视频数据上传至云服务器。可选地，将处理后的视频数据上传至云服务器进一步包括：将处理后的视频数据上传至云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。可选地，将处理后的视频数据上传至云服务器进一步包括：将处理后的视频数据上传至云直播服务器，以供云直播服务器将视频数据实时推送给观看用户客户端。可选地，将处理后的视频数据上传至云服务器进一步包括：将处理后的视频数据上传至云公众号服务器，以供云公众号服务器将视频数据推送给公众号关注客户端。根据本专利技术的另一方面，提供了一种实现场景渲染的视频数据实时处理装置，其包括：获取模块，适于实时获取图像采集设备所拍摄和/或所录制的视频中包含特定对象的当前帧图像；或者，实时获取当前所播放的视频中包含特定对象的当前帧图像；分割模块，适于对当前帧图像进行场景分割处理，得到当前帧图像针对于特定对象的前景图像；绘制模块，适于绘制三维场景背景图；融合模块，适于将三维场景背景图和前景图像进行融合处理，得到当前帧处理后的图像；覆盖模块，适于将当前帧处理后的图像覆盖原帧图像得到处理后的视频数据；显示模块，适于显示处理后的视频数据。可选地，绘制模块进一步适于：根据高度图绘制三维场景背景图的地形信息。可选地，绘制模块进一步适于：根据三维场景背景图的地形信息，对三维场景背景图进行纹理贴图处理。可选地，绘制模块进一步适于：在三维场景背景图的部分指定区域添加预设静态和/或动态效果贴图。可选地，装置还包括：提取模块，适于提取特定对象的关键点信息；计算模块，适于根据特定对象的关键点信息，计算具有对称关系的至少两个关键点之间的距离；融合模块进一步适于：根据距离调整前景图像的显示模式。可选地，装置还包括：位置获取模块，适于获取特定对象在当前帧图像中的位置信息；融合模块进一步适于：根据特定对象在当前帧图像中的位置信息和指定的前景图像在三维场景背景图的深度信息，将三维场景背景图和前景图像进行融合处理，得到当前帧处理后的图像。可选地，装置还包括：贴图模块，适于在当前帧处理后的图像的部分指定区域中添加静态或动态效果贴图。可选地，装置还包括：图像处理模块，适于对当前帧处理后的图像进行色调处理、光照处理和/或亮度处理。可选地，显示模块，进一步适于将处理后的视频数据实时显示；装置还包括：上传模块，适于将处理后的视频数据上传至云服务器。可选地，上传模块进一步适于：将处理后的视频数据上传至云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。可选地，上传模块进一步适于：将处理后的视频数据上传至云直播服务器，以供云直播服务器将视频数据实时推送给观看用户客户端。可选地，上传模块进一步适于：将处理后的视频数据上传至云公众号服务器，以供云公众号服务器将视频数据推送给公众号关注客户端。根据本专利技术的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述实现场景渲染的视频数据实时处理方法对应的操作。根据本专利技术的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述实现场景渲染的视频数据实时处理方法对应的操作。根据本专利技术提供的实现场景渲染的视频数据实时处理方法及装置、计算设备，实时获取图像采集设备所拍摄和/或所录制的视频中包含特定对象的当前帧图像；或者，实时获取当前所播放的视频中包含特定对象的当前帧图像，对当前帧图像进行场景分割处理，得到当前帧图像针对于特定对象的前景图像；绘制三维场景背景图；将三维场景背景图和前景图像进行融合处理，得到当前帧处理后的图像；将当前帧处理后的图像覆盖原当前帧图像得到处理后的视频数据；显示处理后的视频数据。本专利技术在实时获取到包含特定对象的当前帧图像后，从当前帧图像中分割出特定对象的前景图像。将前景图像和绘制的三维场景背景图进行融合，得到的处理后的视频呈现出特定对象位于三维场景背景图中的效果。同时将处理后的视频实时显示给用户，方便用户实时的看到与处理后的视频显示效果，本专利技术采用了深度学习方法，实现了高效率高精准性地完成场景分割处理。本文档来自技高网...

【技术保护点】
一种实现场景渲染的视频数据实时处理方法，其包括：实时获取图像采集设备所拍摄和/或所录制的视频中包含特定对象的当前帧图像；或者，实时获取当前所播放的视频中包含特定对象的当前帧图像；对当前帧图像进行场景分割处理，得到当前帧图像针对于所述特定对象的前景图像；绘制三维场景背景图；将所述三维场景背景图和所述前景图像进行融合处理，得到当前帧处理后的图像；将当前帧处理后的图像覆盖原当前帧图像得到处理后的视频数据；显示所述处理后的视频数据。

【技术特征摘要】
1.一种实现场景渲染的视频数据实时处理方法，其包括：实时获取图像采集设备所拍摄和/或所录制的视频中包含特定对象的当前帧图像；或者，实时获取当前所播放的视频中包含特定对象的当前帧图像；对当前帧图像进行场景分割处理，得到当前帧图像针对于所述特定对象的前景图像；绘制三维场景背景图；将所述三维场景背景图和所述前景图像进行融合处理，得到当前帧处理后的图像；将当前帧处理后的图像覆盖原当前帧图像得到处理后的视频数据；显示所述处理后的视频数据。2.根据权利要求1所述的方法，其中，所述绘制三维场景背景图进一步包括：根据高度图绘制三维场景背景图的地形信息。3.根据权利要求2所述的方法，其中，所述绘制三维场景背景图进一步包括：根据所述三维场景背景图的地形信息，对所述三维场景背景图进行纹理贴图处理。4.根据权利要求1-3中任一项所述的方法，其中，所述绘制三维场景背景图进一步包括：在所述三维实时场景背景图的部分指定区域添加预设静态和/或动态效果贴图。5.根据权利要求1-4中任一项所述的方法，其中，在所述将所述三维场景背景图和所述前景图像进行融合处理，得到当前帧处理后的图像之前，所述方法还包括：提取所述特定对象的关键点信息；根据所述特定对象的关键点信息，计算具有对称关系的至少两个关键点之间的距离；所述将所述三维场景背景图和所述前景图像进行融合处理，得到当前帧处理后的图像进一步包括：根据所述距离调整所述前景图像的显示模式。6.根据权利要求1-5任一项中所述的方法，其中，在所述实时获取图像采集设备所拍摄和/或所录制的视频中包含特定对象的当前帧图像；或者，实时获取当前所播放的视频中包含特定对象的当前帧图像之后，所述方法还包...

【专利技术属性】
技术研发人员：眭一帆，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京,11