图像处理方法及装置、电子设备和计算机存储介质制造方法及图纸

本公开实施例公开了一种图像处理方法及装置、电子设备和计算机存储介质，该方法包括：根据当前帧图像中目标点的邻域窗口中像素的深度值，确定所述目标点的深度值；基于所述目标点的深度值，对所述目标点在所述当前帧图像中的坐标进行坐标变换处理，得到所述目标点在世界坐标系中的坐标；对所述目标点在所述世界坐标系中的坐标进行坐标变换处理，得到所述目标点在视频的至少一其他帧图像中的坐标。本公开实施例可以获得目标点的较准确的深度值，进而提高锚点放置的鲁棒性。

Image processing method and device, electronic equipment and computer storage medium

【技术实现步骤摘要】
图像处理方法及装置、电子设备和计算机存储介质
本公开涉及计算机视觉技术，尤其是一种图像处理方法及装置、电子设备和计算机存储介质。
技术介绍
在增强现实(AugmentedReality，简称AR)的应用中，要实现虚拟物体与现实场景的融合，通常需要给定图像中的一个点，计算出它在真实场景中的位置，即锚点所在位置，将虚拟物体放置在这个位置，在以后的图像中，再将真实场景中的这个位置投影回图像中，就可以实现锚点与真实场景融为一体的效果。在进行锚点放置时，借助图像的深度信息，可以计算出图像中每个点在真实场景中的位置。然而，在移动设备实现虚拟物体与现实场景的融合时，由于受到功率等限制，所得到的深度信息的精度通常较低，并且在图像中的黑色物体和反光表面还会出现深度信息缺失的情况，这样在图像的深度信息存在较多噪声的情况下，将很难实现锚点的有效放置。
技术实现思路
本公开实施例提供一种图像处理的技术方案。根据本公开实施例的一个方面，提供一种图像处理方法，包括：根据当前帧图像中目标点的邻域窗口中像素的深度值，确定所述目标点的本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n根据当前帧图像中目标点的邻域窗口中像素的深度值，确定所述目标点的深度值；/n基于所述目标点的深度值，对所述目标点在所述当前帧图像中的坐标进行坐标变换处理，得到所述目标点在世界坐标系中的坐标；/n对所述目标点在所述世界坐标系中的坐标进行坐标变换处理，得到所述目标点在视频的至少一其他帧图像中的坐标；其中，所述其他帧图像为所述视频中除所述当前帧图像外的图像。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
根据当前帧图像中目标点的邻域窗口中像素的深度值，确定所述目标点的深度值；
基于所述目标点的深度值，对所述目标点在所述当前帧图像中的坐标进行坐标变换处理，得到所述目标点在世界坐标系中的坐标；
对所述目标点在所述世界坐标系中的坐标进行坐标变换处理，得到所述目标点在视频的至少一其他帧图像中的坐标；其中，所述其他帧图像为所述视频中除所述当前帧图像外的图像。


2.根据权利要求1所述的方法，其特征在于，所述根据当前帧图像中目标点的邻域窗口中像素的深度值，确定所述目标点的深度值，包括：
获取所述当前帧图像中所述目标点的邻域窗口中像素的深度值；
基于所述邻域窗口中像素的深度值的标准差小于预设阈值，确定所述邻域窗口中像素的至少一个参考深度值；
根据所述邻域窗口中像素的至少一个参考深度值的平均值，得到所述目标点的深度值。


3.根据权利要求2所述的方法，其特征在于，所述基于所述邻域窗口中像素的深度值的标准差小于预设阈值，确定所述邻域窗口中像素的目标深度值，包括：
对所述邻域窗口中像素的有效深度值按照从小到大的顺序进行排序，得到候选深度值列表，其中，所述有效深度值包括所述邻域窗口中大于零且小于预设值的深度值；
基于所述候选深度值列表中从最小深度值到当前深度值的标准差小于所述预设阈值，确定最大的当前深度值，以所述候选深度值列表中从所述最小深度值到所述最大的当前深度值作为所述至少一个参考深度值。


4.根据权利要求2或3所述的方法，其特征在于，所述获取所述当前帧图像中所述目标点的邻域窗口中像素的深度值，包括：
在所述当前帧图像中以所述目标点为中心、以预设尺寸为大小，选取所述目标点的邻域窗口；
从所述当前帧图像的深度图中提取所述邻域窗口中像素的深度值。


5.根据权利要求4所述的方法，其特征在于，所述根据当前帧图像中目标点的邻域窗口中像素的深度值，确定所述目标点的深度值之前，还包括：
通过视频采集设备采集所述当前帧图像，并获取所述当前帧图像的深度图。


6.根据权利要求1至5中任意一项所述的方法，其特征在于，所述根据当前帧图像中目标点的邻域窗口中像素的深度值，确定所述目标点的深度值之前，还包括：
根据交互界面接收到的所述当前帧图像中的坐标，或者根据预设算法得到的所述当前帧图像中的坐标，确定所述当前帧图像中的所述目标点。


7.根据权利要求1至6中任意一项所述的方法，其特征在于，所述基于所述目标点的深度值，对所述目标点在所述当前帧图像中的坐标进行坐标变换处理，得到所述目标点在世界坐标系中的坐标，包括：
基于所述目标点的深度值和所述视频采集设备的内部参数，对所述目标点在所述当前帧图像中的坐标进行坐标变换处理，得到所述目标点在当前所述视频采集设备的坐标系中的坐标；
基于所述视频采集设备当前的位姿信息，对所述目标点在当前所述视频采集设备的坐标系中的坐标进行坐标变换处理，得到所述目标点在世界坐标系中的坐标。


8.根据权利要求7所述的方法，其特征在于，所述基于所述视频采集设备当前的位姿信息，对所述目标点在当前所述视频采集设备的坐标系中的坐标进行坐标变换处理之前，还包括：
根据同一个特征点在所述当前帧图像中的坐标与所述视频中第一帧图像中的坐标，确定所述视频采集设备当前的位姿信息，其中，采集所述第一帧图像时所述视频采集设备的坐标系与所述世界坐标系一致。


9.根据权利要求1至8中任意一项所述的方法，其特征在于，对所述目标点在所述世界坐标系中的坐标进行坐标变换处理，得到所述目标点在视频的至少一其他帧图像中的坐标，包括：
分别针对所述至少一其他帧图像中的每一帧图像，基于所述视频采集设备在采集所述每一帧图像时的位姿信息，对所述目标点在所述世界坐标系中的坐标进行坐标变换处理，得到所述目标点在采集所述每一帧图像时所述视频采集设备的坐标系中的坐标；
基于所述视频采集设备的内部参数，对所述目标点在采集所述每一帧图像时所述视频采集设备的坐标系中的坐标进行坐标变换处理，得到所述目标点在所述每一帧图像中的坐标。


10.根据权利要求9所述的方法，其特征在于，所述基于所述视频采集设备在采集所述每一帧图像时的...

【专利技术属性】
技术研发人员：王哲峰，项骁骏，姜翰青，章国锋，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：浙江;33