一种图像处理方法及装置制造方法及图纸

本发明专利技术提供了一种图像处理方法及装置，其中，该方法包括：分别通过第一镜头组和第二镜头组对场景进行拍摄得到第一图像和第二图像；对所述第一图像和所述第二图像进行特征匹配，确定所述第一图像与所述第二图像中相匹配特征的差别；根据所述相匹配特征的差别确定所述相匹配特征的深度信息；将所述深度信息与接收到的图像信息进行组合，生成虚拟媒体信息；将所述虚拟媒体信息与所述第一图像或第二图像进行组合。通过本发明专利技术，可以解决相关技术中如何在不增加额外设备利用用户携带的移动终端完成深度信息处理的问题，实现了在不增加额外设备的情况下，通过移动终端完成虚拟现实结合，提高了用户体验的效果。

An Image Processing Method and Device

The present invention provides an image processing method and device, in which the first image and the second image are captured through the first lens group and the second lens group respectively; the first image and the second image are matched by features to determine the difference between the first image and the matching features of the second image; and the matching features are based on the matching features. The difference determines the depth information of the matching feature; combines the depth information with the received image information to generate virtual media information; and combines the virtual media information with the first image or the second image. The invention can solve the problem of how to use the mobile terminal carried by the user to complete the deep information processing without adding additional equipment in the related technology, realize the virtual reality integration through the mobile terminal without adding additional equipment, and improve the effect of the user experience.

【技术实现步骤摘要】
一种图像处理方法及装置
本专利技术涉及通信领域，具体而言，涉及一种图像处理方法及装置。
技术介绍
增强现实(AugmentedReality，简称为AR)是在真实的现实世界视觉信息的基础上加入包括视频、图像、文字、声音等其他计算机产生的虚拟媒体信息的技术。该技术的一个重要应用领域是帮助用户体验当前场景中在物理距离上或者时间上不可能接触的体验，增加或提升用户对真实世界场景中的信息的感知。但是AR技术可能要求专用的系统或者硬件设备，例如头戴显示器、智能眼镜、带有独立显卡的计算机等，这些都要求一定的成本或者使用环境，在无形中限制了AR的使用场景。尤其是AR中的深度信息处理过程是AR系统或者设备实现虚拟场景与现实场景融合的关键所在，能够在不增加额外的设备利用用户携带的移动终端完成深度信息处理仍是当前待解决的重要问题。针对相关技术中如何在不增加额外设备利用用户携带的移动终端完成深度信息处理的问题，尚未提出解决方案。
技术实现思路
本专利技术实施例提供了一种图像处理方法及装置，以至少解决相关技术中如何在不增加额外设备利用用户携带的移动终端完成深度信息处理的问题。根据本专利技术的一个实施例，提供了一种图像处理方法，包括：分别通过第一镜头组和第二镜头组对场景进行拍摄得到第一图像和第二图像；对所述第一图像和所述第二图像进行特征匹配，确定所述第一图像与所述第二图像中相匹配特征的差别；根据所述相匹配特征的差别确定所述相匹配特征的深度信息；将所述深度信息与接收到的图像信息进行组合，生成虚拟媒体信息；将所述虚拟媒体信息与所述第一图像或第二图像进行组合。可选地，将所述深度信息与接收到的图像信息进行组合，生成虚拟媒体信息包括：在所述深度信息所映射的三维地图中定位接收到的所述图像信息；根据所述深度信息调整接收到的所述图像信息的大小、旋转方向以及移动方向，生成所述虚拟媒体信息。可选地，在根据所述相匹配特征的差别确定所述相匹配特征的深度信息之前，所述方法还包括：在所述相匹配特征的差别小于第一预定距离阈值时，通过第三镜头组对所述场景采集得到第三图像，通过所述第一图像与所述第三图像中所述相匹配特征的差别重新确定所述相匹配特征的深度信息；或者，在所述相匹配特征的差别大于第二预定距离阈值时，通过第三镜头组对所述场景进行拍摄得到第三图像，以及通过所述第二图像与所述第三图像中所述相匹配特征的差别重新确定所述相匹配特征的深度信息。可选地，在确定所述第一图像和所述第二图像中相匹配特征的差别之前，所述方法还包括：调整所述第一图像和所述第二图像的亮度和对比度。可选地，所述相匹配特征的差别包括在所述第一图像和所述第二图像中同一条线段上的距离；或者，所述相匹配特征的差别包括在所述第一图像和所述第二图像的投影图像中同一条线段上的距离，其中，所述投影图像是通过将所述第一图像和所述第二图像根据预先保存的校正矩阵进行变换取得的。可选地，所述第一镜头组、所述第二镜头组以及所述第三镜头组具有相同的视场角；和/或所述第一镜头组、所述第二镜头组以及所述第三镜头组在红外波段成像。可选地，所述第一镜头组、所述第二镜头组以及所述第三镜头组位于同一直线上，且所述第二镜头组位于所述第一镜头组与所述第三镜头组之间。可选地，所述第一镜头组与所述第二镜头组之间的距离小于所述第二镜头组与所述第三镜头组的距离。根据本专利技术的另一个实施例，还提供了一种图像处理装置，包括：拍摄模块，用于分别通过第一镜头组和第二镜头组对场景进行拍摄得到第一图像和第二图像；第一确定模块，用于对所述第一图像和所述第二图像进行特征匹配，确定所述第一图像与所述第二图像中相匹配特征的差别；第二确定模块，用于根据所述相匹配特征的差别确定所述相匹配特征的深度信息；生成模块，用于将所述深度信息与接收到的图像信息进行组合，生成虚拟媒体信息；组合模块，用于将所述虚拟媒体信息与所述第一图像或第二图像进行组合。可选地，所述生成模块包括：定位单元，用于在所述深度信息所映射的三维地图中定位接收到的所述图像信息；生成单元，用于根据所述深度信息调整接收到的所述图像信息的大小、旋转方向以及移动方向，生成所述虚拟媒体信息。可选地，所述装置还包括：第一重新确定模块，用于在所述相匹配特征的差别小于第一预定距离阈值时，通过第三镜头组对所述场景采集得到第三图像，通过所述第一图像与所述第三图像中所述相匹配特征的差别重新确定所述相匹配特征的深度信息；或者，第二重新确定模块，用于在所述相匹配特征的差别大于第二预定距离阈值时，通过第三镜头组对所述场景进行拍摄得到第三图像，以及通过所述第二图像与所述第三图像中所述相匹配特征的差别重新确定所述相匹配特征的深度信息。可选地，所述装置还包括：调整模块，用于调整所述第一图像和所述第二图像的亮度和对比度。可选地，所述相匹配特征的差别包括在所述第一图像和所述第二图像中同一条线段上的距离；或者，所述相匹配特征的差别包括在所述第一图像和所述第二图像的投影图像中同一条线段上的距离，其中，所述投影图像是通过将所述第一图像和所述第二图像根据预先保存的校正矩阵进行变换取得的。可选地，所述第一镜头组、所述第二镜头组以及所述第三镜头组具有相同的视场角；和/或所述第一镜头组、所述第二镜头组以及所述第三镜头组在红外波段成像。可选地，所述第一镜头组、所述第二镜头组以及所述第三镜头组位于同一直线上，且所述第二镜头组位于所述第一镜头组与所述第三镜头组之间。可选地，所述第一镜头组与所述第二镜头组之间的距离小于所述第二镜头组与所述第三镜头组的距离。根据本专利技术的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。根据本专利技术的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。通过本专利技术，分别通过第一镜头组和第二镜头组对场景进行拍摄得到第一图像和第二图像；对所述第一图像和所述第二图像进行特征匹配，确定所述第一图像与所述第二图像中相匹配特征的差别；根据所述相匹配特征的差别确定所述相匹配特征的深度信息；将所述深度信息与接收到的图像信息进行组合，生成虚拟媒体信息；将所述虚拟媒体信息与所述第一图像或第二图像进行组合，因此，可以解决相关技术中如何在不增加额外设备利用用户携带的移动终端完成深度信息处理的问题，实现了在不增加额外设备的情况下，通过移动终端完成虚拟现实结合，提高了用户体验的效果。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是本专利技术实施例的一种图像处理方法的移动终端的硬件结构框图；图2是根据本专利技术实施例的一种图像处理方法的流程图；图3是根据本专利技术实施例的测量图像之间位置差的示意图；图4是根据本专利技术实施例的镜头组的示意图；图5是根据本专利技术实施例的一种图像处理装置的框图；图6是根据本专利技术优选实施例的一种图像处理装置的框图一；图7是根据本专利技术优选实施例的一种图像处理装置的框图二。具体实施方式下文中将参考附图并结合实施例来详细说明本专利技术。需要说明的是，在不冲突的情况下，本申请中的本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：分别通过第一镜头组和第二镜头组对场景进行拍摄得到第一图像和第二图像；对所述第一图像和所述第二图像进行特征匹配，确定所述第一图像与所述第二图像中相匹配特征的差别；根据所述相匹配特征的差别确定所述相匹配特征的深度信息；将所述深度信息与接收到的图像信息进行组合，生成虚拟媒体信息；将所述虚拟媒体信息与所述第一图像或第二图像进行组合。

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：分别通过第一镜头组和第二镜头组对场景进行拍摄得到第一图像和第二图像；对所述第一图像和所述第二图像进行特征匹配，确定所述第一图像与所述第二图像中相匹配特征的差别；根据所述相匹配特征的差别确定所述相匹配特征的深度信息；将所述深度信息与接收到的图像信息进行组合，生成虚拟媒体信息；将所述虚拟媒体信息与所述第一图像或第二图像进行组合。2.根据权利要求1所述的方法，其特征在于，将所述深度信息与接收到的图像信息进行组合，生成虚拟媒体信息包括：在所述深度信息所映射的三维地图中定位接收到的所述图像信息；根据所述深度信息调整接收到的所述图像信息的大小、旋转方向以及移动方向，生成所述虚拟媒体信息。3.根据权利要求1所述的方法，其特征在于，在根据所述相匹配特征的差别确定所述相匹配特征的深度信息之前，所述方法还包括：在所述相匹配特征的差别小于第一预定距离阈值时，通过第三镜头组对所述场景采集得到第三图像，通过所述第一图像与所述第三图像中所述相匹配特征的差别重新确定所述相匹配特征的深度信息；或者，在所述相匹配特征的差别大于第二预定距离阈值时，通过第三镜头组对所述场景进行拍摄得到第三图像，以及通过所述第二图像与所述第三图像中所述相匹配特征的差别重新确定所述相匹配特征的深度信息。4.根据权利要求1所述的方法，其特征在于，在确定所述第一图像和所述第二图像中相匹配特征的差别之前，所述方法还包括：调整所述第一图像和所述第二图像的亮度和对比度。5.根据权利要求1所述的方法，其特征在于，所述相匹配特征的差别包括在所...

【专利技术属性】
技术研发人员：杨萌，戴付建，赵烈烽，
申请(专利权)人：浙江舜宇光学有限公司，
类型：发明
国别省市：浙江,33