图像处理方法、装置、电子设备和存储介质制造方法及图纸

本申请提供了一种图像处理方法及装置、电子设备及存储介质，其中，首先从获取的现实场景图像中识别现实目标对象，并获取与现实目标对象对应的第一虚拟三维模型；之后根据现实场景图像，确定待展示的虚拟目标对象，并确定现实目标对象对应的第一虚拟三维模型与虚拟目标对象在待展示的AR场景中的相对位姿关系；最后将第一虚拟三维模型和虚拟目标对象按照相对位姿关系展示在包含现实目标对象的AR场景中。本申请基于相对位姿关系来自展示虚拟目标对象和现实目标对象，能够实现对位于现实目标对象后方的虚拟目标对象的遮挡，克服了现有技术中现实对象无法遮挡位于现实对象后方的虚拟对象的缺陷。

【技术实现步骤摘要】
图像处理方法、装置、电子设备和存储介质
本申请涉及图像处理术领域，具体而言，涉及一种图像处理方法及装置、电子设备及存储介质。
技术介绍
增强现实(AugmentedReality，AR)技术是一种将虚拟信息与真实世界巧妙融合的技术，其将原本在真实世界的空间范围中比较难以进行体验的信息在电脑等科学技术的基础上，实施模拟仿真处理，形成虚拟信息，叠加在真实世界中，被人类感官所感知，从而实现超越现实的感官体验。AR场景中，真实环境和虚拟对象之间叠加之后在同一个画面以及空间中存在。目前AR场景展示中，存在虚拟对象均展示在真实环境中的现实对象前方的状况，造成现实对象无法遮挡本就位于现实对象后方的挡虚拟对象。
技术实现思路
本申请实施例至少提供一种图像处理方法、装置，以在AR场景中展示现实对象与虚拟对象相互遮挡的遮挡效果。本申请实施例提供了一种图像处理方法，包括：获取现实场景图像；识别所述现实场景图像中的现实目标对象，并获取与所述现实目标对象对应的第一虚拟三维模型；确定虚拟目标对象，并确定所述现实目标对象对应的第一虚拟三维模型与所述虚拟目标对象在增强现实AR场景中的相对位姿关系；将所述第一虚拟三维模型和所述虚拟目标对象按照所述相对位姿关系展示在包含所述现实目标对象的AR场景中。该方面，利用现实目标对象对应的第一虚拟三维模型与虚拟目标对象在AR场景中的相对位姿关系，在AR场景中展示现实目标对象和虚拟目标对象，能够对位于现实目标对象后方的虚拟目标对象进行遮挡，克服了现有技术中现实对象无法遮挡位于现实对象后方的虚拟对象的缺陷。在一种可能的实施方式中，所述第一虚拟三维模型的展示状态为透明态。该实施方式，将现实目标对象对应的虚拟三维模型设置为透明状，该第一虚拟三维模型就能够更好的遮挡位于现实目标对象后方的虚拟目标对象，同时不影响位于第一虚拟三维模型所在图层的前方图层上对象的展示，而该第一虚拟三维模型又不在AR场景中显示，对AR场景中的图像显示不造成影响。在一种可能的实施方式中，所述获取与所述现实目标对象对应的第一虚拟三维模型，包括：获取预制地图；所述预制地图包括预设地理范围内的多个对象的图像以及每个对象的对象标识信息；将所述现实场景图像中现实目标对象的图像与和所述预制地图中的所述多个对象中每个对象的图像进行匹配，得到与所述现实目标对象相匹配的目标匹配对象；将所述目标匹配对象的对象标识信息作为所述现实目标对象的对象标识信息，并基于所述对象标识信息，获取预先设置的所述现实目标对象的第一虚拟三维模型。该实施方式，利用预制地图能够实现现实目标对象的高精度定位，从而能够准确的找到现实目标对象的对象标识信息，提高获取第一虚拟三维模型的准确度。在一种可能的实施方式中，所述确定虚拟目标对象，包括：基于所述现实场景图像，确定拍摄所述现实场景图像的拍摄设备的位姿信息，基于所述拍摄设备的位姿信息，确定处于所述拍摄设备的拍摄视野中的虚拟目标对象。该实施方式，通过现实场景图像能够实现拍摄设备的高精度定位，基于拍摄设备高精度的定位信息，即上述位姿信息，能够较为准确地确定位于拍摄设备的拍摄视野范围内的待展示的虚拟目标对象。在一种可能的实施方式中，上述图像处理方法还包括设置所述第一虚拟三维模型的步骤：获取所述现实目标对象在现实场景中的位姿信息；基于所述现实目标对象在现实场景中的位姿信息，确定所述现实目标对象在AR场景中的位姿信息；基于所述现实目标对象在AR场景中的位姿信息，生成所述现实目标对象在所述AR场景中的第一虚拟三维模型。该实施方式，通过位姿信息在现实场景与AR场景之间进行转换，生成了现实目标对象在AR场景中进行展示所依赖的虚拟三维模型，从而能够将现实目标对象准确地展示在AR场景中。在一种可能的实施方式中，所述确定所述现实目标对象对应的第一虚拟三维模型与所述虚拟目标对象在增强现实AR场景中的相对位姿关系，包括：获取所述虚拟目标对象对应的第二虚拟三维模型；基于所述第一虚拟三维模型在AR场景中的位姿信息，和所述第二虚拟三维模型在所述AR场景中的位姿信息，确定所述现实目标对象对应的第一虚拟三维模型与所述虚拟目标对象在增强现实AR场景中的相对位姿关系。该实施方式，基于第一虚拟三维模型在AR场景中的位姿信息，和第二虚拟三维模型在所述AR场景中的位姿信息，能够较为准确地确定两者之间的相对位姿关系。在一种可能的实施方式中，所述将所述第一虚拟三维模型和所述虚拟目标对象按照所述相对位姿关系展示在包含所述现实目标对象的AR场景中，包括：基于所述相对位姿关系，判断所述虚拟目标对象是否被所述现实目标对象遮挡；在所述虚拟目标对象被所述现实目标对象遮挡的情况下，基于所述相对位姿关系，确定所述虚拟目标对象被所述第一虚拟三维模型所遮挡对应的遮挡信息；基于所述遮挡信息，展示虚拟目标对象的未被遮挡的部分。该实施方式，基于相对位姿关系，能够准确地确定两者是否发生了遮挡，并能够在发生遮挡时，显示未被遮挡的虚拟目标对象，提高了遮挡效果显示的准确性。在一种可能的实施方式中，上述图像处理方法还包括：获取所述虚拟目标对象在所述AR场景中的运动状态信息；基于所述第一虚拟三维模型在AR场景中的位姿信息、所述虚拟目标对象在所述AR场景中的位姿信息和所述运动状态信息，确定碰撞状态信息；若所述碰撞状态信息指示所述现实目标对象与所述虚拟目标对象发生碰撞，则基于所述碰撞状态信息，获取预制的所述虚拟目标对象在碰撞状态下的第三虚拟三维模型；基于所述第三虚拟三维模型，在所述AR场景中呈现的碰撞后的虚拟目标对象。该实施方式，利用虚拟目标对象的运动状态信息，能够确定现实目标对象和虚拟目标对象的碰撞状态，从而能够获取两者碰撞后的第三虚拟三维模型，以在AR场景中展示碰撞后的虚拟目标对象的图像。在一种可能的实施方式中，所述基于所述第三虚拟三维模型，在所述AR场景中呈现的碰撞后的虚拟目标对象，包括：获取预制的所述现实目标对象在碰撞状态下的第四虚拟三维模型；基于所述第四虚拟三维模型和所述第三虚拟三维模型，在所述AR场景中呈现的碰撞后的现实目标对象和虚拟目标对象。该实施方式，利用碰撞状态下的第四虚拟三维模型和第三虚拟三维模型，能够在AR场景中更准确得展示碰撞后的虚拟目标对象的图像和现实目标对象的图像，进一步提高了碰撞画面展示的准确性。在一种可能的实施方式中，所述第四虚拟三维模型和所述第三虚拟三维模型的展示状态均为非透明态，并且所述第四虚拟三维模型和所述第三虚拟三维模型位于同一图层，所述第四虚拟三维模型的图层位于AR场景中对应的现实目标对象的图像所在的图层的前方。该实施方式，通过对第四虚拟三维模型和所述第三虚拟三维模型的展示状态以及图层的限制，进一步提高了碰撞画面展示的真实性和准确性。在一种可能的实施方式中，本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n获取现实场景图像；/n识别所述现实场景图像中的现实目标对象，并获取与所述现实目标对象对应的第一虚拟三维模型；/n确定虚拟目标对象，并确定所述第一虚拟三维模型与所述虚拟目标对象在增强现实AR场景中的相对位姿关系；/n将所述第一虚拟三维模型和所述虚拟目标对象按照所述相对位姿关系展示在包含所述现实目标对象的AR场景中。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
获取现实场景图像；
识别所述现实场景图像中的现实目标对象，并获取与所述现实目标对象对应的第一虚拟三维模型；
确定虚拟目标对象，并确定所述第一虚拟三维模型与所述虚拟目标对象在增强现实AR场景中的相对位姿关系；
将所述第一虚拟三维模型和所述虚拟目标对象按照所述相对位姿关系展示在包含所述现实目标对象的AR场景中。


2.根据权利要求1所述的图像处理方法，其特征在于，所述第一虚拟三维模型的展示状态为透明态。


3.根据权利要求1所述的图像处理方法，其特征在于，所述获取与所述现实目标对象对应的第一虚拟三维模型，包括：
获取预制地图；所述预制地图包括预设地理范围内的多个对象的图像以及每个对象的对象标识信息；
将所述现实场景图像中现实目标对象的图像与和所述预制地图中的所述多个对象中每个对象的图像进行匹配，得到与所述现实目标对象相匹配的目标匹配对象；
将所述目标匹配对象的对象标识信息作为所述现实目标对象的对象标识信息，并基于所述对象标识信息，获取预先设置的所述现实目标对象的第一虚拟三维模型。


4.根据权利要求1所述的图像处理方法，其特征在于，所述确定虚拟目标对象，包括：
基于所述现实场景图像，确定拍摄所述现实场景图像的拍摄设备的位姿信息，
基于所述拍摄设备的位姿信息，确定处于所述拍摄设备的拍摄视野中的虚拟目标对象。


5.根据权利要求1至4任一项所述的图像处理方法，其特征在于，还包括设置所述第一虚拟三维模型的步骤：
获取所述现实目标对象在现实场景中的位姿信息；
基于所述现实目标对象在现实场景中的位姿信息，确定所述现实目标对象在AR场景中的位姿信息；
基于所述现实目标对象在AR场景中的位姿信息，生成所述现实目标对象在所述AR场景中的第一虚拟三维模型。


6.根据权利要求1至4任一项所述的图像处理方法，其特征在于，所述确定所述现实目标对象对应的第一虚拟三维模型与所述虚拟目标对象在增强现实AR场景中的相对位姿关系，包括：
获取所述虚拟目标对象对应的第二虚拟三维模型；
基于所述第一虚拟三维模型在AR场景中的位姿信息，和所述第二虚拟三维模型在所述AR场景中的位姿信息，确定所述现实目标对象对应的第一虚拟三维模型与所述虚拟目标对象在增强现实AR场景中的相对位姿关系。


7.根据权利要求6所述的图像处理方法，其特征在于，所述将所述第一虚拟三维模型和所述虚拟目标对象按照所述相对位姿关系展示在包含所述现实目标对象的AR场景中，包括：
基于所述相对位姿关系，判断所述虚拟目标对象是否被所述现实目标对象遮挡；
在所述虚拟目标对象被所述现实目标对象遮挡的情况下，基于所述相对位姿关系，确定所述虚拟目标对象被所述第一...

【专利技术属性】
技术研发人员：李宇飞，张建博，
申请(专利权)人：深圳市慧鲤科技有限公司，
类型：发明
国别省市：广东;44