对象交互方法及装置、系统、计算机可读介质和电子设备制造方法及图纸

本发明专利技术公开了一种对象交互方法及装置、系统、计算机可读介质和电子设备，涉及增强现实技术领域。该对象交互方法包括：确定终端设备在现实环境坐标系下的位姿；根据第一对象的像素信息和深度信息确定第一对象相对于终端设备的位姿；其中，第一对象为现实环境下的真实对象；根据终端设备在现实环境坐标系下的位姿以及第一对象相对于终端设备的位姿，确定第一对象在现实环境坐标系下的位姿；确定现实环境坐标系下第二对象的位姿；其中，第二对象为虚拟对象；根据第一对象在现实环境坐标系下的位姿以及现实环境坐标系下第二对象的位姿，控制第一对象与第二对象进行交互。本公开可以在三维尺度实现虚实对象的交互，使得交互效果更加真实。

【技术实现步骤摘要】
对象交互方法及装置、系统、计算机可读介质和电子设备
本公开涉及增强现实
，具体而言，涉及一种对象交互方法、对象交互装置、对象交互系统、计算机可读介质和电子设备。
技术介绍
增强现实(AugmentedReality，AR)是一种将虚拟元素融入现实世界并可进行虚实交互的技术。随着终端设备处理能力的提升，增强现实技术可以被广泛应用于游戏、教育、医疗、交通、信息跟踪等各个领域。目前，在采用增强现实技术实现真实物体与虚拟物体之间交互的过程中，完全依赖于用户针对终端屏幕的触摸操作，例如，用户通过触摸用于控制虚拟物体的控件，可以实现虚拟物体的平移、旋转、放置、删除等效果。一方面，基于终端屏幕的触摸操作不符合人们在日常活动中的交互习惯，导致用户在使用时操作不方便；另一方面，在一些相关技术中，仅基于物体之间的位置关系来实现虚实交互，可能出现不符合交互常识的场景，用户的交互体验差。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开的目的在于提供一种对象交互方法、对象交互装置、对象交互系统、计算机可读介质和电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的增强现实技术虚实交互效果不佳的问题。根据本公开的一个方面，提供一种对象交互方法，应用于终端设备，该方法包括：确定终端设备在现实环境坐标系下的位姿；根据第一对象的像素信息和深度信息确定第一对象相对于终端设备的位姿；其中，第一对象为现实环境下的真实对象；根据终端设备在现实环境坐标系下的位姿以及第一对象相对于终端设备的位姿，确定第一对象在现实环境坐标系下的位姿；确定现实环境坐标系下第二对象的位姿；其中，第二对象为配置在现实环境下的虚拟对象；根据第一对象在现实环境坐标系下的位姿以及现实环境坐标系下第二对象的位姿，控制第一对象与第二对象进行交互。根据本公开的一个方面，提供一种对象交互装置，应用于终端设备，该装置包括终端位姿确定模块、第一对象位姿确定模块、坐标转换模块、第二对象位姿确定模块和对象交互模块。具体的，终端位姿确定模块用于确定终端设备在现实环境坐标系下的位姿；第一对象位姿确定模块用于根据第一对象的像素信息和深度信息确定第一对象相对于终端设备的位姿；其中，第一对象为现实环境下的真实对象；坐标转换模块用于根据终端设备在现实环境坐标系下的位姿以及第一对象相对于终端设备的位姿，确定第一对象在现实环境坐标系下的位姿；第二对象位姿确定模块用于确定现实环境坐标系下第二对象的位姿；其中，第二对象为配置在现实环境下的虚拟对象；对象交互模块用于根据第一对象在现实环境坐标系下的位姿以及现实环境坐标系下第二对象的位姿，控制第一对象与第二对象进行交互。可选地，终端位姿确定模块包括特征点提取单元、固定特征确定单元和终端姿态确定单元。具体的，特征点提取单元用于从在现实场景下采集到的视频图像中提取特征点；固定特征确定单元用于在连续的视频帧中，对特征点进行跟踪，确定现实场景下的三维固定特征；终端姿态确定单元用于根据三维固定特征在视频帧中的位置变换信息以及终端设备的惯性信息，确定终端设备在现实环境坐标系下的位姿。可选地，终端位姿确定模块还包括地图构建单元。具体的，地图构建单元用于在确定现实场景下的三维固定特征后，利用三维固定特征形成的特征点云，构建现实场景的地图。可选地，第一对象位姿确定模块被配置为执行：确定第一对象的可交互区域；确定可交互区域的像素信息和深度信息；根据可交互区域的像素信息和深度信息确定可交互区域相对于终端设备的位置信息和姿态信息；其中，利用可交互区域相对于终端设备的位置信息和姿态信息表征第一对象相对于终端设备的位姿。可选地，第一对象为手部；在这种情况下，第一对象位姿确定模块确定第一对象的可交互区域的过程可以包括：确定手部关键点；将基于手部关键点确定出的手掌平面确定为第一对象的可交互区域。可选地，第一对象位姿确定模块被配置为执行：根据手掌平面的像素信息和深度信息确定手掌平面的中心点的位置信息，作为手掌平面相对于终端设备的位置信息；以及根据手掌平面的像素信息和深度信息确定手掌平面的法线朝向信息，作为手掌平面相对于终端设备的姿态信息。可选地，对象交互模块被配置为执行：根据现实环境坐标系下第一对象的位置信息和第二对象的位置信息，确定第一对象与第二对象的距离；如果第一对象与第二对象的距离小于预设距离阈值且第一对象与第二对象的姿态匹配，则触发执行第一对象与第二对象的交互动作。根据本公开的一个方面，提供一种对象交互系统，包括相机、惯性传感器、深度传感器、一个或多个处理器、存储装置。具体的，相机用于在现实场景下采集图像信息；惯性传感器用于采集终端设备的惯性信息；深度传感器用于确定对象在现实场景下的深度信息；存储装置用于存储一个或多个程序；其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述对象交互方法。根据本公开的一个方面，提供一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现上述对象交互方法。根据本公开的一个方面，提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述对象交互方法。在本公开的一些实施例所提供的技术方案中，利用终端设备在现实环境坐标系下的位姿以及第一对象相对于终端设备的位姿，确定第一对象在现实环境坐标系下的位姿，并根据第一对象和第二对象在现实环境坐标系下的位姿，控制第一对象与第二对象进行交互。一方面，在确定第一对象相对于终端设备的位姿时，结合了深度信息，由此，可以更方便的使对象交互延伸至三维空间尺度，提高了对象交互过程的鲁棒性；另一方面，通过将第一对象与第二对象对齐到同一坐标系下，便于分析，符合真实的物理交互体验；再一方面，本公开的对象交互方法考虑的是位姿，包括位置和姿态，相比于一些相关技术，姿态的引入，避免了可能出现不符合交互常识的场景，使得第一对象与第二对象的交互效果更加真实，提高了用户利用增强现实技术实现虚实互动的交互体验。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1示意性示出了根据本公开的示例性实施方式的对象交互系统的方框图；图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图；图3示意性示出了根据本公开的示例性实施方式的对象交互方法的流程图；图4示意性示出了根据本公开的示例性实施方式的确定终端设备在现实环境坐标系下位本文档来自技高网...

【技术保护点】
1.一种对象交互方法，应用于终端设备，其特征在于，包括：/n确定终端设备在现实环境坐标系下的位姿；/n根据第一对象的像素信息和深度信息确定所述第一对象相对于所述终端设备的位姿；其中，所述第一对象为现实环境下的真实对象；/n根据所述终端设备在所述现实环境坐标系下的位姿以及所述第一对象相对于所述终端设备的位姿，确定所述第一对象在所述现实环境坐标系下的位姿；/n确定所述现实环境坐标系下第二对象的位姿；其中，所述第二对象为配置在现实环境下的虚拟对象；/n根据所述第一对象在所述现实环境坐标系下的位姿以及所述现实环境坐标系下第二对象的位姿，控制所述第一对象与所述第二对象进行交互。/n

【技术特征摘要】
1.一种对象交互方法，应用于终端设备，其特征在于，包括：
确定终端设备在现实环境坐标系下的位姿；
根据第一对象的像素信息和深度信息确定所述第一对象相对于所述终端设备的位姿；其中，所述第一对象为现实环境下的真实对象；
根据所述终端设备在所述现实环境坐标系下的位姿以及所述第一对象相对于所述终端设备的位姿，确定所述第一对象在所述现实环境坐标系下的位姿；
确定所述现实环境坐标系下第二对象的位姿；其中，所述第二对象为配置在现实环境下的虚拟对象；
根据所述第一对象在所述现实环境坐标系下的位姿以及所述现实环境坐标系下第二对象的位姿，控制所述第一对象与所述第二对象进行交互。


2.根据权利要求1所述的对象交互方法，其特征在于，确定终端设备在现实环境坐标系下的位姿包括：
从在现实场景下采集到的视频图像中提取特征点；
在连续的视频帧中，对所述特征点进行跟踪，确定所述现实场景下的三维固定特征；
根据所述三维固定特征在所述视频帧中的位置变换信息以及终端设备的惯性信息，确定所述终端设备在现实环境坐标系下的位姿。


3.根据权利要求2所述的对象交互方法，其特征在于，在确定所述现实场景下的三维固定特征后，所述对象交互方法还包括：
利用所述三维固定特征形成的特征点云，构建所述现实场景的地图。


4.根据权利要求1所述的对象交互方法，其特征在于，根据第一对象的像素信息和深度信息确定所述第一对象相对于所述终端设备的位姿包括：
确定第一对象的可交互区域；
确定所述可交互区域的像素信息和深度信息；
根据所述可交互区域的像素信息和深度信息确定所述可交互区域相对于所述终端设备的位置信息和姿态信息；
其中，利用所述可交互区域相对于所述终端设备的位置信息和姿态信息表征所述第一对象相对于所述终端设备的位姿。


5.根据权利要求4所述的对象交互方法，其特征在于，所述第一对象为手部；其中，确定第一对象的可交互区域包括：
确定手部关键点；
将基于所述手部关键点确定出的手掌平面确定为第一对象的可交互区域。


6.根据权利要求5所述的对象交互方法，其特征在于，根据所述可交互区域的像素信息和深度信息确定所述可交互区域相对于所述终端设备的位置信息和姿态信息包括：
根据所述手掌平面的像素信息和深度信息确定所述手掌平面的中心点的位置信息，作为所述手掌平面相对于所述终端设备的位置...

【专利技术属性】
技术研发人员：王宇鹭，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44