本公开涉及一种处理方法及装置，该方法包括：获得电子设备当前所处环境的环境图像，获取所述环境图像上的点特征和/或线特征；确定所述点特征和/或线特征的三维空间位置信息；至少基于所述三维空间位置信息确定电子设备当前所处环境内的平面信息。本公开实施例的处理方法不依赖深度相机即可准确、全面地检测出电子设备当前所处环境内的平面信息，适用范围广，且成本较低。本公开可以采用通用的单目或多目相机确定电子设备当前所处环境内的平面信息，操作方便，无需使用深度相机，通用性强；同时，可以准确、全面地检测出电子设备当前所处环境内的平面信息，在纹理较少的环境中也能够准确确定平面信息，具有较好的鲁棒性。具有较好的鲁棒性。具有较好的鲁棒性。
【技术实现步骤摘要】
处理方法及装置
[0001]本公开涉及图像处理
，具体涉及一种处理方法及装置。
技术介绍
[0002]在增强现实AR应用中，一个典型的应用场景是检测物理世界中的平面，比如水平的桌面和地面、竖直的墙面等，以用于展示虚拟模型，如虚拟的恐龙或飞机模型等。因此，如何实时、准确地在移动设备比如手机、AR眼镜上检测输出平面信息是增强现实AR应用亟待解决的问题。
[0003]现有技术中，一般采用单目或者双目相机与深度相机配合检测平面，其中，单目或者双目相机用于运行SLAM算法以解算出6dof姿态数据，深度相机用于获取周围环境的深度信息以得到周围环境的三维稠密点云信息，从而检测出周围环境的几何平面，由于需要使用深度相机，成本较高，且无法适用于手机等不含深度相机的设备，通用性不强。另一基于RGB相机的平面检测方案，比如谷歌的ARcore，无需使用深度相机，但是，其检测不够准确，特别是在纹理不丰富的地方仅能检测部分平面，比如无法检测到桌面边缘区域的平面，另外，该方案不易扩展到基于双目鱼眼相机的AR眼镜上。
技术实现思路
[0004]根据本公开的方案之一，提供一种处理方法，包括：
[0005]获得电子设备当前所处环境的环境图像，获取所述环境图像上的点特征和/或线特征；
[0006]确定所述点特征和/或线特征的三维空间位置信息；
[0007]至少基于所述三维空间位置信息确定电子设备当前所处环境内的平面信息。
[0008]在一些实施例中，所述方法还包括：
[0009]至少基于所述平面信息将所述电子设备的待输出内容输出至所述环境内的目标平面。
[0010]在一些实施例中，获取所述环境图像上的点特征和/或线特征，包括：
[0011]提取所述环境图像中像素变化大于第一预设阈值的角点，将所述角点作为特征点，得到所述点特征；和/或，
[0012]提取所述环境图像中梯度变化大于第二预设阈值的像素，将所述像素作为特征线，得到所述线特征。
[0013]在一些实施例中，确定所述点特征和/或线特征的三维空间位置信息，包括：
[0014]对所述点特征和/或线特征进行解算，得到表征所述点特征的特征点和/或表征所述线特征的特征线的相对空间坐标，其中，所述点特征和/或线特征从利用单目相机采集的所述环境图像中提取；
[0015]利用惯性测量单元确定所述特征点和/或特征线的绝对空间坐标。
[0016]在一些实施例中，确定所述点特征和/或线特征的三维空间位置信息，包括：
[0017]对所述点特征和/或线特征进行解算，得到表征所述点特征的特征点和/或表征所述线特征的特征线的绝对空间坐标，其中，所述点特征和/或线特征从利用双目相机采集的所述环境图像中提取。
[0018]在一些实施例中，至少基于所述三维空间位置信息确定电子设备当前所处环境内的平面信息，包括：
[0019]至少基于多个特征点的三维空间位置信息，从所述多个特征点中选择三个第一特征点；
[0020]对三个所述第一特征点进行三角化，形成第一平面；
[0021]基于属于所述第一平面中第二特征点的数量，确定电子设备当前所处环境内的有效平面，其中，所述第二特征点为所述多个特征点中不同于所述第一特征点的特征点，所述有效平面为包含所述第二特征点最多的平面。
[0022]在一些实施例中，至少基于所述三维空间位置信息确定电子设备当前所处环境内的平面信息，包括：
[0023]至少基于多条特征线的三维空间位置信息，从多条所述特征线中选择两条第一特征线；
[0024]利用两条所述第一特征线形成第二平面；
[0025]基于多条所述特征线中的第二特征线检测所述第二平面是否有效，其中，所述第二特征线不同于所述第一特征线；
[0026]将有效的所述第二平面确定为电子设备当前所处环境内的有效平面。
[0027]在一些实施例中，其中，至少基于所述三维空间位置信息确定电子设备当前所处环境内的平面信息，包括：至少基于多个特征点的三维空间位置信息确定电子设备当前所处环境内的第三平面；
[0028]至少基于多条特征线的三维空间位置信息确定电子设备当前所处环境内的第四平面；
[0029]判断所述第三平面和所述第四平面是否为同一平面；
[0030]若是，将所述第三平面和所述第四平面融合后的第五平面确定为电子设备当前所处环境内的有效平面。
[0031]在一些实施例中，至少基于所述三维空间位置信息确定电子设备当前所处环境内的平面信息，包括：
[0032]至少基于多个特征点的三维空间位置信息确定电子设备当前所处环境内的第一有效平面；
[0033]基于所述第一有效平面内至少一条特征线的三维空间位置信息确定所述第一有效平面的边缘信息；或，
[0034]至少基于多条特征线的三维空间位置信息确定电子设备当前所处环境内的第二有效平面；
[0035]基于所述第二有效平面内多个特征点的三维空间位置信息对所述第二有效平面进行扩展，确定所述第二有效平面的边缘信息。
[0036]根据本公开的方案之一，还提供一种处理装置，包括：
[0037]获取模块，用于获得电子设备当前所处环境的环境图像，获取所述环境图像上的
点特征和/或线特征；
[0038]第一确定模块，用于确定所述点特征和/或线特征的三维空间位置信息；
[0039]第二确定模块，用于至少基于所述三维空间位置信息确定电子设备当前所处环境内的平面信息。
[0040]根据本公开的方案之一，还提供一种电子设备，包括处理器和存储器，所述存储器用于存储计算机可执行指令，所述处理器执行所述计算机可执行指令时实现上述的处理方法。
[0041]根据本公开的方案之一，提供一种计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令由处理器执行时，实现上述的处理方法。
[0042]本公开的各种实施例提供的处理方法及装置，通过采用通用的单目或多目相机采集电子设备当前所处环境的环境图像，并从中提取点特征和/或线特征，基于提取的点特征和/或线特征确定电子设备当前所处环境内的平面信息，操作方便，无需使用深度相机，通用性强；同时，可以准确、全面地检测出电子设备当前所处环境内的平面信息，在纹理较少的环境中也能够准确确定平面信息，具有较好的鲁棒性；另外，本公开实施例提供的处理方法仅需提取稀疏的点特征和线特征，不涉及稠密特征提取，能够实时确定平面信息，提高处理效率。
附图说明
[0043]图1示出本公开实施例的处理方法的流程图；
[0044]图2示出本公开实施例的利用点特征确定平面信息的方法的流程图；
[0045]图3示出本公开实施例的利用线特征确定平面信息的方法的流程图；
[0046]图4示出本公开实施例的利用点特征和线特征确定平面信息的方法的流程图；
[0047]图5示出本公开实施例的利用点特征和线特征确定本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种处理方法，包括：获得电子设备当前所处环境的环境图像，获取所述环境图像上的点特征和/或线特征；确定所述点特征和/或线特征的三维空间位置信息；至少基于所述三维空间位置信息确定电子设备当前所处环境内的平面信息。2.根据权利要求1所述的方法，还包括：至少基于所述平面信息将所述电子设备的待输出内容输出至所述环境内的目标平面。3.根据权利要求1所述的方法，其中，获取所述环境图像上的点特征和/或线特征，包括：提取所述环境图像中像素变化大于第一预设阈值的角点，将所述角点作为特征点，得到所述点特征；和/或，提取所述环境图像中梯度变化大于第二预设阈值的像素，将所述像素作为特征线，得到所述线特征。4.根据权利要求1所述的方法，其中，确定所述点特征和/或线特征的三维空间位置信息，包括：对所述点特征和/或线特征进行解算，得到表征所述点特征的特征点和/或表征所述线特征的特征线的相对空间坐标，其中，所述点特征和/或线特征从利用单目相机采集的所述环境图像中提取；利用惯性测量单元确定所述特征点和/或特征线的绝对空间坐标。5.根据权利要求1所述的方法，其中，确定所述点特征和/或线特征的三维空间位置信息，包括：对所述点特征和/或线特征进行解算，得到表征所述点特征的特征点和/或表征所述线特征的特征线的绝对空间坐标，其中，所述点特征和/或线特征从利用双目相机采集的所述环境图像中提取。6.根据权利要求1所述的方法，其中，至少基于所述三维空间位置信息确定电子设备当前所处环境内的平面信息，包括：至少基于多个特征点的三维空间位置信息，从所述多个特征点中选择三个第一特征点；对三个所述第一特征点进行三角化，形成第一平面；基于属于所述第一平面中第二特征点的数量，确定电子设备当前所处环境内的有效平面，其中，所述第二特征点为所述多个特征点中不同于所述第一特征点的特征点，所述有效平面为...
【专利技术属性】
技术研发人员：刘超，陈玉琨，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。