一种用于增强现实的实时图像叠加方法以及装置制造方法及图纸

本发明专利技术公开了一种用于增强现实的实时图像叠加方法以及装置，由于采用了在单目摄像机实时拍摄预设场景的过程中，确定当前关键帧中的平面以及每一个平面上最长的边缘直线，并在将虚拟图像叠加到当前关键帧中的第一平面时，将虚拟图像中主要特征物的贴合面与第一平面贴合，并且将主要特征物的正向边设置为与第一平面的边缘直线平行或者垂直的技术方案，所以无需预先对真实环境进行数字化处理即能够向用户提供AR技术的视觉体验，减少了用户体验到AR技术的前置步骤，实时性较强，适用范围也大大提高，同时也结合了真实环境中平面的实际边缘，明显提高了虚拟图像中的主要特征物的真实性。

【技术实现步骤摘要】
一种用于增强现实的实时图像叠加方法以及装置
本专利技术涉及增强现实领域，尤其涉及一种用于增强现实的实时图像叠加方法以及装置。
技术介绍
增强现实(英文：AugmentedReality；简称：AR)是近年来机器视觉领域备受关注的热点研究之一，目的是在AR设备的屏幕上所呈现的由摄像机采集的真实环境中，通过特殊的计算机图像和视频处理算法，把虚拟图像叠加到真实环境的图像上，使得用户能够获得全新的超越现实的感官体验。在把虚拟图像叠加到真实环境的图像上时，需要获得真实环境的数字化模型，才能够保证虚拟图像叠加时的准确性。目前，对真实环境的数字化处理一般需要预先处理完成，例如，先通过激光式扫描仪或照相式扫描仪建立点云数据，再对点云数据进行平面检测等相应的处理，对真实环境的数字化处理完成之后，才能够提供给AR技术使用。可以看出，由于现有的AR技术中对真实环境的数字化需要预先进行处理，实时性较低，所以增加了用户体验到AR技术的前置步骤，也增加了用户花费的时间和精力，导致用户对AR技术的用户体验较低。因此，现有的AR技术中存在因需要对真实环境的数字化需要预先进行处理，导致增加了用户体验到AR技术的前置步骤，以及增加了用户花费的时间和精力的技术问题。
技术实现思路
本专利技术的目的是提供一种用于增强现实的实时图像叠加方法以及装置，解决了现有技术中存在的因没有结合真实环境的实际边缘进行图像叠加，而降低了虚拟物体的真实性的技术问题。为了实现上述专利技术目的，本专利技术一方面提供了一种用于增强现实的实时图像叠加方法，包括：获取一单目摄像机实时拍摄预设场景时的视频信息，并从所述视频信息中确定出关键帧；根据当前关键帧和所述当前关键帧的在前关键帧实时建立点云数据，所述当前关键帧和所述在前关键帧之间的视差角大于预设视差角，所述点云数据中的每个数据点包含三维坐标；将所述当前关键帧对应的点云数据投影到所述当前关键帧上，根据投影结果以及所述当前帧的超像素分割结果，确定所述当前关键帧中的每个超像素对应的平面；根据所述投影结果以及所述每个超像素对应的平面，确定每个平面的边缘区域的数据点，并根据确定出的边缘区域的数据点，获得每个平面的边缘直线集合，并从所述边缘直线集合中确定出每个平面的最长边缘直线；在将虚拟图像叠加到所述当前关键帧中的第一平面上时，将所述虚拟图像中主要特征物的贴合面与所述第一平面贴合，且将所述主要特征物的正向边设置为与所述第一平面的最长边缘直线平行或者垂直，所述正向边为所述主要特征物的预设朝向面和预设底面之间的相交线。可选地，所述根据投影结果以及所述当前帧的超像素分割结果，确定所述当前关键帧中的平面，具体包括：根据投影点与当前关键帧中每个超像素的距离，建立与投影点对应的数据点与当前关键帧中每个超像素之间的关联；根据每个超像素关联的数据点，拟合每个超像素对应的平面方程。可选地，所述从所述边缘直线集合中确定出每个平面的最长边缘直线，具体为：将所述边缘直线集合中长度最长和/或直线的两边预设范围内数据点数目之和的差最大的直线，作为所述最长边缘直线。可选地，在所述将所述边缘直线集合中长度最长和/或直线的两边预设范围内数据点数目之和的差最大的直线，作为所述最长边缘直线之前，所述方法还包括：以所述边缘直线集合中每条直线关联的数据点作为其对应的置信度；去除所述边缘直线集合中置信度低于第一阈值的直线。可选地，在所述确定所述当前关键帧中的每个超像素对应的平面之后，在所述从所述边缘直线集合中确定出每个平面的最长边缘直线之前，所述方法还包括：判断所述当前关键帧中的第二平面是否需要与第三平面融合，所述第三平面为所述当前关键帧中的平面或所述在前关键帧中的平面；在所述第二平面需要与所述第三平面融合时，根据第二平面和第三平面关联的所有数据点重新拟合平面方程；重新确定融合之后的平面的边缘区域的数据点；将所述第二平面的边缘直线集合中的直线投影到所述融合之后的平面中，并去除未关联到所述融合之后的平面的边缘区域的数据点的直线，获得第一投影边缘直线集合，以及将所述第三平面的第二边缘直线集合中的直线投影到所述融合之后的平面中，并去除未关联到所述融合之后的平面的边缘区域的数据点的直线，获得第二投影边缘直线集合，并计算所述第一投影边缘直线集合中第一直线和所述第二投影边缘直线集合中第二直线之间的夹角，若所述第一直线和所述第二直线之间的夹角小于第二阈值，则融合两条直线。可选地，在所述从所述边缘直线集合中确定出每个平面的最长边缘直线时，所述方法还包括：为每个平面确定一个矩形，所述矩形的一边平行于其所在平面的最长边缘直线；在所述将虚拟图像叠加到所述当前关键帧中的第一平面上时，所述方法还包括：根据所述第一平面对应的矩形和所述主要特征物的相对大小，调整所述主要特征物的大小。可选地，所述为每个平面确定一个矩形，具体包括：根据每个平面对应的所有边缘点，确定每个平面的中心；以所述每个平面的中心为中心，建立面积等于第三阈值的第一矩形；检测所述第一矩形与其对应的平面之间的共同面积；若所述共同面积与所述第一矩形之间的比值大于第四阈值，则以所述中心到所述第一矩形的四边的方向对所述第一矩形进行扩大，获得扩大后的第二矩形；将面积最大的第二矩形作为每个平面的矩形。本专利技术实施例另一方面还一种用于增强现实的实时图像叠加装置，包括：关键帧确定单元，用于获取一单目摄像机实时拍摄预设场景时的视频信息，并从所述视频信息中确定出关键帧；点云数据建立单元，用于根据当前关键帧和所述当前关键帧的在前关键帧实时建立点云数据，所述当前关键帧和所述在前关键帧之间的视差角大于预设视差角，所述点云数据中的每个数据点包含三维坐标；平面确定单元，将所述当前关键帧对应的点云数据投影到所述当前关键帧上，根据投影结果以及所述当前帧的超像素分割结果，确定所述当前关键帧中的每个超像素对应的平面；边缘直线确定单元，用于根据所述投影结果以及所述每个超像素对应的平面，确定每个平面的边缘区域的数据点，并根据确定出的边缘区域的数据点，获得每个平面的边缘直线集合，并从所述边缘直线集合中确定出每个平面的最长边缘直线；图像叠加单元，用于在将虚拟图像叠加到所述当前关键帧中的第一平面上时，将所述虚拟图像中主要特征物的贴合面与所述第一平面贴合，且将所述主要特征物的正向边设置为与所述第一平面的最长边缘直线平行或者垂直，所述正向边为所述主要特征物的预设朝向面和预设底面之间的相交线。可选地，所述平面确定单元具体用于根据投影点与当前关键帧中每个超像素的距离，建立与投影点对应的数据点与当前关键帧中每个超像素之间的关联，并根据每个超像素关联的数据点，拟合每个超像素对应的平面方程。可选地，所述边缘直线确定单元具体用于将所述边缘直线集合中长度最长和/或直线的两边预设范围内数据点数目之和的差最大的直线，作为所述最长边缘直线。可选地，所述边缘直线确定单元具体还用于在所述将所述边缘直线集合中长度最长和/或直线的两边预设范围内数据点数目之和的差最大的直线，作为所述最长边缘直线之前，以所述边缘直线集合中每条直线关联的数据点作为其对应的置信度，并去除所述边缘直线集合中置信度低于第一阈值的直线。可选地，所述平面确定单元具体还用于在在所述确定所述当前关键帧中的每个超像素对应的平面之后，在所述从所述边缘直线集合中确本文档来自技高网...

【技术保护点】
一种用于增强现实的实时图像叠加方法，其特征在于，包括：获取一单目摄像机实时拍摄预设场景时的视频信息，并从所述视频信息中确定出关键帧；根据当前关键帧和所述当前关键帧的在前关键帧实时建立点云数据，所述当前关键帧和所述在前关键帧之间的视差角大于预设视差角，所述点云数据中的每个数据点包含三维坐标；将所述当前关键帧对应的点云数据投影到所述当前关键帧上，根据投影结果以及所述当前帧的超像素分割结果，确定所述当前关键帧中的每个超像素对应的平面；根据所述投影结果以及所述每个超像素对应的平面，确定每个平面的边缘区域的数据点，并根据确定出的边缘区域的数据点，获得每个平面的边缘直线集合，并从所述边缘直线集合中确定出每个平面的最长边缘直线；在将虚拟图像叠加到所述当前关键帧中的第一平面上时，将所述虚拟图像中主要特征物的贴合面与所述第一平面贴合，且将所述主要特征物的正向边设置为与所述第一平面的最长边缘直线平行或者垂直，所述正向边为所述主要特征物的预设朝向面和预设底面之间的相交线。

【技术特征摘要】
1.一种用于增强现实的实时图像叠加方法，其特征在于，包括：获取一单目摄像机实时拍摄预设场景时的视频信息，并从所述视频信息中确定出关键帧；根据当前关键帧和所述当前关键帧的在前关键帧实时建立点云数据，所述当前关键帧和所述在前关键帧之间的视差角大于预设视差角，所述点云数据中的每个数据点包含三维坐标；将所述当前关键帧对应的点云数据投影到所述当前关键帧上，根据投影结果以及所述当前帧的超像素分割结果，确定所述当前关键帧中的每个超像素对应的平面；根据所述投影结果以及所述每个超像素对应的平面，确定每个平面的边缘区域的数据点，并根据确定出的边缘区域的数据点，获得每个平面的边缘直线集合，并从所述边缘直线集合中确定出每个平面的最长边缘直线；在将虚拟图像叠加到所述当前关键帧中的第一平面上时，将所述虚拟图像中主要特征物的贴合面与所述第一平面贴合，且将所述主要特征物的正向边设置为与所述第一平面的最长边缘直线平行或者垂直，所述正向边为所述主要特征物的预设朝向面和预设底面之间的相交线。2.如权利要求1所述的实时图像叠加方法，其特征在于，所述根据投影结果以及所述当前帧的超像素分割结果，确定所述当前关键帧中的平面，具体包括：根据投影点与当前关键帧中每个超像素的距离，建立与投影点对应的数据点与当前关键帧中每个超像素之间的关联；根据每个超像素关联的数据点，拟合每个超像素对应的平面方程。3.如权利要求1所述的实时图像叠加方法，其特征在于，所述从所述边缘直线集合中确定出每个平面的最长边缘直线，具体为：将所述边缘直线集合中长度最长和/或直线的两边预设范围内数据点数目之和的差最大的直线，作为所述最长边缘直线。4.如权利要求3所述的实时图像叠加方法，其特征在于，在所述将所述边缘直线集合中长度最长和/或直线的两边预设范围内数据点数目之和的差最大的直线，作为所述最长边缘直线之前，所述方法还包括：以所述边缘直线集合中每条直线关联的数据点作为其对应的置信度；去除所述边缘直线集合中置信度低于第一阈值的直线。5.如权利要求1所述的实时图像叠加方法，其特征在于，在所述获得每个平面的边缘直线集合之后，在所述从所述边缘直线集合中确定出每个平面的最长边缘直线之前，所述方法还包括：判断所述当前关键帧中的第二平面是否需要与第三平面融合，所述第三平面为所述当前关键帧中的平面或所述在前关键帧中的平面；在所述第二平面需要与所述第三平面融合时，根据第二平面和第三平面关联的所有数据点重新拟合平面方程；重新确定融合之后的平面的边缘区域的数据点；将所述第二平面的边缘直线集合中的直线投影到所述融合之后的平面中，并去除未关联到所述融合之后的平面的边缘区域的数据点的直线，获得第一投影边缘直线集合，以及将所述第三平面的第二边缘直线集合中的直线投影到所述融合之后的平面中，并去除未关联到所述融合之后的平面的边缘区域的数据点的直线，获得第二投影边缘直线集合，并计算所述第一投影边缘直线集合中第一直线和所述第二投影边缘直线集合中第二直线之间的夹角，若所述第一直线和所述第二直线之间的夹角小于第二阈值，则融合两条直线。6.如权利要求1-5中任一权项所述的实时图像叠加方法，其特征在于，在所述从所述边缘直线集合中确定出每个平面的最长边缘直线时，所述方法还包括：为每个平面确定一个矩形，所述矩形的一边平行于其所在平面的最长边缘直线；在所述将虚拟图像叠加到所述当前关键帧中的第一平面上时，所述方法还包括：根据所述第一平面对应的矩形和所述主要特征物的相对大小，调整所述主要特征物的大小。7.如权利要求6所述的实时图像叠加方法，其特征在于，所述为每个平面确定一个矩形，具体包括：根据每个平面对应的所有边缘点，确定每个平面的中心；以所述每个平面的中心为中心，建立面积等于第三阈值的第一矩形；检测所述第一矩形与其对应的平面之间的共同面积；若所述共同面积与所述第一矩形之间的比值大于第四阈值，则以所述中心到所述第一矩形的四边的方向对所述第一矩形进行扩大，获得扩大后的第二矩形；将面积最大的第二矩形作为每个平面的矩形。8.一种用于增强现实的实时图像叠加装置，其特征在于，...

【专利技术属性】
技术研发人员：黄敏，郑黎力，
申请(专利权)人：成都理想境界科技有限公司，
类型：发明
国别省市：四川,51