一种显示屏的位姿计算方法及系统技术方案

本发明专利技术涉及一种显示屏的位姿计算方法及系统，该方法包括：对获取的多帧运动前景图像在显示屏的范围内进行扩大处理进和凸包检测，并选取得到面积最大的凸包；根据凸包点与显示屏的各边缘的距离，将全部凸包点分成n组；分别对每组凸包点进行线性拟合；得到全部交点的像素坐标；获取显示屏的各顶点的世界坐标，根据全部像素坐标和全部世界坐标得到显示屏相对于拍摄装置的位姿。本发明专利技术提供的一种显示屏的位姿计算方法及系统，具有应用的灵活性大的优点，避免了基于标记的方法会因标记物识别不良导致算法失效的情形，在拍摄装置与显示屏之间的角度更大，距离更远时，依然能够准确识别，应用范围更广。

【技术实现步骤摘要】
一种显示屏的位姿计算方法及系统
本专利技术涉及计算机视觉应用领域，尤其涉及一种显示屏的位姿计算方法及系统。
技术介绍
目前，为了实现以固定视角显示设备场景以达到3D模型凸出屏幕的效果，通常采用对显示设备的显示区域放置若干个标记物以辅助识别的方法。这种方法通过识别特定编码类型和不同编码的标记物，获得标记物的位置，实现对显示设备的检测锁定及位姿估计。现有技术中，基于特定编码的标记物识别方法，通常受距离、角度、光照等外部因素的影响较大，易导致屏幕锁定失效及位姿估计不准确等问题。
技术实现思路
本专利技术所要解决的技术问题是针对现有技术的不足，提供一种无需辅助标记物的显示屏的位姿计算方法及系统。本专利技术解决上述技术问题的技术方案如下：一种显示屏的位姿计算方法，包括：通过拍摄装置获取显示屏的多帧运动前景图像；对多帧所述运动前景图像在所述显示屏的范围内进行扩大处理；对扩大处理后的多帧所述运动前景图像进行凸包检测，并选取得到面积最大的凸包；根据所述凸包的全部凸包点与所述显示屏的各边缘的距离，将全部所述凸包点分成n组，其中，n为所述显示屏的边缘数量；分别对每组所述凸包点进行线性拟合，得到n组凸包点直线；选取由全部所述凸包点直线组成的封闭图形中所包含的全部交点，得到全部所述交点的像素坐标；获取所述显示屏的各顶点的世界坐标，根据全部所述像素坐标和全部所述世界坐标得到所述显示屏相对于所述拍摄装置的位姿。本专利技术的有益效果是：本专利技术提供的一种显示屏的位姿计算方法，利用无辅助标记物的计算机视觉技术，通过对运动前景图像进行检测和识别，并结合显示屏各顶点的世界坐标获取显示屏的位姿，不需要对显示屏进行标记，就能完成对显示屏的锁定及显示屏相对拍摄装置的位姿估计，具有应用的灵活性大的优点，并且本专利技术是对运动前景图像进行检测，避免了基于标记的方法会因标记物识别不良导致算法失效的情形，在拍摄装置与显示屏之间的角度更大，距离更远时，依然能够准确识别，应用范围更广，例如，可以应用在增强现实系统中用于锁定显示屏的方位，或对显示屏进行定位定姿。在上述技术方案的基础上，本专利技术还可以做如下改进。进一步地，所述通过拍摄装置获取显示屏的多帧运动前景图像之后，还包括：对每帧所述运动前景图像进行二值化处理和开运算处理。采用上述进一步方案的有益效果是：通过对每帧所述运动前景图像进行二值化处理和开运算处理，可以避免图像中的杂质、噪点等对图像效果的影响，可以滤除零散的干噪点，提高识别准确度。进一步地，所述对扩大处理后的多帧所述运动前景图像进行凸包检测，具体包括：对扩大处理后的多帧所述运动前景图像进行轮廓检测，得到多帧所述运动前景图像的外部轮廓；对得到的全部所述外部轮廓进行凸包检测，得到多帧所述运动前景图像的凸包。进一步地，所述根据所述凸包的全部凸包点与所述显示屏的各边缘的距离，将全部所述凸包点分成n组，具体包括：根据所述凸包的全部凸包点与所述显示屏的各边缘的距离以及预存的RANSAC算法，将全部所述凸包点分成n组。进一步地，所述获取所述显示屏的各顶点的世界坐标，根据全部所述像素坐标和全部所述世界坐标得到所述显示屏相对于所述拍摄装置的位姿，具体包括：获取所述显示屏的各顶点的世界坐标；根据PNP求解模型对全部的所述像素坐标和全部的所述世界坐标进行处理，得到所述显示屏相对于所述拍摄装置的位姿。本专利技术解决上述技术问题的另一种技术方案如下：一种显示屏的位姿计算系统，包括：拍摄装置，用于获取显示屏的多帧运动前景图像；图像处理单元，用于对多帧所述运动前景图像在所述显示屏的范围内进行扩大处理；凸包检测单元，用于对扩大处理后的多帧所述运动前景图像进行凸包检测，并选取得到面积最大的凸包；凸包处理单元，用于根据所述凸包的全部凸包点与所述显示屏的各边缘的距离，将全部所述凸包点分成n组，其中，n为所述显示屏的边缘数量；坐标计算单元，用于分别对每组所述凸包点进行线性拟合，得到多组凸包点直线，并选取各组所述凸包点直线围成的包含全部所述凸包点直线的图形中所包含的全部交点，得到全部所述交点的像素坐标；位姿计算单元，用于获取所述显示屏的各顶点的世界坐标，根据全部所述像素坐标和全部所述世界坐标得到所述显示屏相对于所述拍摄装置的位姿。本专利技术的有益效果是：本专利技术提供的一种显示屏的位姿计算系统，利用无辅助标记物的计算机视觉技术，通过对运动前景图像进行检测和识别，并结合显示屏各顶点的世界坐标获取显示屏的位姿，不需要对显示屏进行标记，就能完成对显示屏的锁定及显示屏相对拍摄装置的位姿估计，具有应用的灵活性大的优点，并且本专利技术是对运动前景图像进行检测，避免了基于标记的方法会因标记物识别不良导致算法失效的情形，在拍摄装置与显示屏之间的角度更大，距离更远时，依然能够准确识别，应用范围更广，例如，可以应用在增强现实系统中用于锁定显示屏的方位，或对显示屏进行定位定姿。进一步地，所述图像处理单元还用于对每帧所述运动前景图像进行二值化处理和开运算处理。进一步地，所述凸包检测单元具体用于对扩大处理后的多帧所述运动前景图像进行轮廓检测，得到多帧所述运动前景图像的外部轮廓，并对得到的全部所述外部轮廓进行凸包检测，得到多帧所述运动前景图像的凸包。进一步地，所述凸包处理单元具体包括：根据所述凸包的全部凸包点与所述显示屏的各边缘的距离以及预存的RANSAC算法，将全部所述凸包点分成n组。进一步地，所述位姿计算单元具体用于获取所述显示屏的各顶点的世界坐标，并根据PNP求解模型对全部的所述像素坐标和全部的所述世界坐标进行处理，得到所述显示屏相对于所述拍摄装置的位姿。本专利技术附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术实践了解到。附图说明图1为本专利技术实施例提供的一种显示屏的位姿计算方法的流程示意图；图2为本专利技术另一实施例提供的一种显示屏的位姿计算方法的流程示意图；图3为本专利技术另一实施例提供的一种显示屏的位姿计算系统的结构框架图。具体实施方式以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。如图1所示，为本专利技术实施例提供的一种显示屏的位姿计算方法的流程示意图，在类似于增强现实系统或混合现实系统中，以固定视角显示场景达到3D虚拟模型凸出屏幕的效果，给他人以第三方视角观看和实时分享人机交互体验过程，或者录制操作虚拟场景的交互过程的相关应用中，常常需要对显示屏的显示区域进行提取识别并给定其相对于拍摄装置的相对位置变换关系。本实施例提供的显示屏的位姿计算方法，显示屏的位姿指的是显示屏相对于拍摄装置的位姿，具体可以体现为显示屏相对于拍摄装置的位置变换关系，例如，变换矩阵和平移向量等。该方法包括：S1，通过拍摄装置获取显示屏的多帧运动前景图像。其中，拍摄装置可以为摄像机等具有拍摄功能的终端设备，显示屏可以为平板电脑、手机、显示器等具有显示屏的终端设备，多帧运动前景图像可以为在预定时间间隔内，以预定次数连续拍摄的多帧图像经运动场景检测后得到的多帧运动前景图像，例如，可以在1秒内连续拍摄10张显示屏的图像，经运动场景检测后得到10帧连续的运动前景图像。优选地，通过拍摄装置获取显示屏的多帧运动前景图像，可以通过以下方法来实现：通过拍摄装置拍摄包含完整显示屏的多帧图像，然后对这多帧图像进行本文档来自技高网...

【技术保护点】
一种显示屏的位姿计算方法，其特征在于，包括：通过拍摄装置获取显示屏的多帧运动前景图像；对多帧所述运动前景图像在所述显示屏的范围内进行扩大处理；对扩大处理后的多帧所述运动前景图像进行凸包检测，并选取得到面积最大的凸包；根据所述凸包的全部凸包点与所述显示屏的各边缘的距离，将全部所述凸包点分成n组，其中，n为所述显示屏的边缘数量；分别对每组所述凸包点进行线性拟合，得到n组凸包点直线；选取由全部所述凸包点直线组成的封闭图形中所包含的全部交点，得到全部所述交点的像素坐标；获取所述显示屏的各顶点的世界坐标，根据全部所述像素坐标和全部所述世界坐标得到所述显示屏相对于所述拍摄装置的位姿。

【技术特征摘要】
1.一种显示屏的位姿计算方法，其特征在于，包括：通过拍摄装置获取显示屏的多帧运动前景图像；对多帧所述运动前景图像在所述显示屏的范围内进行扩大处理；对扩大处理后的多帧所述运动前景图像进行凸包检测，并选取得到面积最大的凸包；根据所述凸包的全部凸包点与所述显示屏的各边缘的距离，将全部所述凸包点分成n组，其中，n为所述显示屏的边缘数量；分别对每组所述凸包点进行线性拟合，得到n组凸包点直线；选取由全部所述凸包点直线组成的封闭图形中所包含的全部交点，得到全部所述交点的像素坐标；获取所述显示屏的各顶点的世界坐标，根据全部所述像素坐标和全部所述世界坐标得到所述显示屏相对于所述拍摄装置的位姿。2.根据权利要求1所述的位姿计算方法，其特征在于，所述通过拍摄装置获取显示屏的多帧运动前景图像之后，还包括：对每帧所述运动前景图像进行二值化处理和开运算处理。3.根据权利要求1所述的位姿计算方法，其特征在于，所述对扩大处理后的多帧所述运动前景图像进行凸包检测，具体包括：对扩大处理后的多帧所述运动前景图像进行轮廓检测，得到多帧所述运动前景图像的外部轮廓；对得到的全部所述外部轮廓进行凸包检测，得到多帧所述运动前景图像的凸包。4.根据权利要求1至3中任一项所述的位姿计算方法，其特征在于，所述根据所述凸包的全部凸包点与所述显示屏的各边缘的距离，将全部所述凸包点分成n组，具体包括：根据所述凸包的全部凸包点与所述显示屏的各边缘的距离以及预存的RANSAC算法，将全部所述凸包点分成n组。5.根据权利要求1至3中任一项所述的位姿计算方法，其特征在于，所述获取所述显示屏的各顶点的世界坐标，根据全部所述像素坐标和全部所述世界坐标得到所述显示屏相对于所述拍摄装置的位姿，具体包括：获取所述显示屏的各顶点的世界坐标；根据PNP求解模型对全部的所述像素坐标和全部的所述世界坐标进...

【专利技术属性】
技术研发人员：齐立文，王海，马康智，吴全磊，郭志奇，
申请(专利权)人：北京致臻智造科技有限公司，
类型：发明
国别省市：北京,11