AR眼镜的位姿确定方法、装置及设备、存储介质制造方法及图纸

技术编号:28033440 阅读:16 留言:0更新日期:2021-04-09 23:15
本发明专利技术提供一种AR眼镜的位姿确定方法、装置及设备、存储介质,结果更为准确。AR眼镜处于可移动厢体内部,可移动厢体内设置有摄像头;所述AR眼镜上设置有N1个第一标记件,该方法包括:从第一摄像头当前采集的图像中检测出第一标记件;在被检出第一标记件的数量达到M1时,获取每一被检出第一标记件在图像中的观测位置信息;获取被检出第一标记件在第一坐标系中的第一位置信息,第一坐标系为AR眼镜所应用的坐标系;根据各个被检出第一标记件的第一位置信息以及观测位置信息,计算出当前的第一转换关系;第一转换关系为第一坐标系到第一摄像头所应用的第二坐标系之间的转换关系,第一转换关系用于表征AR眼镜相对于第一摄像头的位姿关系。

【技术实现步骤摘要】
AR眼镜的位姿确定方法、装置及设备、存储介质
本专利技术涉及头戴式智能设备定位
,尤其涉及一种AR眼镜的位姿确定方法、装置及设备、存储介质。
技术介绍
AR增强现实技术是一种将虚拟信息与真实世界巧妙融合的技术,通过在现实空间叠加显示虚拟空间的内容来增强现实的感觉,广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段,将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后,应用到真实世界中,两种信息互为补充,从而实现对真实世界的“增强”。AR眼镜的应用场景分为室外、室内和可移动厢体,无论在哪种场景,通常都需要实现对AR眼镜的定位。室外场景下,可以通过AR眼镜自身携带的GPS来获得AR眼镜的位置信息。室内场景下,AR眼镜可以通过内置的摄像头、惯性测量器件等内置传感器进行inside-outSLAM(一种空间定位方式)获得位姿信息。目前,在可移动厢体的场景下,同样采用通过内置传感器实现inside-outSLAM来获得位姿信息,但是,在可移动厢体处于运动的情况下,厢体内的光场受箱体外光照的影响,厢体的物体运动状态受到厢体本身的运动速度的影响,厢体外的环境相对于眼镜是运动的,就会使得通过内置传感器实现inside-outSLAM获得的位姿信息的精度下降。因此,上述方式应用于可移动厢体场景下时,仍无法获得AR眼镜准确的位姿信息。
技术实现思路
本专利技术提供一种AR眼镜的位姿确定方法、装置及设备、存储介质,结果更为准确。本专利技术的第一方面提供了一种AR眼镜的位姿确定方法,所述AR眼镜处于可移动厢体内部,所述可移动厢体内设置有至少一个摄像头;所述AR眼镜上设置有N1个第一标记件,所述N1大于1;该方法包括:从第一摄像头当前采集的图像中检测出第一标记件,所述第一摄像头为所述可移动厢体内设置的任一摄像头;在被检出第一标记件的数量达到M1时,获取每一被检出第一标记件在所述图像中的观测位置信息;所述M1大于1且小于或等于N1;获取被检出第一标记件在第一坐标系中的第一位置信息,所述第一坐标系为所述AR眼镜所应用的坐标系;根据各个被检出第一标记件的第一位置信息以及观测位置信息,计算出当前的第一转换关系;所述第一转换关系为所述第一坐标系到所述第一摄像头所应用的第二坐标系之间的转换关系,所述第一转换关系用于表征所述AR眼镜相对于所述第一摄像头的位姿关系。根据本专利技术的一个实施例,所述第一转换关系包括所述AR眼镜从所述第一坐标系到所述第二坐标系的第一旋转矩阵与第一平移矩阵;所述根据各个被检出第一标记件的第一位置信息以及观测位置信息,计算出当前的第一转换关系,包括:获取针对所述第一坐标系与第二坐标系已构建的第一初始旋转矩阵与第一初始平移矩阵,所述第一初始旋转矩阵与第一初始平移矩阵中具有待求解的未知数;针对每一被检出第一标记件,基于所述第一初始旋转矩阵与第一初始平移矩阵对该第一标记件的第一位置信息进行转换,以得到该第一标记件在所述第二坐标系中的估计位置信息;基于各个被检出第一标记件的估计位置信息和观测位置信息,对所述第一初始旋转矩阵与第一初始平移矩阵进行求解,以得到所述第一旋转矩阵与第一平移矩阵。根据本专利技术的一个实施例,基于各个被检出第一标记件的估计位置信息和观测位置信息,对所述第一初始旋转矩阵与第一初始平移矩阵进行求解,包括:根据所述第一摄像头被标定的内参,将所述观测位置信息转换至所述第二坐标系的第一指定平面,以得到第二位置信息;将所述估计位置信息投影至所述第一指定平面,以得到第三位置信息;基于各个被检出第一标记件的第二位置信息与第三位置信息相等的关系,求解出所述第一初始旋转矩阵与第一初始平移矩阵中的未知数。根据本专利技术的一个实施例,根据各个被检出第一标记件的第一位置信息以及观测位置信息,计算出当前的第一转换关系之后,该方法还包括:根据所述第一摄像头与所述可移动厢体内设置的其他摄像头之间的位置关系、以及所述第一转换关系,计算出第二转换关系;所述第二转换关系为所述AR眼镜所应用的第一坐标系到所述其他摄像头所应用的第三坐标系之间的转换关系,所述第二转换关系用于表征所述AR眼镜相对于所述其他摄像头的位姿关系。根据本专利技术的一个实施例,根据各个被检出第一标记件的第一位置信息以及观测位置信息,计算出当前的第一转换关系之后,该方法还包括:根据所述当前的第一转换关系、以及指定时刻得到的第一转换关系,确定所述AR眼镜从指定时刻到当前的位姿变换情况。本专利技术第二方面提供一种AR眼镜的位姿确定方法,所述AR眼镜处于可移动厢体内部,所述可移动厢体内设置有至少一个发射装置,所述发射装置用于发射指示信号、X轴旋转激光信号以及Y轴旋转激光信号,所述指示信号用于指示开始发射X轴旋转激光信号,所述X轴旋转激光信号在发射完指示信号时发射、为绕Y轴旋转的线激光信号,所述Y轴旋转激光信号在发射完X轴激光旋转信号时发射、为绕X轴旋转的线激光信号,所述X轴和Y轴为发射装置应用的第四坐标系中的两个不同轴;所述AR眼镜上设置有N2个检测件,所述N2大于1;该方法包括:获取检测件在检测到第一发射装置发射的指示信号的第一时刻、X轴旋转激光信号经过所述检测件时的第二时刻、以及Y轴旋转激光信号经过所述检测件时的第三时刻;所述第一发射装置为所述可移动厢体内设置的任一发射装置;基于所述第一时刻和第二时刻确定各检测件对应的第一夹角,并基于所述第一时刻和第三时刻确定各检测件对应的第二夹角;所述第一夹角为所述X轴旋转激光信号经过对应的检测件时的扫描平面与所述第四坐标系的第二指定平面之间的夹角,所述第二夹角为所述Y轴旋转激光信号经过对应的检测件时的扫描平面与所述第二指定平面之间的夹角;基于检测件对应的第一夹角与第二夹角确定检测件被投影至所述第二指定平面的第四位置信息;获取各检测件在第一坐标系中的第五位置信息,所述第一坐标系为所述AR眼镜所应用的坐标系;根据各检测件的第四位置信息以及第五位置信息,计算出当前的第三转换关系;所述第三转换关系为所述第一坐标系到所述第四坐标系之间的转换关系,所述第三转换关系用于表征所述AR眼镜相对于所述第一发射装置的位姿关系。根据本专利技术的一个实施例,基于所述第一时刻和第二时刻确定各检测件对应的第一夹角,包括:计算所述第二时刻与第一时刻之间的第一时间差;根据所述第一时间差以及与所述X轴旋转激光信号对应的X轴旋转角速度,确定所述检测件对应的第一夹角。根据本专利技术的一个实施例,基于所述第一时刻和第三时刻确定各检测件对应的第二夹角,包括:计算所述第三时刻与所述第一时刻的时间差,并计算该时间差与设定时长的时间差,得到第二时间差,所述设定时长为所述第一发射装置发射所述X轴激光旋转信号的时长;根据所述第二时间差、以及与所述Y轴旋转激光信号对应的Y轴旋转角速度,确定所述检测件对应的第二夹角。根据本专利技术的一个实施例,所述第三转换关系本文档来自技高网...

【技术保护点】
1.一种AR眼镜的位姿确定方法,其特征在于,所述AR眼镜处于可移动厢体内部,所述可移动厢体内设置有至少一个摄像头;所述AR眼镜上设置有N1个第一标记件,所述N1大于1;该方法包括:/n从第一摄像头当前采集的图像中检测出第一标记件,所述第一摄像头为所述可移动厢体内设置的任一摄像头;/n在被检出第一标记件的数量达到M1时,获取每一被检出第一标记件在所述图像中的观测位置信息;所述M1大于1且小于或等于N1;/n获取被检出第一标记件在第一坐标系中的第一位置信息,所述第一坐标系为所述AR眼镜所应用的坐标系;/n根据各个被检出第一标记件的第一位置信息以及观测位置信息,计算出当前的第一转换关系;所述第一转换关系为所述第一坐标系到所述第一摄像头所应用的第二坐标系之间的转换关系,所述第一转换关系用于表征所述AR眼镜相对于所述第一摄像头的位姿关系。/n

【技术特征摘要】
1.一种AR眼镜的位姿确定方法,其特征在于,所述AR眼镜处于可移动厢体内部,所述可移动厢体内设置有至少一个摄像头;所述AR眼镜上设置有N1个第一标记件,所述N1大于1;该方法包括:
从第一摄像头当前采集的图像中检测出第一标记件,所述第一摄像头为所述可移动厢体内设置的任一摄像头;
在被检出第一标记件的数量达到M1时,获取每一被检出第一标记件在所述图像中的观测位置信息;所述M1大于1且小于或等于N1;
获取被检出第一标记件在第一坐标系中的第一位置信息,所述第一坐标系为所述AR眼镜所应用的坐标系;
根据各个被检出第一标记件的第一位置信息以及观测位置信息,计算出当前的第一转换关系;所述第一转换关系为所述第一坐标系到所述第一摄像头所应用的第二坐标系之间的转换关系,所述第一转换关系用于表征所述AR眼镜相对于所述第一摄像头的位姿关系。


2.如权利要求1所述的AR眼镜的位姿确定方法,其特征在于,
所述第一转换关系包括所述AR眼镜从所述第一坐标系到所述第二坐标系的第一旋转矩阵与第一平移矩阵;
所述根据各个被检出第一标记件的第一位置信息以及观测位置信息,计算出当前的第一转换关系,包括:
获取针对所述第一坐标系与第二坐标系已构建的第一初始旋转矩阵与第一初始平移矩阵,所述第一初始旋转矩阵与第一初始平移矩阵中具有待求解的未知数;
针对每一被检出第一标记件,基于所述第一初始旋转矩阵与第一初始平移矩阵对该第一标记件的第一位置信息进行转换,以得到该第一标记件在所述第二坐标系中的估计位置信息;
基于各个被检出第一标记件的估计位置信息和观测位置信息,对所述第一初始旋转矩阵与第一初始平移矩阵进行求解,以得到所述第一旋转矩阵与第一平移矩阵。


3.如权利要求2所述的AR眼镜的位姿确定方法,其特征在于,基于各个被检出第一标记件的估计位置信息和观测位置信息,对所述第一初始旋转矩阵与第一初始平移矩阵进行求解,包括:
根据所述第一摄像头被标定的内参,将所述观测位置信息转换至所述第二坐标系的第一指定平面,以得到第二位置信息;
将所述估计位置信息投影至所述第一指定平面,以得到第三位置信息;
基于各个被检出第一标记件的第二位置信息与第三位置信息相等的关系,求解出所述第一初始旋转矩阵与第一初始平移矩阵中的未知数。


4.如权利要求1所述的AR眼镜的位姿确定方法,其特征在于,根据各个被检出第一标记件的第一位置信息以及观测位置信息,计算出当前的第一转换关系之后,该方法还包括:
根据所述第一摄像头与所述可移动厢体内设置的其他摄像头之间的位置关系、以及所述第一转换关系,计算出第二转换关系;所述第二转换关系为所述AR眼镜所应用的第一坐标系到所述其他摄像头所应用的第三坐标系之间的转换关系,所述第二转换关系用于表征所述AR眼镜相对于所述其他摄像头的位姿关系。


5.如权利要求1所述的AR眼镜的位姿确定方法,其特征在于,根据各个被检出第一标记件的第一位置信息以及观测位置信息,计算出当前的第一转换关系之后,该方法还包括:
根据所述当前的第一转换关系、以及指定时刻得到的第一转换关系,确定所述AR眼镜从指定时刻到当前的位姿变换情况。


6.一种AR眼镜的位姿确定方法,其特征在于,所述AR眼镜处于可移动厢体内部,所述可移动厢体内设置有至少一个发射装置,所述发射装置用于发射指示信号、X轴旋转激光信号以及Y轴旋转激光信号,所述指示信号用于指示开始发射X轴旋转激光信号,所述X轴旋转激光信号在发射完指示信号时发射、为绕Y轴旋转的线激光信号,所述Y轴旋转激光信号在发射完X轴激光旋转信号时发射、为绕X轴旋转的线激光信号,所述X轴和Y轴为发射装置应用的第四坐标系中的两个不同轴;所述AR眼镜上设置有N2个检测件,所述N2大于1;该方法包括:
获取检测件在检测到第一发射装置发射的指示信号的第一时刻、X轴旋转激光信号经过所述检测件时的第二时刻、以及Y轴旋转激光信号经过所述检测件时的第三时刻;所述第一发射装置为所述可移动厢体内设置的任一发射装置;
基于所述第一时刻和第二时刻确定各检测件对应的第一夹角,并基于所述第一时刻和第三时刻确定各检测件对应的第二夹角;所述第一夹角为所述X轴旋转激光信号经过对应的检测件时的扫描平面与所述第四坐标系的第二指定平面之间的夹角,所述第二夹角为所述Y轴旋转激光信号经过对应的检测件时的扫描平面与所述第二指定平面之间的夹角;
基于检测件对应的第一夹角与第二夹角确定检测件被投影至所述第二指定平面的第四位置信息;
获取各检测件在第一坐标系中的第五位置信息,所述第一坐标系为所述AR眼镜所应用的坐标系;
根据各检测件的第四位置信息以及第五位置信息,计算出当前的第三转换关系;所述第三转换关系为所述第一坐标系到所述第四坐标系之间的转换关系,所述第三转换关系用于表征所述AR眼镜相对于所述第一发射装置的位姿关系。


7.如权利要求6所述的AR眼镜的位姿确定方法,其特征在于,基于所述第一时刻和第二时刻确定各检测件对应的第一夹角,包括:
计算所述第二时刻与第一时刻之间的第一时间差;
根据所述第一时间差以及与所述X轴旋转激光信号对应的X轴旋转角速度,确定所述检测件对应的第一夹角。


8.如权利要求6所述的AR眼镜的位姿确定方法,其特征在于,基于所述第一时刻和第三时刻确定各检测件对应的第二夹角,包括:
计算所述第三时刻与所述第一时刻的时间差,并计算该时间差与设定时长的时间差,得到第二时间差,所述设定时长为所述第一发射装置发射所述X轴激光旋转信号的时长;
根据所述第二时间差、以及与所述Y轴旋转激光信号对应的Y轴旋转角速度,确定所述检测件对应的第二夹角。


9.如权利要求6所述的AR眼镜的位姿确定方法,其特征在于,所述第三转换关系包括所述AR眼镜从所述第一坐标系到所述第四坐标系的第二旋转矩阵与第二平移矩阵;
根据各检测件的第四位置信息以及第五位置信息,计算出当前的第三转换关系,包括:
获取针对所述第一坐标系与第四坐标系已构建的第二初始旋转矩阵与第二初始平移矩阵,所述第二初始旋转矩阵与第二初始平移矩阵中具有待求解的未知数;
针对每一检测件,基于所述第二初始旋转矩阵与第二初始平移矩阵对该检测件的第五位置信息进行转换,以得到该检测件在所述第四坐标系中的第六位置信息;
基于各个检测件的第四位置信息和第六位置信息相等的关系,对所述第二初始旋转矩阵与第二初始平移矩阵进行求解,以得到所述第二旋转矩阵与第二平移矩阵。


10.如权利要求6所述的AR眼镜的位姿确定方法,其特征在于,根据各检测件的第四位置信息以及第五位置信息,计算出当前的第三转换关系之后,该方法还包括:
根据所述第一发射装置与所述可移动厢体内设置的其他发射装置之间的位置关系、以及所述第三转换关系,计算出第四转换关系;所述第四转换关系为所述AR眼镜所应用的第一坐标系到所述其他发射装置...

【专利技术属性】
技术研发人员:游立锦钟家跃潘东李海峰
申请(专利权)人:杭州光粒科技有限公司
类型:发明
国别省市:浙江;33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1