增强现实中的特效随动渲染方法及装置制造方法及图纸

本发明专利技术提供一种增强现实中的特效随动渲染方法及装置，该方法包括：基于目标物体的特征点坐标与图像坐标的投影关系，根据实时视频流，依次确定每帧图像目标物体的位姿信息；根据雷达获取的每帧图像时刻目标物体的距离信息和角度信息，确定目标物体位置信息；根据所述位置信息对所述位姿信息进行修正，得到每帧图像目标物体的修正后位姿，并基于修正后位姿进行视频流的特效渲染。该方法通过相机和雷达分别获取位姿相关信息，融合了两种类型的传感器测量的位姿或位置信息，能够实时输出优化后准确的物体六自由度位姿，从而使具有相机和雷达的智能手机等设备，不添加额外硬件成本就能够对移动的对象进行随动特效渲染。够对移动的对象进行随动特效渲染。够对移动的对象进行随动特效渲染。

【技术实现步骤摘要】
增强现实中的特效随动渲染方法及装置


[0001]本专利技术涉及增强现实领域，尤其涉及一种增强现实中的特效随动渲染方法及装置。

技术介绍

[0002]增强现实(AR)通过摄像头在用户的视场上渲染虚拟特效来增强现实世界，从而有望在娱乐、教育和医疗保健领域提供前所未有的身临其境的沉浸式体验。最近，移动AR应用程序和系统的设计引起了业界和学术界的强烈兴趣。目前的移动AR解决方案(例如ARKit和ARCore)使智能手机能够将平面识别为锚点(即平面上的一组关键特征点)，并进一步允许用户将虚拟特效或虚拟对象固定在平面锚点上。
[0003]基于这些框架开发了许多著名的移动AR应用程序。此类应用利用视觉里程计或视觉惯性里程计来跟踪智能手机的位姿(位姿包含物体的位置和方向，位置和方向分别具有三个自由度，因此位姿是具有六个自由度的变量)，但是，这类应用仅能够估计智能设备自身的位姿，而缺乏追踪图像中物体位姿的能力，这对于在运动的物体对象上呈现连续的AR效果至关重要。例如，当图像中某个玩具龙(能喷射火焰)改变姿态时，通过现有的ARCore技术渲染的虚拟火焰可能会丢失其目标，产生错误的渲染效果。相反，如果能够获得玩具龙的六自由度位姿，就能够实时的在正确的位置渲染虚拟火焰，实现随动特效。同样，通过六自由度位姿追踪，可以将虚拟长度测量的效果附加在魔方上，而无论魔方的位姿是否发生变化，长度测量特效都保持在正确的位置。简而言之，物体的六自由度位姿追踪是跨越移动AR应用程序中虚拟与现实之间鸿沟的关键技术。
[0004]现有的基于视觉的六自由度位姿追踪解决方案依赖于昂贵且复杂的传感器设备，或者需要预先对特定的待追踪物体对象进行复杂的预建模以及对深度神经网络进行预训练。但是由于移动设备计算资源有限以及实际环境较为复杂，这些解决方案都无法在商用的智能手机上使用。

技术实现思路

[0005]针对现有技术存在的问题，本专利技术提供一种增强现实中的特效随动渲染方法及装置。
[0006]本专利技术提供一种增强现实中的特效随动渲染方法，包括：基于目标物体的特征点坐标与图像坐标的投影关系，根据实时视频流，依次确定每帧图像中目标物体的位姿信息；根据雷达获取的每帧图像时刻目标物体的距离信息和角度信息，确定目标物体位置信息；根据所述位置信息对所述位姿信息进行修正，得到每帧图像目标物体的修正后位姿，并基于修正后位姿进行视频流的特效渲染。
[0007]根据本专利技术一个实施例的增强现实中的特效随动渲染方法，所述根据实时视频流，依次确定每帧图像中目标物体的位姿信息，还包括：确定图像中目标物体的ORB特征点，对相邻两帧的特征点进行匹配，构建特征点坐标与图像坐标的投影关系。
[0008]根据本专利技术一个实施例的增强现实中的特效随动渲染方法，所述根据雷达获取的每帧图像时刻目标物体的距离信息和角度信息，确定目标物体位置信息之前，还包括：根据雷达发射信号和接收信号的频率差，确定信号传播时间，根据所述传播时间确定每帧图像目标物体的距离信息。
[0009]根据本专利技术一个实施例的增强现实中的特效随动渲染方法，所述根据雷达获取的每帧图像时刻目标物体的距离信息和角度信息，确定目标物体位置信息之前，还包括：根据布置为正交的两组天线阵列，分别根据每组天线阵列中相邻天线的相位差确定对应角度；根据两组天线阵列确定的角度，确定目标物体每帧图像目标物体的角度信息。
[0010]根据本专利技术一个实施例的增强现实中的特效随动渲染方法，所述得到每帧图像目标物体的修正后位姿之后，还包括：根据每个特征点投影到图像坐标误差的鲁棒和函数，确定相机误差；根据雷达测量误差概率密度的鲁棒和函数，确定雷达误差；基于相机误差和雷达误差最小化，确定目标物体优化的修正后位姿。
[0011]根据本专利技术一个实施例的增强现实中的特效随动渲染方法，所述基于相机误差和雷达误差最小化，确定目标物体优化的修正后位姿，包括：基于g2o框架进行位姿图优化求解，得到目标物体优化的修正后位姿。
[0012]根据本专利技术一个实施例的增强现实中的特效随动渲染方法，所述基于修正后位姿进行视频流的特效渲染，具体为：根据优化的修正后位姿，进行视频流的特效渲染。
[0013]本专利技术还提供一种增强现实中的特效随动渲染装置，包括：相机模块，用于基于目标物体的特征点坐标与图像坐标的投影关系，根据实时视频流，依次确定每帧图像中目标物体的位姿信息；雷达模块，用于根据雷达获取的每帧图像时刻目标物体的距离信息和角度信息，确定目标物体位置信息；追踪模块，用于根据所述位置信息对所述位姿信息进行修正，得到每帧图像目标物体的修正后位姿，并基于修正后位姿进行视频流的特效渲染
[0014]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述增强现实中的特效随动渲染方法的步骤。
[0015]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述增强现实中的特效随动渲染方法的步骤。
[0016]本专利技术提供的增强现实中的特效随动渲染方法及装置，通过相机和雷达分别获取位姿相关信息，融合了两种类型的传感器测量的位姿或位置信息，能够实时输出优化后准确的物体六自由度位姿使，从而使具有相机和雷达的智能手机等设备，不添加额外硬件成本就能够对移动的对象进行随动特效渲染。
附图说明
[0017]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1是本专利技术提供的增强现实中的特效随动渲染方法的流程示意图；
[0019]图2是本专利技术提供的相机成像模型示意图；
[0020]图3是本专利技术提供的通过频率差测量距离示意图；
[0021]图4是本专利技术提供的通过相位差测量角度示意图；
[0022]图5是本专利技术提供的增强现实中的特效随动渲染装置的结构示意图；
[0023]图6是本专利技术提供的电子设备的结构示意图。
具体实施方式
[0024]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0025]如今，能够生成稀疏点云的传感器逐渐集成到商用智能手机中。本专利技术利用相对稀疏的测量结果(例如毫米波雷达)与视觉技术融合在一起，实时跟踪物体对象的六自由度位姿。
[0026]下面结合图1
‑
图6描述本专利技术的增强现实中的特效随动渲染方法及装置。图1是本专利技术提供的增强现实中的特效随动渲染方法的流程本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种增强现实中的特效随动渲染方法，其特征在于，包括：基于目标物体的特征点坐标与图像坐标的投影关系，根据实时视频流，依次确定每帧图像中目标物体的位姿信息；根据雷达获取的每帧图像时刻目标物体的距离信息和角度信息，确定目标物体位置信息；根据所述位置信息对所述位姿信息进行修正，得到每帧图像目标物体的修正后位姿，并基于修正后位姿进行视频流的特效渲染。2.根据权利要求1所述的增强现实中的特效随动渲染方法，其特征在于，所述根据实时视频流，依次确定每帧图像中目标物体的位姿信息之前，还包括：确定图像中目标物体的ORB特征点，对相邻两帧的特征点进行匹配，构建特征点坐标与图像坐标的投影关系。3.根据权利要求1所述的增强现实中的特效随动渲染方法，其特征在于，所述根据雷达获取的每帧图像时刻目标物体的距离信息和角度信息，确定目标物体位置信息之前，还包括：根据雷达发射信号和接收信号的频率差，确定信号传播时间，根据所述传播时间确定每帧图像目标物体的距离信息。4.根据权利要求1所述的增强现实中的特效随动渲染方法，其特征在于，所述根据雷达获取的每帧图像时刻目标物体的距离信息和角度信息，确定目标物体位置信息之前，还包括：根据布置为正交的两组天线阵列，分别根据每组天线阵列中相邻天线的相位差确定对应角度；根据两组天线阵列确定的角度，确定目标物体每帧图像目标物体的角度信息。5.根据权利要求1所述的增强现实中的特效随动渲染方法，其特征在于，所述得到每帧图像目标物体的修正后位姿之后，还包括：根据每个特征点投影...

【专利技术属性】
技术研发人员：杨铮，徐京傲，迟国轩，李丹阳，
申请(专利权)人：清华大学，
类型：发明
国别省市：