一种位姿渲染方法、装置及介质制造方法及图纸

本公开提供了一种位姿渲染方法、装置及介质，此方法包括：确定N个参考用图像帧；根据N个参考用图像帧计算真实三维场景下的第一位姿参数以及计算虚拟三维场景下的第二位姿参数；计算从第一位姿参数至所述第二位姿参数的第一变换方式；根据第一变换方式计算所述N个参考用图像帧对应的每个补偿用图像帧在虚拟三维场景下的第三位姿参数；根据第三位姿参数对相应的补偿用图像帧在虚拟三维场景下进行位姿渲染。本公开中，将摄像设备采集的图像帧中部分图像帧设置为参考用图像帧，只针对参考用图像帧计算虚拟三维场景下的位姿参数，使用针对参考用图像帧计算到的虚拟三维场景下的位姿参数对补偿用图像帧进行位姿补偿计算，从而提高处理速度。

A pose rendering method, device and medium

【技术实现步骤摘要】
一种位姿渲染方法、装置及介质
本文涉及移动终端数据处理
，尤其涉及一种位姿渲染方法、装置及介质。
技术介绍
目前对于在物体识别的同时，针对物体的位姿进行实时的虚拟物体增强主要包括以下两个方案。第一种方案是通过具体的特殊场景利用先验的已知信息作为约束，通过识别先验设定特征和在设定物体上进行位姿估计和虚拟物体的增强，达到展示的目的。在实际场景中是非限定的场景，无法获得物体先验的已知特征，而且实际场景中，场景一般是动态的，光照和物体纹理等都会对特征的识别产生影响，上述方法的优点是由于限定场景和已知部分先验信息，可以保证算法实时性，可以做一个限定场景和部分先验信息下的移动端AR展示，但是无法做自然场景下无先验信息的实际的增强现实。第一种方案的缺点是，需要对场景进行限制，需要针对不同的物体的特点采用不同的方法，通用性差。第二种方案是利用深度学习模型和大量训练数据来求出增强现实需要的姿态，利用这个姿态将虚拟物体渲染到真实场景下进行增强现实，但是这种方法由于深度学习模型比较复杂，即使在移动端优化后，计算时间很长，无法保证实时渲染本文档来自技高网...

【技术保护点】
1.一种位姿渲染方法，其特征在于，包括：/n确定N个参考用图像帧；所述N为大于0的整数；/n根据N个参考用图像帧计算真实三维场景下的第一位姿参数以及计算虚拟三维场景下的第二位姿参数；/n计算从所述第一位姿参数至所述第二位姿参数的第一变换方式；/n根据所述第一变换方式计算所述N个参考用图像帧对应的每个补偿用图像帧在虚拟三维场景下的第三位姿参数；/n根据所述第三位姿参数对相应的补偿用图像帧在虚拟三维场景下进行位姿渲染。/n

【技术特征摘要】
1.一种位姿渲染方法，其特征在于，包括：
确定N个参考用图像帧；所述N为大于0的整数；
根据N个参考用图像帧计算真实三维场景下的第一位姿参数以及计算虚拟三维场景下的第二位姿参数；
计算从所述第一位姿参数至所述第二位姿参数的第一变换方式；
根据所述第一变换方式计算所述N个参考用图像帧对应的每个补偿用图像帧在虚拟三维场景下的第三位姿参数；
根据所述第三位姿参数对相应的补偿用图像帧在虚拟三维场景下进行位姿渲染。


2.如权利要求1所述的方法，其特征在于，
所述确定N个参考用图像帧，包括：每间隔设定时长确定N个参考用图像帧，或者，每间隔设定帧数确定N个参考用图像帧；
所述方法还包括：根据图像帧采集速率以及所述N个参考用图像帧确定所述N个参考用图像帧对应的多个补偿用图像帧。


3.如权利要求2所述的方法，其特征在于，
在首个设定时长中，或者在用于采集第一个设定帧数的图像帧的首个采集时段内，根据图像帧采集速率以及所述N个参考用图像帧的数量确定所述N个参考用图像帧对应的多个补偿用图像帧，包括：
根据图像帧采集速率确定所述设定时长内包含的连续图像帧的第一帧数；或者，将所述设定帧数作为所述第一帧数；
根据所述N个参考用图像帧的数量以及位置，确定用于在实时采集图像帧的过程中计算所述N个参考用图像帧对应的真实三维场景下的第一位姿参数所需的计算时长；根据图像帧的采集速率计算所述计算时长对应的第二帧数；
将以所述N个参考用图像帧中最先采集到的图像帧为起点所包含的第一帧数的连续图像帧中，除去包含所述N个参考用图像帧的第二帧数的连续图像帧后的连续图像帧，作为所述N个参考用图像帧对应的补偿用图像帧。


4.如权利要求3所述的方法，其特征在于，
在非首个设定时长中，或者非首个采集时段内，根据图像帧采集速率以及所述N个参考用图像帧的数量确定所述N个参考用图像帧对应的多个补偿用图像帧，包括：
确定当前设定时长或当前采集时段中的N个参考用图像帧对应的多个补偿用图像帧包括：从当前设定时长或当前采集时段中的图像帧除去前第二帧数的连续的图像帧后的图像帧；以及，下一设定时长或下一采集时段中前第二帧数的连续的图像帧。


5.如权利要求1所述的方法，其特征在于，
根据所述N个参考用图像帧计算真实场景下的第一位姿参数，包括：
所述N个参考用图像帧的数量为1时，根据所述参考用图像帧计算虚拟三维场景下的第二位姿参数；
所述N个参考用图像帧的数量大于1时，根据每个参考用图像帧分别计算真实三维场景下的位姿参数，计算各个位姿参数的平均位姿参数；
根据所述N个参考用图像帧计算虚拟三维场景下的第二位姿参数，包括：
所述N个参考用图像帧的数量为1时，根据所述参考用图像帧计算虚拟三维场景下的第二位姿参数；
所述N个参考用图像帧的数量大于1时，根据每个参考用图像帧分别计算真实三维场景下的位姿参数，计算各个位姿参数的平均位姿参数。


6.如权利要求1所述的方法，其特征在于，
根据所述第一变换方式计算所述N个参考用图像帧对应的每个补偿用图像帧在虚拟三维场景下的第三位姿参数，包括：
针对每个补偿用图像帧执行以下操作：
计算补偿用图像帧对应的真实三维场景下的第四位姿参数，根据所述第一变换方式和所述第四位姿参数计算所述补偿用图像帧在虚拟三维场景下的第三位姿参数。


7.如权利要求1所述的方法，其特征在于，
根据所述第一变换方式计算所述N个参考用图像帧对应的每个补偿用图像帧在虚拟三维场景下的第三位姿参数，包括：
针对距离所述至少一参考图像最近的一补偿用图像帧执行以下操作：
计算此补偿用图像帧对应的真实三维场景下的第四位姿参数，根据所述第一变换方式和所述第四位姿参数计算此补偿用图像帧在虚拟三维场景下的第三位姿参数，计算从所述第四位姿参数至所述第三位姿参数的第二变换方式；
依次针对除距离所述至少一参考图像最近的一补偿用图像帧之外的各补偿用图像帧执行以下操作：
确定此补偿用图像帧对应的真实三维场景下的第四位姿参数，根据上一非参考用图像帧对应的第二变换方式和所述第四位姿参数计算此补偿用图像帧在虚拟三维场景下的第三位姿参数，计算从所述第四位姿参数至所述第三位姿参数的第二变换方式。


8.一种位姿渲染装置，其特征在于，包括：
第一确定模块，被配置为确定N个参考用图像帧；所述N为大于0的整数；
第一计算模块，被配置为根据N个参考用图像帧计算真实三维场景下的第一位姿参数以及计算虚拟三维场景下的第二位姿参数；
第二计算模块，被配置为计算从所述第一位姿参数至所述第二位姿参数的第一变换方式；
第三计算模块，被配置为根据所述第...

【专利技术属性】
技术研发人员：臧宇彤，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：北京;11