一种增强现实合拍方法、设备及计算机可读存储介质技术

本发明专利技术提供一种增强现实合拍方法、设备及计算机可读存储介质，属于图像处理技术领域，所述方法包括：采集图像；获取所述图像中实体对象的第一深度信息；根据所述第一深度信息，执行目标操作，所述目标操作用于调整所述实体对象和合拍的虚拟对象中的至少之一；基于所述目标操作的结果，形成包括所述虚拟对象和所述实体对象的增强现实合拍图像。本发明专利技术通过获取并利用图像中合拍的实体对象的深度信息，可以避免增强现实合拍的穿帮，提高合拍真实性。

【技术实现步骤摘要】
一种增强现实合拍方法、设备及计算机可读存储介质
本专利技术实施例涉及图像处理
，尤其涉及一种增强现实合拍方法、设备及计算机可读存储介质。
技术介绍
增强现实(AR：AugmentedReality)合拍是一种通过将虚拟对象(例如虚拟人物)和真实对象(例如真实人物)融合在一起，以产生视觉效果上的时空一致性的一种方法。例如，提前通过绿幕电影的方式拍摄演艺明星、体育明星等，再将用户照片叠加在明星绿幕电影中，形成用户与明星合拍的感觉。由于AR合拍一般是采用图像合成的方式，也即将当前拍摄得到的真实对象的二维图像和虚拟对象的二维图像进行合成，容易导致一些穿帮。例如，当用户想要和虚拟明星合拍时，用户摆出拍照姿势的肢体可能会穿过虚拟明星的身体，影响AR合拍的真实感。
技术实现思路
本专利技术实施例提供一种增强现实合拍方法、设备及计算机可读存储介质，以解决目前AR合拍容易出现穿帮影响真实感的问题。为解决上述技术问题，本专利技术是这样实现的：第一方面，本专利技术实施例提供了一种增强现实合拍方法，包括：采集图像；获取所述图像中实体对象的第一深度信息；根据所述第一深度信息，执行目标操作，所述目标操作用于调整所述实体对象和合拍的虚拟对象中的至少之一；基于所述目标操作的结果，形成包括所述虚拟对象和所述实体对象的增强现实合拍图像。可选的，所述目标操作包括以下至少之一项：输出提示信息，所述提示信息用于提示用户调整现实中的实体对象的姿势，所述现实中的实体对象为所述用户或其他现实中的实体对象；调整所述虚拟对象的姿势；调整所述虚拟对象在合拍图像中的位置。可选的，所述获取所述图像中实体对象的第一深度信息的步骤包括：从预设数据库中筛选出K个所述图像的近邻图像，所述预设数据库中保存有每个所述近邻图像的第二深度信息，K为大于零的整数；根据K个所述近邻图像的第二深度信息确定所述第一深度信息。可选的，所述从预设数据库中筛选出K个所述图像的近邻图像的步骤包括：采用余弦相似度算法，从所述预设数据库中筛选出所述近邻图像。可选的，所述根据K个所述近邻图像的第二深度信息确定所述第一深度信息的步骤包括：根据K个所述近邻图像的第二深度信息加权后的值，确定所述第一深度信息；其中，任一近邻图像C的第二深度信息加权后的值是按照以下公式计算得到：其中，D(p)表示所述任一近邻图像C的第二深度信息加权后的值；表示所述任一近邻图像C对应的权重值；i表示所述图像；Si(p)表示所述图像i的尺度不变特征变换SIFT特征矢量；Sc(p+F(P))表示所述图像i到所述任一近邻图像C的SIFT流；DCi(p+fi(p))表示将所述任一近邻图像C的第二深度信息迁移到所述图像i上，fi(p)表示所述任一近邻图像C到所述图像i间的SIFT流。可选的，所述根据所述第一深度信息，执行目标操作的步骤包括：若所述实体对象与虚拟对象合拍的姿势不接触，根据所述第一深度信息调整所述虚拟对象在合拍图像中的位置。可选的，所述根据所述第一深度信息，执行目标操作的步骤包括：若所述实体对象与虚拟对象合拍的姿势接触，根据所述第一深度信息确定所述实体对象的动作幅度；若所述实体对象的动作幅度小于或等于预设阈值，则从预设姿势图像库中选取目标姿势图像，所述目标姿势图像中所述虚拟对象的姿势与所述实体对象的姿势匹配，以调整所述虚拟对象的姿势；若所述实体对象的动作幅度大于所述预设阈值，则输出所述提示信息，以使得所述实体对象的姿势与所述虚拟对象的姿势匹配，所述虚拟对象的姿势是用户预先选择的姿势。可选的，所述根据所述第一深度信息，执行目标操作的步骤之前，还包括：根据所述实体对象的肢体关键点动作，确定所述实体对象与虚拟对象合拍的姿势是否接触。第二方面，本专利技术实施例还提供了一种增强现实合拍设备，包括：采集模块，用于采集图像；获取模块，用于获取所述图像中实体对象的第一深度信息；执行模块，用于根据所述第一深度信息，执行目标操作，所述目标操作用于调整所述实体对象和合拍的虚拟对象中的至少之一；成像模块，用于基于所述目标操作的结果，形成包括所述虚拟对象和所述实体对象的增强现实合拍图像。可选的，所述目标操作包括以下至少之一项：输出提示信息，所述提示信息用于提示用户调整现实中的实体对象的姿势，所述现实中的实体对象为所述用户或其他现实中的实体对象；调整所述虚拟对象的姿势；调整所述虚拟对象在合拍图像中的位置。可选的，所述获取模块包括：筛选单元，用于从预设数据库中筛选出K个所述图像的近邻图像，所述预设数据库中保存有每个所述近邻图像的第二深度信息，K为大于零的整数；第一确定单元，用于根据K个所述近邻图像的第二深度信息确定所述第一深度信息。可选的，所述筛选单元，用于采用余弦相似度算法，从所述预设数据库中筛选出所述近邻图像。可选的，所述第一确定单元，用于根据K个所述近邻图像的第二深度信息加权后的值，确定所述第一深度信息；其中，任一近邻图像C的第二深度信息加权后的值是按照以下公式计算得到：其中，D(p)表示所述任一近邻图像C的第二深度信息加权后的值；表示所述任一近邻图像C对应的权重值；i表示所述图像；Si(p)表示所述图像i的尺度不变特征变换SIFT特征矢量；Sc(p+F(P))表示所述图像i到所述任一近邻图像C的SIFT流；DCi(p+fi(p))表示将所述任一近邻图像C的第二深度信息迁移到所述图像i上，fi(p)表示所述任一近邻图像C到所述图像i间的SIFT流。可选的，所述执行模块包括：调整单元，用于若所述实体对象与虚拟对象合拍的姿势不接触，根据所述第一深度信息调整所述虚拟对象在合拍图像中的位置。可选的，所述执行模块包括：第二确定单元，用于若所述实体对象与虚拟对象合拍的姿势接触，根据所述第一深度信息确定所述实体对象的动作幅度；选取单元，用于若所述实体对象的动作幅度小于或等于预设阈值，则从预设姿势图像库中选取目标姿势图像，所述目标姿势图像中所述虚拟对象的姿势与所述实体对象的姿势匹配，以调整所述虚拟对象的姿势；提示单元，用于若所述实体对象的动作幅度大于所述预设阈值，则输出所述提示信息，以使得所述实体对象的姿势与所述虚拟对象的姿势匹配，所述虚拟对象的姿势是用户预先选择的姿势。可选的，所述增强现实合拍设备还包括：确定模块，用于根据所述实体对象的肢体关键点动作，确定所述实体对象与虚拟对象合拍的姿势是否接触。第三方面，本专利技术实施例还提供了一种增强现实合拍设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述任一种增强现实合拍方法的步骤。本文档来自技高网...

【技术保护点】
1.一种增强现实合拍方法，其特征在于，包括：/n采集图像；/n获取所述图像中实体对象的第一深度信息；/n根据所述第一深度信息，执行目标操作，所述目标操作用于调整所述实体对象和合拍的虚拟对象中的至少之一；/n基于所述目标操作的结果，形成包括所述虚拟对象和所述实体对象的增强现实合拍图像。/n

【技术特征摘要】
1.一种增强现实合拍方法，其特征在于，包括：
采集图像；
获取所述图像中实体对象的第一深度信息；
根据所述第一深度信息，执行目标操作，所述目标操作用于调整所述实体对象和合拍的虚拟对象中的至少之一；
基于所述目标操作的结果，形成包括所述虚拟对象和所述实体对象的增强现实合拍图像。


2.根据权利要求1所述的方法，其特征在于，所述目标操作包括以下至少之一项：
输出提示信息，所述提示信息用于提示用户调整现实中的实体对象的姿势，所述现实中的实体对象为所述用户或其他现实中的实体对象；
调整所述虚拟对象的姿势；
调整所述虚拟对象在合拍图像中的位置。


3.根据权利要求1所述的方法，其特征在于，所述获取所述图像中实体对象的第一深度信息的步骤包括：
从预设数据库中筛选出K个所述图像的近邻图像，所述预设数据库中保存有每个所述近邻图像的第二深度信息，K为大于零的整数；
根据K个所述近邻图像的第二深度信息确定所述第一深度信息。


4.根据权利要求3所述的方法，其特征在于，所述从预设数据库中筛选出K个所述图像的近邻图像的步骤包括：
采用余弦相似度算法，从所述预设数据库中筛选出所述近邻图像。


5.根据权利要求3所述的方法，其特征在于，所述根据K个所述近邻图像的第二深度信息确定所述第一深度信息的步骤包括：
根据K个所述近邻图像的第二深度信息加权后的值，确定所述第一深度信息；
其中，任一近邻图像C的第二深度信息加权后的值是按照以下公式计算得到：



其中，D(p)表示所述任一近邻图像C的第二深度信息加权后的值；

表示所述任一近邻图像C对应的权重值；
i表示所述图像；
Si(p)表示所述图像i的尺度不变特征变换SIFT特征矢量；

【专利技术属性】
技术研发人员：赵琦，张健，杜欧杰，王科，
申请(专利权)人：咪咕文化科技有限公司，
类型：发明
国别省市：北京;11