3D图像的生成方法及装置制造方法及图纸

本发明专利技术公开了一种3D图像的生成方法及装置。其中，该方法包括：基于首帧图像的特征信息确定待处理的原始图像序列中相邻两帧图像之间的匹配点对；基于相邻两帧图像之间的匹配点对对应的匹配点坐标确定相邻两帧图像之间的2D仿射参数；基于相邻两帧图像之间的2D仿射参数确定待处理的原始图像序列中预定帧图像到首帧图像之间的累积2D仿射参数以及平滑的累积2D仿射参数；对累积2D仿射参数进行向平滑的累积2D仿射参数的映射处理，得到目标图像序列；基于目标图像序列生成3D图像。本发明专利技术解决了相关技术中当摄像机环绕某个目标物体拍摄时，容易出现抖动影响拍摄效果的技术问题。

Generation Method and Device of 3D Image

【技术实现步骤摘要】
3D图像的生成方法及装置
本专利技术涉及图像处理
，具体而言，涉及一种3D图像的生成方法及装置。
技术介绍
目前，基于图像、视频方面的社交分享，大多是静态图像滤镜与特效(AI或传统图像技术)、短视频、全景图像VR浏览方面的分享。当摄像机以自己为中心、拍摄四周时，可以基于全景拼接技术计算全景图、并可以处理成VR浏览效果。但是，当拍摄者环绕某个目标物体拍摄时，视频容易出现抖动，并且目标物在图像上位置会随机变动，从而会影响拍摄效果。针对上述相关技术中当摄像机环绕某个目标物体拍摄时容易出现抖动的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种3D图像的生成方法及装置，以至少解决相关技术中当摄像机环绕某个目标物体拍摄时，容易出现抖动影响拍摄效果的技术问题。根据本专利技术实施例的一个方面，提供了一种3D图像的生成方法，包括：对待处理的原始图像序列的首帧图像进行特征提取，得到所述首帧图像的特征信息；基于所述首帧图像的特征信息确定所述待处理的原始图像序列中相邻两帧图像之间的匹配点对；基于所述相邻两帧图像之间的匹配点对对应的匹配点坐标确定所述相邻两帧图像之间的2D仿射参数；基于所述相邻两帧图像之间的2D仿射参数确定所述待处理的原始图像序列中预定帧图像到首帧图像之间的累积2D仿射参数以及平滑的累积2D仿射参数；对所述累积2D仿射参数进行向所述平滑的累积2D仿射参数的映射处理，得到目标图像序列；基于所述目标图像序列生成3D图像。可选地，基于所述首帧图像的特征信息确定所述待处理的原始图像序列中相邻两帧图像之间的匹配点对包括：基于所述首帧图像的特征信息通过光流跟踪确定所述相邻两帧图像之间的匹配点对，其中，所述匹配点对包括：所述相邻两帧图像中前一帧图像中的特征点对应的坐标，所述相邻两帧图像中后一帧图像中的特征点对应的坐标。可选地，在基于所述首帧图像的特征信息确定所述待处理的原始图像序列中相邻两帧图像之间的匹配点对之后，该3D图像的生成方法还包括：确定所述匹配点对的数量大于匹配点对数量阈值；根据所述相邻两帧图像的匹配点对确定所述相邻两帧图像中每帧图像的匹配点分布，以确定所述相邻两帧图像中每帧图像对应的目标物的中心点。可选地，在基于所述首帧图像的特征信息确定所述待处理的原始图像序列中相邻两帧图像之间的匹配点对之后，该3D图像的生成方法还包括：确定所述匹配点对的数量不大于匹配点对数量阈值；确定所述相邻两帧图像中后一帧图像的特征信息一和所述相邻两帧图像中前一帧图像的特征信息二，并根据所述特征信息一中的描述子和所述特征信息二中的描述子匹配得到所述相邻两帧图像的匹配点对；根据所述相邻两帧图像的匹配点对确定所述相邻两帧图像中每帧图像的匹配点分布，以确定所述相邻两帧图像中每帧图像对应的目标物的中心点。可选地，基于所述相邻两帧图像之间的匹配点对对应的匹配点坐标确定所述相邻两帧图像之间的2D仿射参数包括：基于所述相邻两帧图像中每帧图像对应的目标物的中心点对所述每帧图像的匹配点坐标进行中心化，得到中心化后的所述每帧图像的匹配点坐标；利用所述中心化后的所述每帧图像的匹配点坐标确定所述相邻两帧图像之间的2D仿射参数。可选地，确定所述平滑的累积2D仿射参数包括：在所述相邻两帧图像之间的2D仿射参数的基础上，累积得到所述待处理的原始图像序列中预定帧图像到首帧图像的累积2D仿射参数，并通过滤波算法预测得到所述待处理的原始图像序列中预定帧图像到首帧图像之间的所述平滑的累积2D仿射参数。可选地，对所述累积2D仿射参数进行向所述平滑的累积2D仿射参数的映射处理包括：将所述累积2D仿射参数到所述平滑的累积2D仿射参数进行仿射变换，以确定所述待处理的原始图像序列中每帧图像的仿射变换参数和仿射变换程度；基于所述仿射变换程度对所述待处理的原始图像序列进行过滤，并对过滤后的所述待处理的原始图像序列基于所述仿射变换参数进行仿射变换，以得到仿射变换后的图像序列。可选地，基于所述目标图像序列生成3D图像包括：确定所述仿射变换后的图像序列中每帧图像的有效区域；基于所述有效区域对所述仿射变换后的图像序列中的每帧图像进行剪裁处理，以得到所述目标图像序列；基于所述目标图像序列生成所述3D图像。根据本专利技术实施例的另外一个方面，还提供了一种3D图像的生成装置，包括：特征提取单元，用于对待处理的原始图像序列的首帧图像进行特征提取，得到所述首帧图像的特征信息；第一确定单元，用于基于所述首帧图像的特征信息确定所述待处理的原始图像序列中相邻两帧图像之间的匹配点对；第二确定单元，用于基于所述相邻两帧图像之间的匹配点对对应的匹配点坐标确定所述相邻两帧图像之间的2D仿射参数；第三确定单元，用于基于所述相邻两帧图像之间的2D仿射参数确定所述待处理的原始图像序列中预定帧图像到首帧图像之间的累积2D仿射参数以及平滑的累积2D仿射参数；映射处理单元，用于对所述累积2D仿射参数进行向所述平滑的累积2D仿射参数的映射处理，得到目标图像序列；生成单元，用于基于所述目标图像序列生成3D图像。可选地，所述第一确定单元包括：第一确定模块，用于基于所述首帧图像的特征信息通过光流跟踪确定所述相邻两帧图像之间的匹配点对，其中，所述匹配点对包括：所述相邻两帧图像中前一帧图像中的特征点对应的坐标，所述相邻两帧图像中后一帧图像中的特征点对应的坐标。可选地，该3D图像的生成装置还包括：第四确定单元，用于在基于所述首帧图像的特征信息确定所述待处理的原始图像序列中相邻两帧图像之间的匹配点对之后，确定所述匹配点对的数量大于匹配点对数量阈值；第五确定单元，用于根据所述相邻两帧图像的匹配点对确定所述相邻两帧图像中每帧图像的匹配点分布，以确定所述相邻两帧图像中每帧图像对应的目标物的中心点。可选地，该3D图像的生成装置还包括：第六确定单元，用于在基于所述首帧图像的特征信息确定所述待处理的原始图像序列中相邻两帧图像之间的匹配点对之后，确定所述匹配点对的数量不大于匹配点对数量阈值；第七确定单元，用于确定所述相邻两帧图像中后一帧图像的特征信息一和所述相邻两帧图像中前一帧图像的特征信息二，并根据所述特征信息一中的描述子和所述特征信息二中的描述子匹配得到所述相邻两帧图像的匹配点对；第八确定单元，用于根据所述相邻两帧图像的匹配点对确定所述相邻两帧图像中每帧图像的匹配点分布，以确定所述相邻两帧图像中每帧图像对应的目标物的中心点。可选地，所述第二确定单元包括：中心化处理模块，用于基于所述相邻两帧图像中每帧图像对应的目标物的中心点对所述每帧图像的匹配点坐标进行中心化，得到中心化后的所述每帧图像的匹配点坐标；第二确定模块，用于利用所述中心化后的所述每帧图像的匹配点坐标确定所述相邻两帧图像之间的2D仿射参数。可选地，所述第三确定单元包括：第三确定模块，用于在所述相邻两帧图像之间的2D仿射参数的基础上，累积得到所述待处理的原始图像序列中预定帧图像到首帧图像的累积2D仿射参数，并通过滤波算法预测得到所述待处理的原始图像序列中预定帧图像到首帧图像之间的所述平滑的累积2D仿射参数。可选地，所述映射处理单元包括：第四确定模块，用于将所述累积2D仿射参数到所述平滑的累积2D仿射参数进行仿射变换，以确定所述待处理的原始图像序列中每帧图像的仿射变换参数和仿射变本文档来自技高网...

【技术保护点】
1.一种3D图像的生成方法，其特征在于，包括：对待处理的原始图像序列的首帧图像进行特征提取，得到所述首帧图像的特征信息；基于所述首帧图像的特征信息确定所述待处理的原始图像序列中相邻两帧图像之间的匹配点对；基于所述相邻两帧图像之间的匹配点对对应的匹配点坐标确定所述相邻两帧图像之间的2D仿射参数；基于所述相邻两帧图像之间的2D仿射参数确定所述待处理的原始图像序列中预定帧图像到首帧图像之间的累积2D仿射参数以及平滑的累积2D仿射参数；对所述累积2D仿射参数进行向所述平滑的累积2D仿射参数的映射处理，得到目标图像序列；基于所述目标图像序列生成3D图像。

【技术特征摘要】
1.一种3D图像的生成方法，其特征在于，包括：对待处理的原始图像序列的首帧图像进行特征提取，得到所述首帧图像的特征信息；基于所述首帧图像的特征信息确定所述待处理的原始图像序列中相邻两帧图像之间的匹配点对；基于所述相邻两帧图像之间的匹配点对对应的匹配点坐标确定所述相邻两帧图像之间的2D仿射参数；基于所述相邻两帧图像之间的2D仿射参数确定所述待处理的原始图像序列中预定帧图像到首帧图像之间的累积2D仿射参数以及平滑的累积2D仿射参数；对所述累积2D仿射参数进行向所述平滑的累积2D仿射参数的映射处理，得到目标图像序列；基于所述目标图像序列生成3D图像。2.根据权利要求1所述的方法，其特征在于，基于所述首帧图像的特征信息确定所述待处理的原始图像序列中相邻两帧图像之间的匹配点对包括：基于所述首帧图像的特征信息通过光流跟踪确定所述相邻两帧图像之间的匹配点对，其中，所述匹配点对包括：所述相邻两帧图像中前一帧图像中的特征点对应的坐标，所述相邻两帧图像中后一帧图像中的特征点对应的坐标。3.根据权利要求1所述的方法，其特征在于，在基于所述首帧图像的特征信息确定所述待处理的原始图像序列中相邻两帧图像之间的匹配点对之后，还包括：确定所述匹配点对的数量大于匹配点对数量阈值；根据所述相邻两帧图像的匹配点对确定所述相邻两帧图像中每帧图像的匹配点分布，以确定所述相邻两帧图像中每帧图像对应的目标物的中心点。4.根据权利要求1所述的方法，其特征在于，在基于所述首帧图像的特征信息确定所述待处理的原始图像序列中相邻两帧图像之间的匹配点对之后，还包括：确定所述匹配点对的数量不大于匹配点对数量阈值；确定所述相邻两帧图像中后一帧图像的特征信息一和所述相邻两帧图像中前一帧图像的特征信息二，并根据所述特征信息一中的描述子和所述特征信息二中的描述子匹配得到所述相邻两帧图像的匹配点对；根据所述相邻两帧图像的匹配点对确定所述相邻两帧图像中每帧图像的匹配点分布，以确定所述相邻两帧图像中每帧图像对应的目标物的中心点。5.根据权利要求3或4所述的方法，其特征在于，基于所述相邻两帧图像之间的匹配点对对应的匹配点坐标确定所述相邻两帧图像之间的2D仿射参数包括：基于所述相邻两帧图像中每帧图像对应的目标物的中心点对所述每帧图像的匹配点坐标进行中心化，得到中心化后的所述每帧图像的匹配点坐标；...

【专利技术属性】
技术研发人员：申晓雷，陈博，
申请(专利权)人：北京卡路里信息技术有限公司，
类型：发明
国别省市：北京,11