本发明专利技术涉及图像处理领域，公开了一种拍摄终端的图像处理方法及其装置。包括以下步骤：获取多幅图像以形成图像序列，其中，该图像序列被拍摄时镜头向一个方向持续移动和/或转动以共同覆盖所要拍摄的目标物；将图像序列中的各图像按图像顺序合成为一幅覆盖目标物的合成图像；对合成图像进行纠正，以减轻或消除由于拍摄时镜头运动导致投影平面变化所产生的图像畸变。本发明专利技术可实现用户对自己全身的自拍，并有效消除或减轻由于自拍产生的身体部分区域的图像畸变。
【技术实现步骤摘要】
本专利技术涉及计算机视觉领域，特别涉及拍摄终端的图像处理技术。
技术介绍
目前的手机自拍模式大都是对人体上半身的特写，其中有些还利用不同的拍摄效果和拍摄后人脸部的化妆修饰来达到美化自拍图片的作用。但是，由于人体手臂长度的限制，自拍很难拍到人的全身。而且，自拍得到的照片中往往由于拍摄角度问题会存在畸变区域(尤其是下半身)，使得得到的照片不符合正常的视觉审美习惯。
技术实现思路
本专利技术的目的在于提供一种拍摄终端的图像处理方法及其装置，可实现用户对原本超出拍摄终端取景范围的目标物进行拍摄，包括对用户自己全身的自拍，并有效消除或减轻由于镜头运动所产生的图像畸变。为解决上述技术问题，本专利技术的实施方式公开了一种拍摄终端的图像处理方法，包括以下步骤：获取多幅图像以形成图像序列，其中，该图像序列被拍摄时镜头向一个方向持续移动和/或转动以共同覆盖所要拍摄的目标物；将图像序列中的各图像按图像顺序合成为一幅覆盖目标物的合成图像；对合成图像进行纠正，以减轻或消除由于拍摄时镜头运动导致投影平面变化所产生的图像畸变。本专利技术的实施方式还公开了一种拍摄终端的图像处理装置，包括：获取单元，用于获取多幅图像以形成图像序列，其中，该图像序列被拍摄时镜头向一个方向持续移动和/或转动以共同覆盖所要拍摄的目标物；合成单元，用于将图像序列中的各图像按图像顺序合成为一幅覆盖目标物的合成图像；纠正单元，用于对合成图像进行纠正，以减轻或消除由于拍摄时镜头运动导致投影平面变化所产生的图像畸变。本专利技术实施方式与现有技术相比，主要区别及其效果在于：通过图像合成和畸变纠正，可实现用户对原本超出拍摄终端取景范围的目标物进行拍摄，包括对用户自己全身的自拍，并有效消除或减轻由于镜头运动所产生的图像畸变。进一步地，可有效减轻或消除在自上而下的自拍过程中，引起的上身长、下身短的图像畸变，合成出一幅符合用户视觉习惯的自拍图。进一步地，由于图像序列中各图像的亮度可能不同，在合并前将各图像的亮度进行统一校正，可提高合并图像的质量。附图说明图1是本专利技术第一实施方式中一种拍摄终端的图像处理方法的流程示意图；图2是本专利技术第三实施方式中一种拍摄终端的图像处理装置的结构示意图；图3是现有技术中拍摄图像时的成像原理示意图；图4是本专利技术中第一实施方式中在拍摄图像序列时投影平面发生变化的
示意图；图5是本专利技术第二实施方式中拍摄图像时人体腿部和脚在同一投影平面发生尺寸比例变化的示意图。具体实施方式在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的实施方式作进一步地详细描述。本专利技术第一实施方式涉及一种拍摄终端的图像处理方法。图1是该拍摄终端的图像处理方法的流程示意图。具体地说，如图1所示，该拍摄终端的图像处理方法包括以下步骤：在步骤101中，获取多幅图像以形成图像序列，其中，该图像序列被拍摄时镜头向一个方向持续移动和/或转动以共同覆盖所要拍摄的目标物。可以理解，以自拍为例，图像序列可包括自拍过程中拍摄的所有图像或自拍视频中的所有帧，也可以包括根据实际情况选取的多幅图像或多帧图像，在此不做限制。例如，在用户一手持移动终端(如手机)，利用手腕转动移动终端使该移动终端的镜头自上而下拍摄一段涵盖了从自己头顶到脚部的视频，或连续拍摄多张共同涵盖了头顶到脚部的照片后，从所获视频或照片里根据拍摄顺序、覆盖区域、画质等因素挑选出供合成的视频帧或照片组成图像序列。在此情况下，镜头主要是转动，当然也可能同时伴有一定的移动。此后进入步骤102，将图像序列中的各图像按图像顺序合成为一幅覆盖
目标物的合成图像。此后进入步骤103，对合成图像进行纠正，以减轻或消除由于拍摄时镜头运动导致投影平面变化所产生的图像畸变。拍摄目标时的成像原理如图3a和3b所示，物体X在投影平面成像后为Xp，物体Y在投影平面成像后为Yp。如图4所示，即使是拍摄同样大小的物体AB和CD，如果投影平面不同，则其在投影平面上的成像大小也会发生变化(AB在投影平面一上成像为A′B′，CD在投影平面二上的成像为C′D′，A’B’>C’D’，即在成像过程中CD被过度缩小)。此后结束本流程。在本专利技术中，上述步骤102可通过图像特征点跟踪的方式实现。例如，在一优选例中，该步骤102包括以下子步骤：根据图像序列中的图像顺序、图像覆盖的目标物部分和图像质量，选取所述图像序列中用于合成的第一幅图像、至少一幅中间图像和最后一幅图像，其中，每幅所述中间图像是基于在被选取图像中在图像序列上排在该中间图像前一幅的图像根据特征点跟踪技术获取的；将选取的第一幅图像、中间图像和最后一幅图像进行合并，得到合成图像。优选地，这些子步骤具体的实现方式如下：主要利用特征点跟踪技术和单应性变换(Homography Transformation)实现图像的特征点匹配。具体步骤包括：1)对图像序列中的第一幅图像进行特征点检测，所获得的特征点具有仿射变换不变性(affine transformation invariant)。2)使用特征点跟踪技术找到第一幅图像中检测到的特征点在后一幅图像中的位置。3)在两幅图像之间完全匹配的特征点中随机抽取若干对(如4对)
匹配的特征点，并通过鲁棒算法计算单应变换矩阵(homography transformation matrix)，然后用这个单应变换矩阵去乘以第一幅图像的所有特征点，将做过单应变换的第一幅图像的特征点和后一幅图像的特征点进行比较，找出处于可被模型描述的数据(inliers)范围内匹配点的个数，重复上述过程(可以设置一个重复次数的上限)，直到选出一个拥有inliers数量最多的单应变换矩阵。4)通过金字塔融合(pyramid blending)技术对上述各幅图像进行合成。因为金字塔融合可以进一步的对相邻两幅图像相交的部分做一个局部的匹配，所以它可以平滑由于单应性变换的失准所引起的没有匹配好的误差。金字塔融合的一个具体做法是：首先，对相邻两幅图像分别进行下采样，再逐级重复，采样密度逐级下降，形成两个金字塔；其次，分别对两个金字塔计算高斯金字塔，并在每一层上将两个图像拼起来得到结果金字塔；最后，将结果金字塔中每一层从上到下插值放大并和下一层相加，即得融合后的图像。此外，如果要将多幅图像(包括多幅中间图像)进行合成，可以分别在相邻两幅图像之间都按照上述方法先对前一幅图像做特征点检测，再用特征点跟踪技术进行跟踪，然后用这两幅图像之间匹配的特征点做一个单应变换的估算。此外，特别地，可以用三幅图像合成最终的照片，其中第一幅和第三幅根据图像顺序、图像覆盖的目标物部分和图像质量选取，对于中间图像的选取，是对第一幅图像实施特征点跟踪技术，当在某一幅中间图像里能跟踪到的特征点在第一幅图像里的最高高度还不及图片一半时，就将当前这幅图像选为第二幅图像。在本专利技术中，上述步骤102还可通过图像特征点匹配的方式实现。在一优选例中，该步骤102包括以下子步骤：根据图像序列中的图像顺序、图像覆盖的目标物部分和图本文档来自技高网...
【技术保护点】
一种拍摄终端的图像处理方法，其特征在于，包括以下步骤：获取多幅图像以形成图像序列，其中，该图像序列被拍摄时镜头向一个方向持续移动和/或转动以共同覆盖所要拍摄的目标物；将所述图像序列中的各图像按图像顺序合成为一幅覆盖所述目标物的合成图像；对所述合成图像进行纠正，以减轻或消除由于拍摄时镜头运动导致投影平面变化所产生的图像畸变。
【技术特征摘要】
1.一种拍摄终端的图像处理方法，其特征在于，包括以下步骤：获取多幅图像以形成图像序列，其中，该图像序列被拍摄时镜头向一个方向持续移动和/或转动以共同覆盖所要拍摄的目标物；将所述图像序列中的各图像按图像顺序合成为一幅覆盖所述目标物的合成图像；对所述合成图像进行纠正，以减轻或消除由于拍摄时镜头运动导致投影平面变化所产生的图像畸变。2.根据权利要求1所述的拍摄终端的图像处理方法，其特征在于，所述对所述合成图像进行纠正的步骤包括以下子步骤：对所述合成图像中由所述图像序列中第一张图像之后的图像所覆盖的目标物部分进行拉伸或缩小处理，以纠正由于镜头向一个方向持续移动和/或转动造成的所述第一张图像之后的图像所覆盖的目标物部分被过度压缩或拉长引起的畸变。3.根据权利要求1所述的拍摄终端的图像处理方法，其特征在于，所述目标物为人体；所述对所述合成图像进行纠正的步骤包括以下子步骤：对合成图像里的人体下半身做拉伸处理，以纠正由于镜头向一个方向持续移动和/或转动对人体下半身造成的压缩畸变。4.根据权利要求3所述的拍摄终端的图像处理方法，其特征在于，所述对合成图像里的人体下半身做拉伸处理的子步骤通过以下方式实现：确定所述合成图像中人体脚踝所在的位置；对合成图像中位于脚踝下方的部分和位于脚踝上方包含人腿的部分做
\t不同的拉伸处理。5.根据权利要求1所述的拍摄终端的图像处理方法，其特征在于，所述将所述图像序列中的各图像按图像顺序合成为一幅覆盖所述目标物的合成图像的步骤包括以下子步骤：根据图像序列中的图像顺序、图像覆盖的目标物部分和图像质量，选取所述图像序列中用于合成的第一幅图像、至少一幅中间图像和最后一幅图像，其中，每幅所述中间图像是基于在被选取图像中在图像序列上排在该中间图像前一幅的图像根据特征点跟踪技术获取的；将选取的所述第一幅图像、所述中间图像和所述最后一幅图像进行合并，得到所述合成图像。6.根据权利要求1所述的拍摄终端的图像处理方法，其特征在于，所述将所述图像序列中的各图像按图像顺序合成为一幅覆盖所述目标物的合成图像的步骤包括以下子步骤：根据根据图像序列中的图像顺序、图像覆盖的目标物部分和图像质量，从所述图像序列中选取用于合成的第一幅图像、至少一幅中间图像和最后一幅图像；将选取的图像按照图像顺序，进行相邻两个图像的特征点匹配；根据所述匹配结果，利用单应性变换技术将所述选取的图像进行合并，生成所述合成图像。7.根据权利要求1所述的拍摄终端的图像处理方法，其特征在于，所述将所述图像序列中的各图像按图像顺序合成为一幅覆盖所述目标物的合成图像的步骤包括以下子步骤：获取所述图像序列中各图像的拍摄参数和各图像特征点的三维信息；基于获取的所述拍摄参数和特征点的三维信息，建立图像序列中各图像
\t的三维变换模型；基于所述三维变换模型，将所述图像序列中的各图像进行合并，得到三维合成图像；将得到的所述三维合成图像在拍摄方向进行投影，得到所述合成图像。8.根据权利要求1至7中任一项所述的拍摄终端的图像处理方法，其特征在于，在所述将所述图像序列中的各图像按图像顺序合成为一幅覆盖所述目标物的合成图像的步骤之前，还包括以下步骤：对所述图像序列中各图...
【专利技术属性】
技术研发人员：李俊杰，
申请(专利权)人：维科技术有限公司，
类型：发明
国别省市：中国香港;81
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。