利用广角摄像组件及长焦摄像组件实现变焦的方法技术

本发明专利技术是一种利用广角摄像组件及长焦摄像组件实现变焦的方法，该方法是应用至安装有一广角摄像组件及一长焦摄像组件的一电子装置上，该电子装置能控制该摄像组件，同时对同一景点，分别撷取一广角影像及一长焦影像，且能分别对该影像执行一曝光及白平衡调整处理，使二者的曝光和白平衡趋于一致；对该影像执行一鲁棒性图像匹配运算，以使该影像上对应的像素点能相互匹配；最后，根据匹配运算所获得的该长焦影像上各像素点偏移量的稠密光流场，对该长焦影像上的像素点进行偏移变形，且在其与该广角影像上对应的像素点逐一相互匹配后，即能与该广角影像上对应的像素值相融合，而完成一图像变形融合处理，进而实现精准且清晰的光学变焦。

Method for realizing zooming by wide-angle camera component and long focus camera component

The invention relates to a method for camera module and camera module realized by wide-angle zoom telephoto, the method is applied to an electronic device equipped with a wide-angle camera module and a telephoto camera module, the electronic device can control the camera module, at the same time on the same spot, respectively, to capture a wide-angle and telephoto the image on the image, and can respectively perform a exposure and white balance adjustment, the two exposure and white balance are consistent; the image performs a robust image matching algorithm, so that the pixels corresponding to the image of the mutual matching; finally, according to the operation of the telephoto image matching the pixel offset of dense optical flow field, displacement deformation of the pixel of the telephoto image, the pixels in the corresponding and with the wide-angle image on the one by one match each other, which can The utility model is combined with the corresponding pixel value of the wide angle image, and the image fusion processing is completed, and the precise and clear optical zoom is realized.

【技术实现步骤摘要】

本专利技术是关于一种图像处理方法，尤指一种利用广角摄像组件及长焦摄像组件实现精准且清晰光学变焦的方法。
技术介绍
近年来，随着电子科技的突飞猛进，智能手机的摄像功能亦愈来愈强大，且已有逐渐取代一般随手相机的趋势，为了创造差异化，各大智能手机的厂商莫不竭尽心思，不断改进其智能手机的摄像规格及功能，如：提升影像画素、强化自拍功能、加大光圈、增强光学防抖(OIS)功能、加快对焦速度、支持手动的专业模式等，该些摄像规格及功能上的改善虽已普遍地实现在各式智能手机上，但是，其中有关“双镜头”的设计却是目前最被业界看好的硬件发展趋势。为何要针对智能手机发展“双镜头”的摄像规格及功能呢？配置“双镜头”的智能手机到底可以提供哪些功能？此谨就目前智能手机在“双镜头”设计上的需求及现况，说明如下：(1)单镜头的摄像局限：随着影像感测芯片(如：CMOS)的像素及精准度、镜头质量及后期算法等特性的不断进化，智能手机的摄像功能亦日益强大，且已达逐渐威胁专业单反相机的程度，然而，轻薄短小的发展趋势，却导致智能手机因受限于体积与硬件结构的限制，仅能采用较小的摄像组件(由镜头及影像感测芯片整合而成者)，且该些摄像组件大都采用固定大光圈及广角设计的单镜头，并不具备光学变焦功能。一般言，智能手机的拍照对象大都是人物与近物为主，加上场合仍以低光源的室内居多，大光圈设计因能产生较浅的景深，往往能获得较好的成像效果，但是，却亦容易产生景深不足的问题，特别是，容易令对焦主体以外的背景或前景变得模糊不清，因此，当使用目前的智能手机拍摄大山大景时，所撷取的影像画质就会显得松散而不够锐利，也不容易做到捕捉时间的效果(如：拍摄流水、车轨、星轨、光影涂鸦、光点变光芒等效果)，在阳光普照及光源充足的摄像环境下，通常也容易产生曝光过度的问题。(2)双镜头或多镜头需求因运而生：近年来，由于各式3D或全景电影在全球热卖，掀起了消费者对3D或全景摄像的热切需求，也让不少智能手机的大厂对相关研发及应用更加重视，且相继推出可支持3D或全景摄像的智能手机，以提供新一代的摄像应用，如：360度虚拟现实(VR)实时视讯串流、远程扩增实境(AR)、超高画质现场视讯转播等，由于，各该摄像应用都需要不同的特殊镜头加以支持，双镜头或多镜头的设计乃因此摇身一变成为新一代智能手机必须添增的配备。(3)双镜头技术无法实现精准且清晰的光学变焦机制：此以HTCCorporation在2014年推出的全球首款双景深的OneM8型智能手机为例，其所采用的双镜头技术是AltekCorporation设计的UltraPixelwithDuoCamera，该DuoCamera分为主镜头与副镜头，主要是通过智能手机背面的两个镜头共同运作，其中，下方较大的主镜头负责捕捉影像，而上方较小的副镜头则用来记录环境深度数据(depthinformation)，如此，使用者事后即能通过操作接口来改变对焦点位置；其次，以LGCorporation在2015年11月推出的V10型智能手机为例，其内建有两个500万画素的80°一般镜头与120°超广角镜头，双前镜头设计可在自拍时选择标准或广角视野，120°广角镜头能够捕捉整个背景，甚至团体自拍都能全部入镜，80°标准镜头则能拍摄精彩的自拍特写，LGCorporation在2016发表的G5型智能手机，则将双镜头设计改成后置，具备1600万像素的78°一般镜头及800万像素的135°超广角镜头，其中，135°超广角镜头能提供比其他智能手机宽广1.7倍的视角，且超出肉眼视角15度，让用户无需远距拍摄，即能轻易拍摄到更多及更高的景物；最后，以不少科技媒体于2016年预测AppleCorporation可能在iPhone7上推出的内建双镜头设计为例，其双镜头设计是运用2颗不同焦距的摄像组件，令智能手机能被使用于标准模式和远景模式的摄像切换。然而，无论前述何种双镜头设计均无法实现精准且清晰的光学变焦机制。此以前述双镜头设计的各式智能手机为例，充其无法实现精准且清晰光学变焦机制的真正原因，主要是其上配设的双镜头仅为一标准镜头及一大光圈的广角镜头，因此，欲借此实现光学变焦时，经常会在变焦过程中发生下列问题：(1)令远摄对焦的主体影像变得模糊不清：请参阅图1所示，因该标准镜头及广角镜头均无法对远摄主体10(如图1所示的矿泉水瓶身)精准定焦，极易在变焦放大的主体10上产生模糊不清的影像11(如图1右下角所示的矿泉水瓶身上的文字影像)。(2)在变焦过程中发生明显的影像跳变现象：请参阅图2a至图2b所示，因该标准镜头及广角镜头在硬件参数上的差异，如：视野(FieldofView，简称FOV)参数、视角(PictureAngle)参数等及其对应的影像感测芯片(如：CMOS)的尺寸大小，导致该标准镜头及广角镜头所撷取的影像间存在影像比率上的差异，进而令该些影像上对应的像素点发生偏移，并在变焦过程中，如：变焦率(zoomratio)由1.79(如图2a所示)至1.80(如图2b所示)的变焦过程中，发生明显的影像跳变现象(如图2a及图2b所示xl与x2间的跳变差异)。据上所述，以目前双镜头智能手机的发展沿革及历程观之，双镜头的应用与设计虽相当多元且分歧，如：提升3D效能、拉高景深、追踪面部、超广角、增补画素、多光圈等，但是，若双镜头设计只是为了弥补单镜头的大光圈广角设计的不足，却不具备精准且清晰的光学变焦机制，则其将难能达成专业级单反相机所提供的光学变焦功能。据此，如何设计出一种利用双镜头实现精准且清晰光学变焦的方法，以使智能手机能在对远距主体变焦放大时，不仅能获得清晰的变焦影像，且不致在变焦过程中发生明显的影像跳变现象，而令智能手机具备优异的光学变焦机制，即成为本专利技术在此欲探讨的一重要课题。
技术实现思路
本专利技术的目的，是提供一种利用广角摄像组件及长焦摄像组件实现变焦的方法，该方法是应用至一电子装置(如：智能手机、数字相机或平板电脑等)，该电子装置上装设有一广角摄像组件及一长焦摄像组件，该广角摄像组件及该长焦摄像组件能受该电子装置的控制，同时对同一景点，分别撷取一广角影像(wide-angleimage)及一长焦影像(long-focusimage)，且该电子装置能在读取该广角影像及该长焦影像后，分别对该些影像执行一曝光(exposure)及白平衡(whitebalance)调整处理(adjustment)，以使二者的曝光和白平衡一致；然后，对该些影像执行一鲁棒性(robust)图像匹配运算，使得该些影像上对应的像素点能相互匹配；最后，根据匹配运算所获得的该长焦影像上各像素点偏移量的稠密光流场，对该长焦影像上各像素点进行偏移变形，以使已变形的该长焦影像上的像素点能与该广角影像上对应的像素点逐一相互匹配后，即能将二者融合，完成对该些影像的一图像变形融合处理。本专利技术相比于现有技术的有益效果在于：本专利技术是应用至安装有一广角摄像组件及一长焦摄像组件之一电子装置上，以使该电子装置能控制该些摄像组件，同时对同一景点，分别撷取一广角影像及一长焦影像，且能对该些影像分别且依序执行一曝光及白平衡调整处理、一鲁棒性图像匹配运算及一图像变形融合处理，进而在该电子装置上呈现出清晰的一变焦影像，且不致在变焦过程中发生明本文档来自技高网...

【技术保护点】
一种利用广角摄像组件及长焦摄像组件实现变焦的方法，该方法是应用至一电子装置，该电子装置上装设有一广角摄像组件及一长焦摄像组件，其特征在于，该广角摄像组件的镜头焦距是小于一标准镜头的50厘米焦距，该长焦摄像组件的镜头焦距则是大于该标准镜头的焦距，该广角摄像组件及该长焦摄像组件能受该电子装置的控制，同时对同一景点，分别撷取一广角影像及一长焦影像，该方法是令该电子装置能依下列步骤，实现精准且清晰光学变焦机制：读取该广角影像及该长焦影像，且分别对该广角影像及该长焦影像执行一曝光及白平衡调整处理，以使二者的曝光和白平衡一致；对该广角影像及该长焦影像执行一鲁棒性图像匹配运算，使得该长焦影像上的像素点能与该广角影像上对应的像素点相互匹配；及对该长焦影像上的像素点及该广角影像上对应的像素点执行一图像变形融合处理，以产生一新的广角影像。

【技术特征摘要】
1.一种利用广角摄像组件及长焦摄像组件实现变焦的方法，该方法是应用至一电子装置，该电子装置上装设有一广角摄像组件及一长焦摄像组件，其特征在于，该广角摄像组件的镜头焦距是小于一标准镜头的50厘米焦距，该长焦摄像组件的镜头焦距则是大于该标准镜头的焦距，该广角摄像组件及该长焦摄像组件能受该电子装置的控制，同时对同一景点，分别撷取一广角影像及一长焦影像，该方法是令该电子装置能依下列步骤，实现精准且清晰光学变焦机制：读取该广角影像及该长焦影像，且分别对该广角影像及该长焦影像执行一曝光及白平衡调整处理，以使二者的曝光和白平衡一致；对该广角影像及该长焦影像执行一鲁棒性图像匹配运算，使得该长焦影像上的像素点能与该广角影像上对应的像素点相互匹配；及对该长焦影像上的像素点及该广角影像上对应的像素点执行一图像变形融合处理，以产生一新的广角影像。2.根据权利要求1所述的利用广角摄像组件及长焦摄像组件实现变焦的方法，其特征在于，该鲁棒性图像匹配运算是根据该广角摄像组件及该长焦摄像组件的硬件参数，计算出该广角影像及该长焦影像间的一影像比率，且根据该影像比率，自该广角影像中撷取出与该长焦图像映射的区域，然后，采用一光流法，计算出该长焦影像上像素点相对于该广角影像上对应像素点的一偏移量的稠密光流场。3.根据权利要求2所述的利用广角摄像组件及长焦摄像组件实现变焦的方法，其特征在于，该图像变形融合处理是根据该长焦影像T(x+u，y+v)上像素点的偏移量(u，v)的稠密光流场，对该长焦影像T(x+u，y+v)上像素点进行偏移变形，以使已变形的该长焦影像T(x+u，y+v)上的像素点能与该广角影像W(x，y)上对应的像素点相互匹配，并依下列公式，对该长焦影像T(x+u，y+v)及该广角影像W(x，y)进行融合，以获得该新的广角影像WNEW：WNEW＝(1-λ)T(x+u，...

【专利技术属性】
技术研发人员：边巧玲，陆艳青，王进，
申请(专利权)人：虹软杭州科技有限公司，
类型：发明
国别省市：浙江;33