一种基于手机平台的图像实时校正方法技术

本发明专利技术公开了一种基于手机平台的图像实时校正方法，包括：步骤1，拍摄标准测试图像，利用标准测试图像计算校正矩阵；步骤2，将校正矩阵保存在线数据库中供实时下载使用；步骤3，输入手机使用者的身高和臂长，得到手机拍摄高度，根据拍摄高度在线数据库中下载对应的所有校正矩阵数据，存储在手机的本地内存中；步骤4，对手机实时拍摄的图像进行坐标转换：根据从方向传感器实时采集到的角度信息，在手机本地内存中查找与其对应的校正矩阵，根据校正矩阵和给出的转换关系将手机实时拍摄的图像中每一个像素点的坐标转换成校正后图像中各像素点坐标；步骤5，继续进行灰度插值计算，得到坐标转换后校正图像中每个像素点的灰度值。

【技术实现步骤摘要】
一种基于手机平台的图像实时校正方法
本专利技术属于计算机图像处理领域，涉及一种基于手机平台的图像实时校正方法。
技术介绍
随着智能手机与移动应用科技的发展和普及，在给人们的生活和工作带来极大便利的同时，导致相当多的人特别是年轻一代越来越依赖于智能手机。然而在许多不当场合下的使用引发了一些令人担忧的负面作用。譬如行人步行时看手机分散了注意力而导致车祸或跌倒受伤的悲剧情况，目前这类事件不断出现在国内外的各种新闻报道中。鉴于上述现状，一款能够运行于智能手机，可实现对步行者安全防护功能的软件显得尤为迫切。这样一个软件的核心便是要通过手机摄像头实时采集步行方向上前方路面的图像信息，然后利用手机后台运行的识别算法进行路面特征的识别，进而发现隐患并及时发出报警提示，避免悲剧的发生。实现这样的软件需要面临如下几个关键技术问题：1、手机摄像头在一定的俯仰角情况下拍摄到的图像存在畸变。根据使用者持握手机的方式可以发现图像沿着手机的纵向(即手机Y轴方向)和横向(即手机X轴方向)都会存在梯形状失真，采集道路图像中的某些重要特征会因为图像中存在梯形畸变而被弱化，进而影响到后续的图像特征识别的准确性。现有的基于控制点的图像梯形失真校正方法如图5所示，在畸变的图像中根据下图分别获得它们对应的校正后的标准点，并以此四对点作为控制点计算校正矩阵。如图5所示，其中A(左上角)、B(右上角)、C(左下角)和D(右下角)四点是畸变后的梯形轮廓上的四个点，EFCD四点是分别是ABCD四个点对应的校正后图像中的点，现有的算法就是基于这四对控制点来计算校正矩阵的。这种方法中存在两个问题导致其无法解决基于手机平台的图像梯形失真校正的问题：(1)现有的算法都人为地忽略了摄像头左右方向的畸变而只考虑摄像头前向单个方向的畸变，这在某些左右畸变很小不影响应用性能的情况下是可以接受的，但是应用于手机平台时，根据大部分使用者手持手机的方式可以看出，走路看手机时手机机身左右两侧也会翘起一定的角度，即手机坐标轴X轴有旋转角度，从而使得在手机坐标轴的X轴方向上也存在不可忽略的梯形失真。但在现有的算法中仅考虑了只存在单个方向梯形失真时的校正方法，无法直接应用于手机摄像头的图像畸变校正。手机摄像头的畸变模型如图6a和图6b所示。图6a为沿手机Y轴方向的畸变，图6b为沿手机X轴方向的畸变。(2)梯形失真表现为两个方面，一方面导致物理世界中的矩形轮廓特征畸变成了梯形轮廓特征；另一方面由相机成像原理可知，畸变图像中还存在如图5CE方向的压缩失真即图像畸变后其长宽比发生了变化。但是现有的基于控制点的算法中只实现了第一个方面的失真校正，这就很有可能导致图像中由于这种畸变引起的某些特征丢失，进而导致应用中特征识别算法的失败。2、智能终端的运算能力有限，目前大部分普通智能手机的运算能力还难以满足高分辨率图像实时快速校正的需求。故此，需要一种能运行在智能手机平台上的图像快速校正方法。3、通常程序员利用手机系统提供的CameraAPI编程，并从摄像头获取一幅图像。这里获取到的图像并不是原始的CCD传感器(ChargeCoupledDevice，电荷藕合器件图像传感器)获取的图像数据，而是经过了底层驱动程序的初步处理后的图像数据。所以如果想避开底层驱动而直接在应用层对获取的图像进行校正，传统的基于拍摄模型的校正方法就难以适用了。
技术实现思路
本专利技术针对现有的应用需求和技术问题，提出了一种基于手机平台的图像实时校正方法，包括如下步骤：步骤1，拍摄标准测试图像，利用标准测试图像计算校正矩阵；步骤2，将校正矩阵数据保存在在线数据库中供实时下载使用；步骤3，输入手机使用者的身高和前臂长数据信息，得到手机摄像头的拍摄高度，根据拍摄高度在在线数据库中下载该身高对应的所有校正矩阵数据，存储在手机的本地内存中；步骤4，对手机实时拍摄的图像进行坐标转换：根据从方向传感器实时采集到的角度信息，在手机本地内存中查找与其对应的校正矩阵，根据校正矩阵和给出的转换关系将手机实时拍摄的图像中每一个像素点的坐标转换成校正后图像中的像素点的坐标；步骤5，灰度插值：接步骤4，使用双线性插值算法进行计算，得到坐标转换后校正图像中每个像素点的灰度值。本专利技术步骤1包括如下步骤：步骤1-1：准备一张足够大，且画满标准小正方形的方格图板，用于拍摄标准测试图像；步骤1-2：建立坐标系：以手机机身左下角为坐标系原点，以机身长边为y轴，短边为x轴，手机平放时垂直屏幕且向上为z轴方向；将手机固定在三角支架上，调整至特定高度，同时调整X轴和Y轴的旋转角度至所需的值(高度分布范围主要从102cm到128cm，并以一定的间隔逐步增加，间隔大小将根据应用的精度要求决定)，确定手机摄像头所处的高度、手机Y轴绕X轴的旋转角和X轴绕Y轴的旋转角(实际放在水平面时这两个角度皆为0，这两个角也是手机的Y轴边和X轴边翘起后与水平面的夹角)；步骤1-3：使用手机实时采集一帧标准测试图像；步骤1-4：对采集到的图像依次进行灰度化和直方图均衡；步骤1-5：在经过直方图均衡后的图像上挑选出能找到的最大的完整的正方形(这里的正方形是实际的正方形，但由于畸变后在图像中已不再是正方形形状。所以这里可以通过数方格数来确定一个正方形)，这个正方形的四个点便就是畸变图像轮廓上的四个点即控制点，依次设为为A(左上角)、B(右上角)、C(左下角)和D(右下角)，坐标分别为(xa,ya)、(xb,yb)、(xc,yc)和(xd,yd)，所述控制点对应校正后图像中的标准点依次为E、F、C'和D'，坐标分别为(xe,ye)、(xf,yf)、(xc',yc')和(xd',yd')，通过如下方法计算标准点E、F、C'、D'的坐标，得到的四对坐标值：(xe,ye)＝(xc,yc-L)；(xf,yf)＝(xd,yc-L)；(xc',yc')＝(xc,yc)；(xd',yd')＝(xd,yc)；其中L为C和D两点的水平像素差，即L＝xd–xc；步骤1-6：将得到的四对坐标值分别代入如下坐标转换方程即转换关系中：ys'＝k5xs+k6ys+k7xsys+k8，xs'＝k1xs+k2ys+k3xsys+k4，其中，xs'和ys'分别是校正后图像中标准点的横坐标和纵坐标，xs和ys分别是对应的畸变图像中像素点的横坐标和纵坐标；获得如下八个方程：解方程后得到八个参数即k1～k8组成的转换矩阵K＝[k1，k2，k3，k4，k5，k6，k7，k8，1]T即为校正矩阵，其实质就是上述坐标转换关系的系数集合；步骤1-7：保持手机的高度不变，旋转手机，改变Y轴和X轴旋转角的值。角度的调整方法：Y轴旋转角的范围主要分布在12到40度，X轴的旋转角主要分布在-10度到+10度之间，分别都以1度为间隔进行调整。比如选择Y轴角度为12度，然后将X轴的角度分别调整为-10度、-9度…9度、10度，对这21个角度分别根据上述步骤计算每种组合下的校正矩阵。然后再将Y轴角度增加一度为13度，分别计算此时X轴角度在-10～10度每一度为一个间隔时对应的所有校正矩阵。直到Y轴角度到40度全部计算完成。重复步骤1-3～步骤1-6，得到当前高度下全部所需角度对应的校正矩阵数据，并全部存储在应用的在线数据库中；步骤1-8：改变手机摄像头本文档来自技高网...

【技术保护点】
一种基于手机平台的图像实时校正方法，其特征在于，包括如下步骤：步骤1，拍摄标准测试图像，利用标准测试图像计算校正矩阵；步骤2，将校正矩阵数据保存在在线数据库中供实时下载使用；步骤3，输入手机使用者的身高和臂长数据，得到手机摄像头的拍摄高度，根据拍摄高度在在线数据库中下载对应的所有校正矩阵数据，存储在手机的本地内存中；步骤4，对手机实时拍摄的图像进行坐标转换：根据从方向传感器实时采集到的角度信息，在手机本地内存中查找与其对应的校正矩阵，根据校正矩阵和给出的转换关系将手机实时拍摄的图像中每一个像素点的坐标转换成校正后图像中各像素点的坐标；步骤5，灰度插值：步骤4后继续使用双线性插值算法进行计算，得到坐标转换后校正图像中每个像素点的灰度值，从而得到校正后的图像。

【技术特征摘要】
1.一种基于手机平台的图像实时校正方法，其特征在于，包括如下步骤：步骤1，拍摄标准测试图像，利用标准测试图像计算校正矩阵；步骤2，将校正矩阵数据保存在在线数据库中供实时下载使用；步骤3，输入手机使用者的身高和臂长数据，得到手机摄像头的拍摄高度，根据拍摄高度在在线数据库中下载对应的所有校正矩阵数据，存储在手机的本地内存中；步骤4，对手机实时拍摄的图像进行坐标转换：根据从方向传感器实时采集到的角度信息，在手机本地内存中查找与其对应的校正矩阵，根据校正矩阵和给出的转换关系将手机实时拍摄的图像中每一个像素点的坐标转换成校正后图像中各像素点的坐标；步骤5，灰度插值：步骤4后继续使用双线性插值算法进行计算，得到坐标转换后校正图像中每个像素点的灰度值，从而得到校正后的图像。2.根据权利要求1所述的方法，其特征在于，步骤1包括如下步骤：步骤1-1：准备一张足够大，且画满标准小正方形的方格图板，用于拍摄标准测试图像；步骤1-2：建立坐标系：以手机机身左下角为坐标系原点，以机身长边为y轴，短边为x轴，手机平放时垂直于屏幕且向上为z轴方向；将手机固定在三角支架上，调整至特定高度，同时调整X轴和Y轴的旋转角度调至所需的值，确定手机摄像头所处的高度、手机Y轴绕X轴的旋转角和X轴绕Y轴的旋转角；步骤1-3：使用手机实时采集一帧标准测试图像；步骤1-4：对采集到的图像依次进行灰度化和直方图均衡；步骤1-5：在经过直方图均衡后的图像上挑选出能找到的最大的完整的正方形，该正方形的四个点为畸变图像畸变轮廓上的四个点即控制点，依次设为为A(左上角)、B(右上角)、C(左下角)和D(右下角)，坐标分别为(xa,ya)、(xb,yb)、(xc,yc)和(xd,yd)，所述控制点对应的校正后图像中的标准点依次为E、F、C'和D'，坐标分别为(xe,ye)、(xf,yf)、(xc',yc')和(xd',yd')，通过如下方法计算标准点E、F、C'、D'的坐标，得到的四对坐标值：(xe,ye)＝(xc,yc-L)；(xf,yf)＝(xd,yc-L)；(xc',yc')＝(xc,yc)；(xd',yd')＝(xd,yc)；其中L为C和D两点的水平像素差，即L＝xd–xc；步骤1-6：将得到的四对坐标值分别代入如下坐标转换方程即转换关系中：ys'＝k5xs+k6ys+k7xsys+k8，xs'＝k1xs+k2ys+k3xsys+k4，其中，xs'和ys'分别是校正后图像中标准点的横坐标和纵坐标，xs和ys分别是对应的畸变图像中像素点的横坐标和纵坐标；获得如下八个方程：解方程后得到八个参数组成的转换矩阵K＝[k1...

【专利技术属性】
技术研发人员：季晓勇，田恒达，谷宇，陈磊，金伟旗，夏煦菁，蔡丹，史贺，康雨辰，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏,32