鱼眼图像处理方法及鱼眼图像处理装置制造方法及图纸

本发明专利技术公开一种鱼眼图像处理方法及装置，该方法包括确定输出图像中每一个像素点与输入图像中的像素点的映射关系，形成映射关系对应表，将映射关系对应表发送至图像处理电路；将输入图像的数据发送至图像处理电路；并且，图像处理电路接收输入图像的数据后，根据映射关系对应表的映射关系对输入图像的数据进行插值计算，获得输出图像每一个像素点的数据。该装置包括处理器以及图像处理电路，用于实现上述的鱼眼图像处理方法。本发明专利技术能够提高鱼眼图像的处理效率，并且节省图像矫正过程中所占用的硬件电路的带宽。

Fish eye image processing method and fish eye image processing device

The invention discloses a fisheye image processing method and device, which includes determining the mapping relationship between each pixel in the output image and the pixel in the input image, forming a mapping relationship corresponding table, transmitting the mapping relationship corresponding table to the image processing circuit, and transmitting the data of the input image to the image processing circuit. After receiving the data of the input image, the image processing circuit interpolates the data of the input image according to the mapping relation of the corresponding table of the mapping relation, and obtains the data of each pixel of the output image. The device includes a processor and an image processing circuit for realizing the fish eye image processing method. The invention can improve the processing efficiency of the fish eye image and save the bandwidth of the hardware circuit occupied in the image correction process.

【技术实现步骤摘要】
鱼眼图像处理方法及鱼眼图像处理装置
本专利技术涉及图像处理领域，尤其涉及一种针对通过带有鱼眼镜头的拍摄设备所拍摄获得的图像进行处理的方法以及实现这种方法的装置。
技术介绍
随着拍摄设备的发展，人们广泛应用各种广角镜头拍摄照片，其中鱼眼镜头是一种具有极宽视角的广角镜头。使用鱼眼镜头拍摄的照片通常被称为鱼眼图像，由于鱼眼图像的视场角大，单个鱼眼相机可以获取180度视场信息的内容，该特性使鱼眼镜头越来越多的应用于自动驾驶、全景监控、虚拟现实等领域。然而，由于鱼眼图像本身存在较大畸变，因此需要通过适当的映射关系及畸变矫正算法对鱼眼图像进行矫正，输出符合人体视觉特性的非畸变图像。受限于映射关系的不确定性以及畸变矫正算法对数据源的要求，对鱼眼图像进行矫正时，目前的处理方法大多是应用软件程序实现图像的矫正，随着图像的像素越来越高，通过软件程序的方式实现鱼眼图像的矫正将导致图像输出的实时性较差，无法实现以视频方式的实时直播。如果使用硬件电路，如图像处理电路的方式对鱼眼图像进行实时矫正，目前大多采用缓存多行原始像素或直接从整幅图像中获取对应像素点进行畸变矫正计算，但这种方法导致图像处理电路面积大，动态随机存储器的读写效率低的问题对带宽需求较大，硬件要求较高。具体的，现在对鱼眼图像的处理大多采用缓存多行原始像素或直接从整幅图像中获取对应像素点进行畸变矫正计算，对于多行原始数据缓存方案，必须存储足够多行的图像数据才能确保即畸变矫正过程中能拿到正确的数据进行计算，这样需要静态存储器SRAM的面积非常大以满足数据存储的要求，并且需要采用滚动的方式或按行重复加载部分数据的方式进行静态存储器SRAM数据的更新，操作复杂、引入过多无效动态随机存储器的带宽。除此之外，该方法中使用的静态存储器SRAM深度受图像规格制约，不便于芯片规格的升级换代。而直接从整幅图像中获取对应像素点进行畸变矫正计算的方法，获取数据时地址跳变大且不连续，动态随机存储器效率低、同样引入过多无效的动态随机存储器带宽。
技术实现思路
本专利技术的主要目的是提供一种通过软件程序与硬件电路协同矫正鱼眼图像的鱼眼图像处理方法。本专利技术的另一目的是提供一种减小硬件电路实现难度并且减小带宽的鱼眼图像处理装置。为了实现上述的主要目的，本专利技术提供的鱼眼图像处理方法包括确定输出图像中每一个像素点与输入图像中的像素点的映射关系，形成映射关系对应表，将映射关系对应表发送至图像处理电路；将输入图像的数据发送至图像处理电路；并且，图像处理电路接收输入图像的数据后，根据映射关系对应表的映射关系对输入图像的数据进行插值计算，获得输出图像每一个像素点的数据。由上述方案可见，图像处理方法通过软件程序实现映射关系的对应，而图像处理电路则用于根据映射关系对应表对输入图像进行插值计算并且获得输出图像，这样，通过软件程序与硬件电路的协同工作，一方面可以避免纯粹通过软件程序对鱼眼图像处理而导致图像矫正效率低下的问题，另一方面还可以避免通过硬件电路加载大量的图像数据而导致占用带宽过大的问题。一个优选的方案是，将输出图像划分为多个图像块，并确定每一个图像块对应于输入图像中的源数据块，图像处理电路每次计算一个图像块的像素点的数据；其中，将映射关系对应表发送至图像处理电路包括：发送与待处理的图像块对应的映射关系对应表的数据；其中，将输入图像的数据发送至图像处理电路包括：将输入图像中与待处理的图像块对应的源数据块的数据发送至图像处理电路。由此可见，对输出图像进行分块处理，图像处理电路每次可以仅接收少量的数据，例如每次只接收待处理的图像块相应的映射关系对应表的数据以及源数据块图像的数据，这样可以大大减小每次输入到图像处理电路的数据量，从而减小占用的从DDR存储器到图像处理电路的带宽。进一步的方案是，将映射关系对应表发送至图像处理电路前，对映射关系对应表的数据进行压缩，将压缩后的映射关系对应表的数据发送至图像处理电路；图像处理电路接收到压缩后的映射关系对应表的数据后，对收的数据进行解压缩。优选的，对映射关系对应表的数据进行压缩包括：对映射关系对应表的数据进行等距采样压缩。可见，由于映射关系对应表的数据经过压缩，这样处理器发送至图像处理电路的数据量很少，有效的减小处理器与图像处理电路之间传输的数据量。并且，采用等距采样压缩的技术可以有效降低数据压缩以及解压的难度，更进一步的方案是，图像处理电路对压缩后的映射关系对应表的数据进行解压缩计算包括：对图像块边缘坐标值进行行列插值计算，对图像块中间区域的坐标值进行双线性插值计算。由此可见，通过对边缘坐标值与中间区域的坐标值不同方式的处理，可以提高解压后的数据的准确性。更进一步的方案是，将输入图像中与待处理的图像块对应的源数据块的数据发送至图像处理电路包括：发送当前待处理的图像块的源数据块数据前，判断上一相邻的图像块对应的源数据块与当前的源数据块是否存在重叠区域，如确定存在重叠区域，则将重叠区域以外数据发送至图像处理电路。可见，通过判断两个相邻的图像块对应的源数据块是否存在重叠区域，并且将重叠区域的数据消除后再传输，可以避免重复传输重叠区域的数据，有效减小图像处理电路占用的带宽。更进一步的方案是，将输入图像中与待处理的图像块对应的源数据块的数据发送至图像处理电路包括：判断当前源数据块的数据量是否大于预设阈值，如是，将当前计算的图像块划分成多个图像子块，并确定每一个图像子块对应的源数据块，每次发送一个图像子块对应的源数据块的数据至图像处理电路。由此可见，通过对图像块进行再次分块，可以确保每次加载到图像处理电路的源数据块的数据量不会超出阈值，这样可以减小图像处理电路的缓存器的面积，不但可以减小图像处理电路的面积，还可以降低图像处理电路的成本。更进一步的方案是，发送与待处理的图像块对应的映射关系对应表的数据包括：一次向图像处理电路发送与二个以上的图像块对应的映射关系对应表的数据。可见，通过一次发送多个图像块对应的映射关系对应表的数据，可以减小处理器向图像处理电路发送数据的次数，从而提高鱼眼图像的矫正效率。为了实现上述的另一目的，本专利技术还提供的鱼眼图像处理装置包括处理器以及图像处理电路，其中，处理器在执行计算机程序时用于实现：确定输出图像中每一个像素点与输入图像中的像素点的映射关系，形成映射关系对应表，将映射关系对应表发送至图像处理电路；将输入图像的数据发送至图像处理电路；其中，图像处理电路用于：接收处理器传输的输入图像的数据后，根据映射关系对应表的映射关系对输入图像的数据进行插值计算，计算输出图像每一个像素点的数据。一个优选的方案是，处理器还用于实现：将输出图像划分为多个图像块，并确定每一个图像块对应于输入图像中的源数据块，图像处理电路每次计算一个图像块的像素点的数据；其中，将映射关系对应表发送至图像处理电路时，发送与待处理的图像块对应的映射关系对应表的数据；其中，将输入图像的数据发送至图像处理电路时，将输入图像中与待处理的图像块对应的源数据块的数据发送至图像处理电路。由上述方案可见，图像处理装置包括处理器以及图像处理电路，处理器通过软件程序实现映射关系的对应，而图像处理电路则用于根据映射关系对应表对输入图像进行插值计算并且获得输出图像，这样，通过软件程序与硬件电路的协同工作，不但可以避免本文档来自技高网...

【技术保护点】
1.鱼眼图像处理方法，包括：确定输出图像中每一个像素点与输入图像中的像素点的映射关系，形成映射关系对应表，将所述映射关系对应表发送至图像处理电路；将输入图像的数据发送至所述图像处理电路；其特征在于：所述图像处理电路接收所述输入图像的数据后，根据所述映射关系对应表的映射关系对所述输入图像的数据进行插值计算，获得所述输出图像每一个像素点的数据。

【技术特征摘要】
1.鱼眼图像处理方法，包括：确定输出图像中每一个像素点与输入图像中的像素点的映射关系，形成映射关系对应表，将所述映射关系对应表发送至图像处理电路；将输入图像的数据发送至所述图像处理电路；其特征在于：所述图像处理电路接收所述输入图像的数据后，根据所述映射关系对应表的映射关系对所述输入图像的数据进行插值计算，获得所述输出图像每一个像素点的数据。2.根据权利要求1所述的鱼眼图像处理方法，其特征在于，该方法还包括：将输出图像划分为多个图像块，并确定每一个所述图像块对应于所述输入图像中的源数据块，所述图像处理电路每次计算一个图像块的像素点的数据；其中，将所述映射关系对应表发送至图像处理电路包括：发送与待处理的图像块对应的映射关系对应表的数据；其中，将所述输入图像的数据发送至所述图像处理电路包括：将所述输入图像中与待处理的图像块对应的源数据块的数据发送至所述图像处理电路。3.根据权利要求2所述的鱼眼图像处理方法，其特征在于：将所述映射关系对应表发送至所述图像处理电路前，对所述映射关系对应表的数据进行压缩，将压缩后的映射关系对应表的数据发送至所述图像处理电路；所述图像处理电路接收到压缩后的映射关系对应表的数据后，对所接收的数据进行解压缩。4.根据权利要求3所述的鱼眼图像处理方法，其特征在于：对所述映射关系对应表的数据进行压缩包括：对所述映射关系对应表的数据进行等距采样压缩。5.根据权利要求4所述的鱼眼图像处理方法，其特征在于：所述图像处理电路对压缩后的所述映射关系对应表的数据进行解压缩计算包括：对所述图像块边缘坐标值进行行列插值计算，对所述图像块中间区域的坐标值进行双线性插值计算。6.根据权利要求2至5任一项所述的鱼眼图像处理方法，其特征在于：将所述输入图像中与待处理的图像块对应的源数据块的数据发送至所述图像处理电路包括：发送...

【专利技术属性】
技术研发人员：傅永杰，高鑫，马晓阳，涂强，李洁珺，
申请(专利权)人：珠海全志科技股份有限公司，
类型：发明
国别省市：广东,44