基于CMOS芯片和ZYNQ体系的智能相机制造技术

本发明专利技术提供一种基于CMOS芯片和ZYNQ体系的智能相机，包括，ZYNQ平台，CMOS传感器；所述ZYNQ平台包括FPGA硬件单元和ARM硬件单元；所述FPGA硬件单元包括视频采集模块和视频预处理模块；所述视频采集模块通过所述CMOS传感器获取视频信号信息并发送至视频预处理模块，所述视频预处理模块将处理后的视频信号发送至ARM硬件单元；所述ARM硬件单元运行linux操作系统，所述linxu操作系统中安装设置有应用层视频图像处理模块。本发明专利技术的有益效果是，本发明专利技术提供的智能相机硬件系统在应用层设计图像处理应用程序实现FPGA硬件处理和ARM协同处理的视频数据流控制，完成涉及到的大量图像处理算法的图像处理，实现了高清视频数据流实时采集与处理。集与处理。集与处理。

【技术实现步骤摘要】
基于CMOS芯片和ZYNQ体系的智能相机


[0001]本专利技术涉及机器视觉领域，具体涉及基于CMOS芯片和ZYNQ体系的智能相机。

技术介绍

[0002]机器视觉检测技术在工业应用领域，尤其是工业机器人的领域扮演着举足轻重的角色，作为工业机器人感知外界环境信息的一个重要输入渠道，其对于工业机器人理解周围场景和辅助完成特定任务具有至关重要的作用。目前视觉识别技术在机器人领域的应用主要包括环境理解、自学习物体识别和智能交互、导航与避障等。
[0003]目前机器视觉检测技术在机器视觉领域，尤其是基于工业机器人的机械测量领域存在测量系统相对独立，构建复杂，系统庞大、不便搬移和组建；视觉测量系统不随手臂运动而固定在工业机器人外(eye-to-hand)，系统误差较大等智能化程度低、适用性差等问题。

技术实现思路

[0004]本专利技术要解决的技术问题是，目前机器视觉检测技术在机器视觉领域，尤其是基于工业机器人的机械测量领域存在测量系统相对独立，构建复杂，系统庞大、不便搬移和组建；视觉测量系统不随手臂运动而固定在工业机器人外(eye-to-hand)，系统误差较大等智能化程度低、适用性差。
[0005]本专利技术提供一种基于CMOS芯片和ZYNQ体系的智能相机，包括，
[0006]ZYNQ平台，CMOS传感器；
[0007]所述ZYNQ平台包括FPGA硬件单元和ARM硬件单元；
[0008]所述FPGA硬件单元包括视频采集模块和视频预处理模块；
[0009]所述视频采集模块通过所述CMOS传感器获取视频信号信息并发送至视频预处理模块，所述视频预处理模块将处理后的视频信号发送至ARM硬件单元；
[0010]所述ARM硬件单元运行linux操作系统，所述linxu操作系统中安装设置有应用层视频图像处理模块。
[0011]进一步的，所述应用层视频图像处理模块执行基于模板匹配目标查找算法，
[0012]所述基于模板匹配目标查找算法包括以下步骤，
[0013]图像预处理步骤:
[0014][0015]其中f(x,y)是预处理的图像；θ是当前像素(m,n)的一个局部邻域。单边留函数u存在逆函数u-1
，a(i,j)是加权系数，g(i,j)是输入的图像；
[0016]模板匹配步骤:
[0017][0018]S(m,n)为模板图像，M、N为模板图像的维度，f(m,n)为f(x,y)图像中和模板图像一样大小的子图像，D(x,y)为匹配错误的度量；
[0019]几何变换步骤:
[0020]将模板图像经几何变换映射到处理图像后的所在位置，
[0021][0022]T为矢量函数,(x,y)为模板图像的像素坐标，(x
′
,y
′
)为转换后的在处理图像中的像素新坐标。
[0023]进一步的，应用层视频图像处理模块执行边缘提取分割算法，
[0024]所述边缘提取分割算法包括以下步骤,
[0025]边缘提取步骤：
[0026]首先将图像与尺度为σ的高斯函数作卷积，
[0027]其次对图像中的每个像素，估计局部边缘的法向n，
[0028][0029]再次找到边缘位置，
[0030][0031]再次计算边缘强度，
[0032][0033]最后对边缘图像作滞后阈值化处理，消除虚假响应，并用特征综合方法，收集来自多尺度的最终的边缘信息，
[0034]其中F表示图像，x和y表示图像像素的坐标；
[0035]均匀移位不连续性保持滤波步骤：
[0036]首先对于每个图像像素Xi,初始化步数j＝1,Y
(i,1)
＝X
i
，其次计算Y
(i,j+1)
,直到收敛于Y
(i,con)
，最后定义滤波后的像素值即在处的滤波后的像素值被赋值为收敛点的像素的图像值，i表示像素的编号，Z
i
为每个图像的像素；
[0037]均值移位图像分割步骤：
[0038]首先采用均值移位不连续性保持滤波，保持有关每个d维收敛点的所有信息，其次将所有Z
i
按照在空域用核Hs和在值域用核Hr聚类得到{Cp}p＝1,...,m,其中Hs代表空域的大小、Hr代表值域的大小，最后给每个点i赋值L
i
＝{p|Z
i
∈C
p
},i＝1,...,n，并消除小于p个像素的区域，其中m为自然数，Cp为收敛点的吸引域，p和d表示图像的空间维度。
[0039]本专利技术的有益效果是，本专利技术提供的智能相机硬件系统以ZYNQ为核心，由核心板和图像采集板构成，图像采集模块由光学组件系统、图像传感器、AD转换模块等部件构成。智能相机选择嵌入式Linux操作系统作为软件平台，并结合OpenCV开源视觉库进行智能相机配置软件的设计开发，并在应用层设计图像处理应用程序实现FPGA硬件处理和ARM协同处理的视频数据流控制，完成涉及到的大量图像处理算法的图像处理，实现了高清视频数据流实时采集与处理。
附图说明
[0040]图1为本专利技术系统框架图。
具体实施方式
[0041]本专利技术提供一种小型、无线的基于500万CMOS芯片和ZYNQ体系的智能相机前端的电气及机械系统，以ZYNQ为核心，采用嵌入式Linux操作系统，可直接在相机中处理所需要的图像检测、测量信息，通过RS232串口、以太网通讯、输入输出GPIO至外部设备。
[0042]本专利技术提供提供的智能相机整体结构小巧，集成水平镜像、图像缩放、图像旋转、二值化、亚像素定位等40余图像处理算法库，可直接内部处理采集图像，输出结果控制外部设备或者通过串口、网口输出至其他设备，智能相机视觉检测、测量的结果供其他设备使用。
[0043]在本专利技术实施过程中，智能相机硬件选用低功耗的主芯片xc7z020clg484、存储芯片MT41J256M16，集成以太网接口、USB、内存卡、RS232串口、输入输出GPIO于一体。智能相机通过C/CS镜头结合CMOS模块在FPGA上完成图像采集模块、图像预处理模块、图像显示模块功能，在ARM上构建Linux操作系统，在应用层实现整个视频采集处理流程控制功能，在应用层图像处理中采用软硬件协同的思想，实现图像预处理硬件加速，提高系统整体图像处理速度。智能相机在应用层上集成集成图像模板匹配目标查找、边缘提取分割等40余图像处理算法库，并开发柔性图像处理系统软件。智能相机具备图像处理单元硬件环境的支持，可直接完成图像处理功能，输出结果可通过串口、以太网通讯输送到其他设备，并可根据处理结果直接通过GPIO控制输出设备。
[0044]下面对本专利技术提供的智能相机集成的部分图像处理算法进行说明：
[0045]1、基于模板匹配目标查找算法
[0046]该算法对采集图像经预处理后，与标准模板图像进行匹配，根据匹配本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于CMOS芯片和ZYNQ体系的智能相机，其特征在于，包括，ZYNQ平台，CMOS传感器；所述ZYNQ平台包括FPGA硬件单元和ARM硬件单元；所述FPGA硬件单元包括视频采集模块和视频预处理模块；所述视频采集模块通过所述CMOS传感器获取视频信号信息并发送至视频预处理模块，所述视频预处理模块将处理后的视频信号发送至ARM硬件单元；所述ARM硬件单元运行linux操作系统，所述linxu操作系统中安装设置有应用层视频图像处理模块。2.如权利要求1所述的一种基于CMOS芯片和ZYNQ体系的智能相机，其特征在于，所述应用层视频图像处理模块执行基于模板匹配目标查找算法，所述基于模板匹配目标查找算法包括以下步骤，图像预处理步骤:其中f(x,y)是预处理的图像；θ是当前像素(m,n)的一个局部邻域，单边留函数u存在逆函数u-1
，a(i,j)是加权系数，g(i,j)是输入的图像；模板匹配步骤:S(m,n)为模板图像，M、N为模板图像的维度，f(m,n)为f(x,y)图像中和模板图像一样大小的子图像，D(x,y)为匹配错误的度量；几何变换步骤:将模板图像经几何变换映射到处理图像后的所在位置，T为矢量函数,(x,y)为模板图像的像素坐标，(x
′
,y
′
)为转换后的在处理图像中的像素新坐标。3.如权利要求1所述的一种基于CMOS芯片和ZYNQ体系的智能相机，其特征在于，应用层...

【专利技术属性】
技术研发人员：孟明辉，周传德，赵珍祥，高晓飞，朱志强，张曼，
申请(专利权)人：重庆科技学院，
类型：发明
国别省市：