高速可编程相机片上实时图像处理方法与装置制造方法及图纸

本发明专利技术属于高速成像技术领域，涉及一种高速可编程相机片上实时图像处理方法与装置。本发明专利技术首次提出将图像处理程序载入到相机的可编程模块中，用来实时处理从图像传感器采集得到的图像数据，并将图像处理结果直接传输给上位机，保证了对图像数据处理的实时性。由于图像处理结果的数据量远远小于图像原始数据，因此本发明专利技术解决了相机和上位机之间大量图片数据高速传输的难题，极大地提高了相机的数据处理能力和数据传输速度，具有集成度高、稳定性好的特点。同时，可编程模块中载入的图像处理程序可根据需求反复擦除和写入，方便用户实现对图像数据处理程序的调试和更新换代。

Real time image processing method and device on high speed programmable camera

【技术实现步骤摘要】
高速可编程相机片上实时图像处理方法与装置
本专利技术属于高速成像
，可用于高速拍摄图像并对图像数据进行片上快速处理，亦可结合人工智能，拓展对图片数据的片上智能化处理能力。
技术介绍
高速成像技术在工业检测、航空遥感、智能化仪器和微电子等领域都具有重要的作用。高速相机采用CMOS或CCD等图像传感器将拍摄的光学图像信息快速转化为数字电信号，并通过逻辑存储和处理器件将转化后的图像信息进行输出，从而完成图像的采集和传输。相比普通相机，高速相机可以实现对高速运动目标的快速图像采集和实时显示，具有高图像稳定性、高传输能力和高抗干扰能力等，能够实现对目标的实时跟踪记录。目前，高速相机的研究大多集中在德国、美国、加拿大等欧美发达国家，长期的研究探索使得这些国家的高速相机在性能上处于领先水平。对高速相机的研究主要包括以下两个途径：一是通过拓展相机数据接口的传输能力，实现对大量的数据信息进行快速传输；二是集成数据缓存卡，将高速采集的大量图像数据暂时存入缓存卡，再通过缓存卡将数据进行输出。其中，通过拓展相机数据接口传输能力这条途径实现高速相机的问题在于：（1）受硬件因素的制约，相机数据接口的传输能力不可能无限拓展；（2）大量数据在传输过程中的通信稳定性会受到很大的挑战；（3）所需要的硬件成本会显著提升。通过集成数据缓存卡实现高速相机的问题在于：（1）受缓存卡容量的限制，所拍摄图像的帧数非常受限；（2）该方法通过先存入缓存，再后续输出图像的方法，只能实现对图像的高速采集，却无法做到对图像的实时高速处理。正是因为上述这些存在的问题，当前高速相机在应用和推广上受到了非常巨大的制约。在实际的应用环境中，我们迫切需要有一台既能够快速采集图像，又不需要过高地依靠硬件环境，还能够对图像进行实时处理的高速相机。例如在工业检测领域，我们希望对被检对象实现高速的在线检测，并能够将检测结果实时地传输至上级网络，实现对图像数据的快速处理。显然此时大批量的图像数据传输对硬件的成本和稳定性都将是一个非常大的挑战，而通过缓存来实现的高速图像采集并后续传输也无法满足这里的实时图像处理需求。
技术实现思路
为解决上述问题，本专利技术提出了高速可编程相机片上实时图像处理方法与装置，用户可以通过上位机将图像处理程序载入到相机的可编程模块中，用来实时处理从图像传感器采集得到的图像数据，并将图像处理结果直接传输给上位机；由于图像处理结果的数据量远远小于图像原始数据，因此本专利技术解决了相机和上位机之间大量图片数据高速传输的难题，极大地提高了相机的数据处理能力和数据传输速度，具有集成度高、稳定性好的特点。一方面，本专利技术提供了一种高速可编程相机片上实时图像处理方法，其中：通过上位机将图像传感器控制程序、采集图像处理程序和上传处理结果至上位机程序载入到可编程模块中，其中采集图像处理程序是根据使用需求编写的；当使用需求发生改变时，将可编程模块上已经载入的程序擦除，然后将更新后的采集图像处理程序连同图像传感器控制程序和上传处理结果至上位机程序重新载入可编程模块中，进而实现对采集图像处理程序的更新；当程序载入到可编程模块后，具体的运行步骤为：（a）可编程模块通过其通信接口接收到开始运行指令后系统开始运行；（b）可编程模块运行图像传感器控制程序来控制图像传感器采集图像数据，并将采集的图像数据从图像传感器传至可编程模块中；（c）可编程模块运行采集图像处理程序来对采集的图像数据进行处理，得到图像处理结果；（d）可编程模块运行上传处理结果至上位机程序将图像处理结果上传至上位机；（e）循环步骤b到步骤d，由可编程模块高速实时地将采集图像的处理结果上传至上位机，直到可编程模块收到终止运行指令。另一方面，本专利技术提供了一种高速可编程相机片上实时图像处理装置，包括上位机、图像传感器和可编程模块；其中上位机将图像传感器控制程序、采集图像处理程序和上传处理结果至上位机程序载入到可编程模块中；可编程模块运行图像传感器控制程序来控制图像传感器采集图像并将采集的图像数据传输到可编程模块中；可编程模块运行采集图像处理程序对采集的图像数据进行处理，得到处理结果；可编程模块运行上传处理结果至上位机程序将图像数据的处理结果上传至上位机。本专利技术对比已有技术具有以下创新点和显著优点：1.在本专利中，对采集图像数据的处理是在相机内部的可编程模块上实现的，无需将图像数据先传至上位机，再由上位机去执行对图像数据的处理，保证了对图像数据处理的实时性；2.本专利技术直接在相机的可编程芯片上实现了对图像的处理，并将处理结果上传给上位机。由于图像处理后得到的数据量远小于图像的原始数据，因此本专利技术有效避免了相机和上位机之间由于大量图片数据的传输带来的资源和时间消耗，为图像数据的高速采集、实时处理和传输提供了有效途径；3.可编程模块中的图像处理程序可根据用户使用需求反复擦除和写入，使得相机可用于不同的应用场景，并方便用户实现对图像数据处理程序的调试和更新换代；4.本专利技术的可编程模块中可以写入人工智能处理程序，可实现对采集图像数据的高速智能化处理。附图说明图1为本专利技术高速可编程相机片上实时图像处理方法的示意图；图2为本专利技术增加了上传图像数据至上位机程序后的方法示意图；图3为本专利技术高速可编程相机片上实时图像处理装置的示意图；图4为本专利技术在可编程模块中加入了人工智能处理芯片后的示意图；图5为本专利技术在可编程模块中加入了存储模块后的示意图；图6为将本专利技术应用到成像光谱仪中的实施例示意图；图7为将本专利技术应用到高速处理和实时跟踪光斑目标的实施例示意图；图8为将本专利技术应用到高速在线产品检测的实施例示意图；图9为本专利技术在可编程模块中加入了人工智能处理芯片后的实施例示意图；其中：1-图像传感器、2-可编程模块、3-图像传感器控制程序、4-采集图像处理程序、5-上传处理结果至上位机程序、6-上位机、7-图像数据、8-上传图像数据至上位机程序、9-人工智能处理芯片、10-存储模块、11-高速可编程相机片上实时图像处理装置、12-成像光谱仪、13-线目标、14-CMOS图像传感器、15-基于SOC芯片的可编程模块、16-LVDS接口、17-千兆以太网、18-CMOS图像传感器控制程序、19-光谱图像处理程序、20-光谱图像数据、21-模数转换器、22-光学系统、23-目标光斑、24-光斑图像处理程序、25-光斑图像数据、26-光学成像镜头、27-被检测产品、28-基于人工智能算法的图像处理程序、29-被检测产品的图像数据。具体实施方式下面结合附图和实施例对本专利技术作进一步说明。在本专利技术中，用户能够根据自己的需求将图像处理程序加载到可编程模块，进而通过可编程模块对从图像传感器采集的图像数据进行芯片级的高速处理，最终将处理结果直接传输给上位机，避免了相机和上位机之间大数据量的图像信息传输造成的速度受限和系统稳定性不高等问题，可实现相机的高速图像采集、实时数据处理、本文档来自技高网...

【技术保护点】
1.高速可编程相机片上实时图像处理方法，其特征在于：通过上位机将图像传感器控制程序、图像处理程序和上传处理结果至上位机程序载入到可编程模块中，其中图像处理程序是根据使用需求编写的；当使用需求发生改变时，将所述可编程模块上已经载入的程序擦除，然后将更新后的图像处理程序连同图像传感器控制程序和上传处理结果至上位机程序重新载入所述可编程模块中，进而实现对图像处理程序的更新；当程序载入到可编程模块后，具体的运行步骤为：/n（a）可编程模块通过其通信接口接收到开始运行指令后系统开始运行；/n（b）所述可编程模块运行图像传感器控制程序来控制图像传感器采集图像数据，并将采集的图像数据从所述图像传感器传至所述可编程模块中；/n（c）所述可编程模块运行图像处理程序来对采集的图像数据进行处理，得到图像处理结果；/n（d）所述可编程模块运行上传处理结果至上位机程序将图像处理结果上传至上位机；/n（e）循环步骤b到步骤d，由所述可编程模块高速实时地将采集图像的处理结果上传至上位机，直到所述可编程模块收到终止运行指令。/n

【技术特征摘要】
1.高速可编程相机片上实时图像处理方法，其特征在于：通过上位机将图像传感器控制程序、图像处理程序和上传处理结果至上位机程序载入到可编程模块中，其中图像处理程序是根据使用需求编写的；当使用需求发生改变时，将所述可编程模块上已经载入的程序擦除，然后将更新后的图像处理程序连同图像传感器控制程序和上传处理结果至上位机程序重新载入所述可编程模块中，进而实现对图像处理程序的更新；当程序载入到可编程模块后，具体的运行步骤为：
（a）可编程模块通过其通信接口接收到开始运行指令后系统开始运行；
（b）所述可编程模块运行图像传感器控制程序来控制图像传感器采集图像数据，并将采集的图像数据从所述图像传感器传至所述可编程模块中；
（c）所述可编程模块运行图像处理程序来对采集的图像数据进行处理，得到图像处理结果；
（d）所述可编程模块运行上传处理结果至上位机程序将图像处理结果上传至上位机；
（e）循环步骤b到步骤d，由所述可编程模块高速实时地将采集图像的处理结果上传至上位机，直到所述可编程模块收到终止运行指令。


2.根据权利要求1所述的高速可编程相机片上实时图像处理方法，其特征在于：在载入到可编程模块中的程序中增加了上传图像数据至上位机程序，用户根据实际需求通过指令来控制可编程模块运行对应的程序；当用户向可编程模块下达将图像数据直接上传至上位机的指令时，具体的运行步骤为：
（a）可编程模块通过其通信接口接收到开始运行指令后系统开始运行；
（b）所述可编程模块运行图像传感器控制程序来控制图像传感器采集图像数据，并将采集的图像数据从所述图像传感器传至所述可编程模块中；
（c）所述可编程模块通过上传图像数据至上位机程序将采集的图像数据直接传输给上位机；
（d）循环步骤b和步骤c，由所述可编程模块实时地将采集的图像数据上传至上位机，直到收到终止运行指令；
当用户向可编程模块下达将图像数据的处理结果上传至上位机的指令时，具体的运行步骤为：
（a）可编程模块通过其通信接口接收到开始运行指令后系统开始运行；
（b）所述可编程模块运行图像传感器控制程序来控制图像传感器采集图像数据，并将采集的图像数据从所述图像传感器传至所述可编程模块中；
（c）所述可编程模块运行图像处理程序来对采集的图像数据进行处理，得到图像处理结果；
（d）所述可编程模块运行上传处理结果至上位机程序将图像处理结果上传至上位机；
（e）循环步骤b到步骤d，由所述可编程模块高速实时地将采集图像的处理结果上传至上位机，直到所述可编程模块收到终止运行指令。


3.根据权利要求1所述的高速可编程相机片上实时图像处理方法，其特征在于：所述图像处理程序是对从图像传感器采集来的N个图像数据进行处理，然后得到处理结果，具体的运行步骤为：
（a）可编程模块通过其通信接口接收到开始运行指令后系统开始运行；
（b）所述可编程模块运行图像传感器控制程序来控制图像传感器采集图像数据，并将采集的图像数据从所述图像传感器传至所述可编程模块中；
（c）将步骤b重复运行N次，所述可编程...

【专利技术属性】
技术研发人员：杨佳苗，童强，刘林仙，龚雷，崔祥辰，沈阳，邹高宇，乔楠楠，马奎，王嘉仪，
申请(专利权)人：杨佳苗，
类型：发明
国别省市：上海;31