高速人工智能相机片上实时图像处理方法与装置制造方法及图纸

本发明专利技术属于高速成像和智能化图像处理技术领域，涉及一种高速人工智能相机片上实时图像处理方法与装置。本发明专利技术首次提出将基于人工智能算法的图像处理程序载入到相机的可编程模块中，用来实时智能化处理从图像传感器采集得到的图像数据，并将图像处理结果直接传输给上位机，保证了对图像数据处理的实时性，同时采用人工智能图像处理算法，极大的提高了图像处理的准确性和有效性。由于图像处理结果的数据量远远小于图像原始数据，因此本发明专利技术解决了相机和上位机之间大量图片数据高速传输的难题。此外，可编程模块中载入的图像处理程序可根据需求反复擦除和写入，方便用户实现对图像数据处理程序的调试和更新换代。

Real time image processing method and device for high speed artificial intelligence camera

【技术实现步骤摘要】
高速人工智能相机片上实时图像处理方法与装置
本专利技术属于高速成像和智能化图像处理
，可用于高速拍摄图像并对图像数据进行片上快速智能化处理，极大地提高了相机智能化数据处理能力和数据传输速度。
技术介绍
高速成像和智能化图像处理技术在工业检测、航空遥感、智能化仪器和微电子等领域都具有重要的作用。高速相机采用CMOS或CCD等图像传感器将拍摄的光学图像信息快速转化为数字电信号，并通过逻辑存储和处理器件将转化后的图像信息进行输出，从而完成图像的采集和传输。相比普通相机，高速相机可以实现对高速运动目标的快速图像采集和实时显示，具有高图像稳定性、高传输能力和高抗干扰能力等，能够实现对目标的实时跟踪记录。目前，高速相机的研究大多集中在德国、美国、加拿大等欧美发达国家，长期的研究探索使得这些国家的高速相机在性能上处于领先水平。对高速相机的研究主要包括以下两个途径：一是通过拓展相机数据接口的传输能力，实现对大量的数据信息进行快速传输；二是集成数据缓存卡，将高速采集的大量图像数据暂时存入缓存卡，再通过缓存卡将数据进行输出。其中，通过拓展相机数据接口传输能力这条途径实现高速相机的问题在于：（1）受硬件因素的制约，相机数据接口的传输能力不可能无限拓展；（2）大量数据在传输过程中的通信稳定性会受到很大的挑战；（3）所需要的硬件成本也会显著提升。通过集成数据缓存卡实现高速相机的问题在于：（1）受缓存卡容量的限制，所拍摄图像的帧数非常受限；（2）该方法通过先存入缓存，再后续输出图像的方法，只能实现对图像的高速采集，却无法做到对图像的实时高速处理。智能化图像处理技术利用人工智能算法对采集的图像进行处理，进而实现对图像目标的智能化识别，目前仅限于在计算机上实现。因此在实际运用过程中，需要先把图像通过相机采集到计算机，然后再通过计算机运行基于人工智能算法的程序来实现对图像数据的智能化处理。由于数据传输和数据存储等问题，这一方法对需要高速采集图像并实时对图像进行智能化处理的应用领域来说是非常难于实现的。从上述分析可以看出，我们迫切需要有一台既能够快速采集图像，又不需要过高地依靠硬件环境，还能够对图像进行实时智能化处理的高速相机来满足某些复杂、前沿的应用需求。例如在工业检测领域，我们希望对被检对象实现高速智能化在线检测，并能够将检测结果实时地传输至上级网络，实现对采集图像数据的快速处理。显然此时大批量的图像数据传输对硬件的成本和稳定性都将是一个非常大的挑战，而通过缓存来实现的高速图像采集并后续传输也无法满足这里的实时图像处理需求。
技术实现思路
为解决上述问题，本专利技术提出了高速人工智能相机片上实时图像处理方法与装置，用户可以通过上位机将基于人工智能算法的图像处理程序载入到相机的可编程模块中，用来实时智能化处理从图像传感器采集得到的图像数据，并将图像处理结果直接传输给上位机，保证了对图像数据处理的实时性；由于图像处理结果的数据量远远小于图像原始数据，因此本专利技术解决了相机和上位机之间大量图片数据高速传输的难题，极大地提高了相机的数据处理能力和数据传输速度，具有集成度高、稳定性好和智能化程度高的特点。一方面，本专利技术提供了一种高速人工智能相机片上实时图像处理方法，其中：通过上位机将图像传感器控制程序、基于人工智能算法的图像处理程序和上传处理结果至上位机程序载入到可编程模块中，其中基于人工智能算法的图像处理程序是根据使用需求编写的，用于对采集图像进行智能化处理；当程序载入到可编程模块后，具体的运行步骤为：（a）可编程模块通过其通信接口接收到开始运行指令后系统开始运行；（b）可编程模块运行图像传感器控制程序来控制图像传感器采集图像数据，并将采集的图像数据从图像传感器传至可编程模块中；（c）可编程模块运行基于人工智能算法的图像处理程序来对采集的图像数据进行处理，得到图像的智能化处理结果；（d）可编程模块运行上传处理结果至上位机程序将图像的智能化处理结果上传至上位机；（e）循环步骤b到步骤d，由可编程模块高速实时地将采集图像的智能化处理结果上传至上位机，直到可编程模块收到终止运行指令。另一方面，本专利技术提供了一种高速人工智能相机片上实时图像处理装置，包括上位机、图像传感器和可编程模块；其中上位机将图像传感器控制程序、基于人工智能算法的图像处理程序和上传处理结果至上位机程序载入到可编程模块中；可编程模块运行图像传感器控制程序来控制图像传感器采集图像并将采集的图像数据传输到可编程模块中；可编程模块运行基于人工智能算法的图像处理程序对采集的图像数据进行处理，得到智能化处理结果；可编程模块运行上传处理结果至上位机程序将图像数据的智能化处理结果上传至上位机。本专利技术对比已有技术具有以下创新点和显著优点：1.本专利技术将对基于人工智能算法的图像处理程序加载到了相机的可编程模块中，在图像传感器采集到图像数据后，直接在相机的可编程模块上实现了对图像数据的智能化处理，无需将图像数据先传至上位机，再由上位机去执行对图像数据的处理，保证了对图像数据处理的实时性；2.本专利技术直接在相机的可编程芯片上实现了对图像的智能化处理，并将处理结果上传给上位机，由于图像处理后得到的数据量远小于图像的原始数据，有效避免了相机和上位机之间由于大量图片数据的传输带来的资源和时间消耗，为图像数据的高速采集、实时智能化处理和传输提供了有效途径；3.可编程模块中的智能化图像处理程序可根据用户使用需求反复擦除和写入，使得相机可用于不同的应用领域，并方便用户实现对智能化图像数据处理程序的调试和更新换代；4.本专利技术将人工智能处理芯片运用到了相机中，可用于高速智能化处理相机采集得到的图像数据，显著提升相机的智能化图像处理能力和速度；5.本专利技术采用基于人工智能的图像处理算法，极大的提高了图像处理的准确性和有效性。附图说明图1为本专利技术高速人工智能相机片上实时图像处理方法的示意图；图2为本专利技术增加了上传图像数据至上位机程序后的方法示意图；图3为本专利技术高速人工智能相机片上实时图像处理装置的示意图；图4为本专利技术在可编程模块中加入了人工智能处理芯片后的示意图；图5为本专利技术在可编程模块中加入了存储模块后的示意图；图6为将本专利技术应用到高速在线产品检测的实施例示意图；图7为本专利技术在加载的程序中加入了上传图像数据至上位机程序后的实施例示意图；图8为本专利技术在可编程模块中加入了人工智能处理芯片后的实施例示意图；其中：1-图像传感器、2-可编程模块、3-图像传感器控制程序、4-基于人工智能算法的图像处理程序、5-上传处理结果至上位机程序、6-上位机、7-图像数据、8-上传图像数据至上位机程序、9-人工智能处理芯片、10-存储模块、11-高速人工智能相机片上实时图像处理装置、12-光学成像镜头、13-被检测产品、14-CMOS图像传感器、15-基于SOC芯片的可编程模块、16-LVDS接口、17-千兆以太网、18-CMOS图像传感器控制程序、19-被检测产品的本文档来自技高网...

【技术保护点】
1.高速人工智能相机片上实时图像处理方法，其特征在于：通过上位机将图像传感器控制程序、基于人工智能算法的图像处理程序和上传处理结果至上位机程序载入到可编程模块中，其中基于人工智能算法的图像处理程序是根据使用需求编写的，用于对采集图像进行智能化处理；当程序载入到可编程模块后，具体的运行步骤为：/n（a）可编程模块通过其通信接口接收到开始运行指令后系统开始运行；/n（b）所述可编程模块运行图像传感器控制程序来控制图像传感器采集图像数据，并将采集的图像数据从所述图像传感器传至所述可编程模块中；/n（c）所述可编程模块运行基于人工智能算法的图像处理程序对采集的图像数据进行处理，得到图像的智能化处理结果；/n（d）所述可编程模块运行上传处理结果至上位机程序将图像的智能化处理结果上传至上位机；/n（e）循环步骤b到步骤d，由所述可编程模块高速实时地将采集图像的智能化处理结果上传至上位机，直到所述可编程模块收到终止运行指令。/n

【技术特征摘要】
1.高速人工智能相机片上实时图像处理方法，其特征在于：通过上位机将图像传感器控制程序、基于人工智能算法的图像处理程序和上传处理结果至上位机程序载入到可编程模块中，其中基于人工智能算法的图像处理程序是根据使用需求编写的，用于对采集图像进行智能化处理；当程序载入到可编程模块后，具体的运行步骤为：
（a）可编程模块通过其通信接口接收到开始运行指令后系统开始运行；
（b）所述可编程模块运行图像传感器控制程序来控制图像传感器采集图像数据，并将采集的图像数据从所述图像传感器传至所述可编程模块中；
（c）所述可编程模块运行基于人工智能算法的图像处理程序对采集的图像数据进行处理，得到图像的智能化处理结果；
（d）所述可编程模块运行上传处理结果至上位机程序将图像的智能化处理结果上传至上位机；
（e）循环步骤b到步骤d，由所述可编程模块高速实时地将采集图像的智能化处理结果上传至上位机，直到所述可编程模块收到终止运行指令。


2.根据权利要求1所述的高速人工智能相机片上实时图像处理方法，其特征在于：当使用需求发生改变时，将所述可编程模块上已经载入的程序擦除，然后将更新后的基于人工智能算法的图像处理程序连同图像传感器控制程序和上传处理结果至上位机程序重新载入所述可编程模块中，进而实现对基于人工智能算法的图像处理程序的更新和替换。


3.根据权利要求1所述的高速人工智能相机片上实时图像处理方法，其特征在于：在载入到可编程模块中的程序中增加了上传图像数据至上位机程序，用户根据实际需求通过指令来控制可编程模块运行对应的程序；当用户向可编程模块下达将图像数据直接上传至上位机的指令时，具体的运行步骤为：
（a）可编程模块通过其通信接口接收到开始运行指令后系统开始运行；
（b）所述可编程模块运行图像传感器控制程序来控制图像传感器采集图像数据，并将采集的图像数据从所述图像传感器传至所述可编程模块中；
（c）所述可编程模块通过上传图像数据至上位机程序将采集的图像数据直接传输给上位机；
（d）循环步骤b和步骤c，由所述可编程模块实时地将采集的图像数据上传至上位机，直到收到终止运行指令；
当用户向可编程模块下达将图像数据的智能化处理结果上传至上位机的指令时，具体的运行步骤为：
（a）可编程模块通过其通信接口接收到开始运行指令后系统开始运行；
（b）所述可编程模块运行图像传感器控制程序来控制图像传感器采集图像数据，并将采集的图像数据从所述图像传感器传至所述可编程模块中；
（c）所述可编程模块运行基于人工智能算法的图像处理程序来对采集的图像数据进行处理，得到图像的智能化处理结果；
（d）所述可编程模块运行上传处理结果至上位机程序将图像的智能化处理结果上传至上位机；
（e）循环步骤b到步骤d，由所述可编程模块高速实时地将采集...

【专利技术属性】
技术研发人员：杨佳苗，邹高宇，刘林仙，童强，赵雁雨，梁美彦，王嘉仪，龚雷，崔祥辰，任竹云，沈阳，乔楠楠，马奎，
申请(专利权)人：杨佳苗，
类型：发明
国别省市：上海;31