一种基于FPGA的摄像装置实现方法及设备制造方法及图纸

本申请公开了一种基于FPGA的摄像装置实现方法及设备，应用在摄像系统中，方法包括：预先训练的多个神经网络模型；根据各摄像装置的属性，向各摄像装置发送相对应的神经网络模型。通过基于FPGA的摄像装置，可以实现快捷方便的对接现有监控摄像头，可以直接对接协议，无需更改IP地址，也就不会影响现有业务。而通过云平台推送实现云端能力的个性化下发，充分考虑摄像装置智能化业务需求，利用FPGA功耗低、实时并行处理能力强、动态可擦洗的特点，灵活动态加载各种云端能力，在设备侧完成业务处理，能更加有效地利用资源，提升执行效率，满足实时性、个性化、智能化的需求，提升摄像头智能业务场景的效率。

【技术实现步骤摘要】
一种基于FPGA的摄像装置实现方法及设备
本申请涉及FPGA领域，具体涉及一种基于FPGA的摄像装置实现方法及设备。
技术介绍
近年来，随着智慧城市建设的逐步推进，公共视频监控网络获得了长足发展，监控摄像头作为最重要的视频采集基础设施，已经广泛部署在城市各个角落，不仅在提高治安水平、预防和打击犯罪方面成果卓著，也有效改善了交通管理、应急指挥、防灾预警、市政设施抢修等工作效率。在新的业务场景下，对传统摄像头有了新的要求，个性化和智能化成为主要的关注点。在这种情况下，如何实现高效能的摄像头智能化，提升摄像头个性化能力，满足摄像头设备侧智能业务场景的要求，成为亟需解决的问题。
技术实现思路
为了解决上述问题，本申请提出了一种基于FPGA的摄像装置实现方法，包括：应用在摄像系统中，所述摄像系统包括云平台、与所述云平台连接的摄像装置，所述摄像装置包括FPGA单元、与所述FPGA单元连接的摄像单元，所述方法包括：所述云平台确定预先训练的多个神经网络模型，所述多个神经网络模型与各摄像装置的属性相对应，所述属性包括FPGA硬件能力和/或应用场景；根据所述各摄像装置的属性，向所述各摄像装置发送相对应的神经网络模型，以使所述各摄像装置对采集到的视频数据进行相应处理。在一个示例中，所述多个神经网络模型的训练过程包括：通过预先确定的训练样本，训练得到初始神经网络模型；针对所述摄像装置不同的属性，对所述初始神经网络模型进行再处理，得到对应的多个神经网络模型，所述再处理包括量化、剪枝、重训练中的至少一种。r>在一个示例中，根据所述各摄像装置的属性，向所述各摄像装置发送相对应的神经网络模型，包括：确定所述各摄像装置的应用场景的实时环境数据；根据所述各摄像装置的属性，以及所述实时环境数据，向所述各摄像装置发送相对应的神经网络模型。在一个示例中，所述FPGA单元包括：主控制器模块、存储模块、FPGA加速模块、摄像单元连接器、网络模块、接口模块；所述FPGA单元，用于通过所述神经网络模型对所述视频数据进行相应处理、与所述云平台进行数据交互、对所述摄像单元进行控制。另一方面，本申请还提出了一种基于FPGA的摄像装置实现方法，应用在摄像系统中，所述摄像系统包括云平台、与所述云平台连接的摄像装置，所述摄像装置包括FPGA单元、与所述FPGA单元连接的摄像单元，所述方法包括：所述摄像装置通过所述摄像单元采集视频数据；通过神经网络模型对所述视频数据进行相应处理，所述视频数据为所述云平台根据所述摄像装置的属性预先训练并发送至所述摄像装置的，所述属性包括FPGA硬件能力和/或应用场景；将处理结果发送至所述云平台。在一个示例中，通过神经网络模型对所述视频数据进行相应处理，包括：通过神经网络模型对所述视频数据进行数据处理和/或视频分析，所述数据处理包括视频压缩。在一个示例中，所述视频分析包括：非法入侵检测、人员违规检测、指定物品识别中的至少一种。在一个示例中，所述FPGA单元包括：主控制器模块、存储模块、FPGA加速模块、摄像单元连接器、网络模块、接口模块；所述FPGA单元，用于通过所述神经网络模型对所述视频数据进行相应处理、与所述云平台进行数据交互、对所述摄像单元进行控制。在一个示例中，当所述摄像单元为网络摄像头时，所述FPGA单元与所述云平台进行数据交互时所使用的IP地址，与所述摄像单元直接与所述云平台进行数据交互时所使用的IP地址相同。另一方面，本申请还提出了一种基于FPGA的摄像装置实现设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任意一个示例所述的方法。通过本申请提出基于FPGA的摄像装置实现方法能够带来如下有益效果：通过基于FPGA的摄像装置，可以实现快捷方便的对接现有监控摄像头，并且通过FPGA单元与云端进行交互，特别针对传统的网络摄像头，可以直接对接协议，无需更改IP地址，也就不会影响现有业务。而通过云平台推送实现云端能力(即相应的神经网络模型)的个性化下发，充分考虑摄像装置智能化业务需求，利用FPGA功耗低、实时并行处理能力强、动态可擦洗的特点，灵活动态加载各种云端能力，在设备侧完成业务处理，能更加有效地利用资源，提升执行效率；通过FPGA单元完成视频编解码协议转换、视频数据压缩、视频内容提取等功能，满足实时性、个性化、智能化的需求，提升摄像头智能业务场景的效率。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本申请实施例中基于FPGA的摄像装置实现方法的流程示意图；图2为本申请实施例中摄像系统示意图；图3为本申请实施例中另一种基于FPGA的摄像装置实现方法的流程示意图；图4为本申请实施例中基于FPGA的摄像装置实现设备的示意图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。以下结合附图，详细说明本申请各实施例提供的技术方案。本申请实施例提供一种基于FPGA的摄像装置实现方法，应用在摄像系统中。FPGA(FieldProgrammableGateArray)即现场可编程门阵列，是在PAL、GAL等可编程器件的基础上进一步发展的产物，是作为专用集成电路(ASIC)领域中的一种半定制电路而出现的，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。与CPU和GPU不同，FPGA是一种典型的非诺依曼架构，是硬件适配软件的模式，能够根据系统资源和算法特征灵活的调整并行度，达到最优的适配，因此能效比高于CPU和GPU。其功耗低、成本小、灵活性高的特点更是其在相关领域中都起到了良好的技术效果。如图2所示，摄像系统中包括有云平台以及与云平台连接的摄像装置，而摄像装置中包括有FPGA单元以及与FPGA单元连接的摄像单元。摄像单元则可以是应用在各不同场景中的监控摄像头，监控摄像头可以是网络摄像头，也可以是支持BNC传输的摄像头。在设置FPGA单元之前，网络摄像头可以与云平台之间通过网络模块连接，并进行数据交互。而在设置有FPGA单元之后，FPGA单元与云平台之间连接进行数据交互，并对摄像单元进行相应的控制。具体地，FPGA单元中包括硬件设备以及运行在硬件设备上的软件系统。硬件设备可以包括：主控制器模块、存储模块、FPGA加速模块、摄像单元连接器、网络模块、接口模块等，而软件系统可以包括：通过神经网络模型对视频数据进行相应处理、与云平台进行数据本文档来自技高网...

【技术保护点】
1.一种基于FPGA的摄像装置实现方法，其特征在于，应用在摄像系统中，所述摄像系统包括云平台、与所述云平台连接的摄像装置，所述摄像装置包括FPGA单元、与所述FPGA单元连接的摄像单元，所述方法包括：/n所述云平台确定预先训练的多个神经网络模型，所述多个神经网络模型与各摄像装置的属性相对应，所述属性包括FPGA硬件能力和/或应用场景；/n根据所述各摄像装置的属性，向所述各摄像装置发送相对应的神经网络模型，以使所述各摄像装置对采集到的视频数据进行相应处理。/n

【技术特征摘要】
1.一种基于FPGA的摄像装置实现方法，其特征在于，应用在摄像系统中，所述摄像系统包括云平台、与所述云平台连接的摄像装置，所述摄像装置包括FPGA单元、与所述FPGA单元连接的摄像单元，所述方法包括：
所述云平台确定预先训练的多个神经网络模型，所述多个神经网络模型与各摄像装置的属性相对应，所述属性包括FPGA硬件能力和/或应用场景；
根据所述各摄像装置的属性，向所述各摄像装置发送相对应的神经网络模型，以使所述各摄像装置对采集到的视频数据进行相应处理。


2.根据权利要求1所述的方法，其特征在于，所述多个神经网络模型的训练过程包括：
通过预先确定的训练样本，训练得到初始神经网络模型；
针对所述摄像装置不同的属性，对所述初始神经网络模型进行再处理，得到对应的多个神经网络模型，所述再处理包括量化、剪枝、重训练中的至少一种。


3.根据权利要求1所述的方法，其特征在于，根据所述各摄像装置的属性，向所述各摄像装置发送相对应的神经网络模型，包括：
确定所述各摄像装置的应用场景的实时环境数据；
根据所述各摄像装置的属性，以及所述实时环境数据，向所述各摄像装置发送相对应的神经网络模型。


4.根据权利要求1所述的方法，其特征在于，所述FPGA单元包括：主控制器模块、存储模块、FPGA加速模块、摄像单元连接器、网络模块、接口模块；
所述FPGA单元，用于通过所述神经网络模型对所述视频数据进行相应处理、与所述云平台进行数据交互、对所述摄像单元进行控制。


5.一种基于FPGA的摄像装置实现方法，其特征在于，应用在摄像系统中，所述摄像系统包括云平台、与所述云平台连接的摄像装置，所述摄像装置包括...

【专利技术属性】
技术研发人员：罗清彩，孙善宝，于晓艳，
申请(专利权)人：济南浪潮高新科技投资发展有限公司，
类型：发明
国别省市：山东;37