一种数据处理方法、系统及计算机可读存储介质技术方案

本发明专利技术实施例公开了一种数据处理方法、系统及计算机可读存储介质。其中，方法包括根据数据处理模式，利用预先构建的、相应数据处理模式下的多路CNN网络结构对待分析数据进行处理；根据数据处理模式和各路CNN网络结构的运行计算结果，得到待分析数据的处理结果，数据处理模式与多路网络结构一一对应，且各路CNN网络结构在计算过程中没有数据交互。本申请通过在一个FPGA上设置多路并行的CNN网络结构，不同的数据处理模式对应不同的网络结构，既可以对大量的数据同时并行处理，节省数据处理时间，从而提高CNN算法的工作效率；又可以利用多路CNN网络结构同时对同一目标数据进行目标识别，有利于提升CNN算法的目标识别的准确率，从而整体提升CNN算法性能。

Data processing method, system and computer readable storage medium

The embodiment of the invention discloses a data processing method, a system and a computer readable storage medium. Among them, according to the data processing mode, the analysis data are processed by using the pre-constructed multi-channel CNN network structure under the corresponding data processing mode; according to the data processing mode and the operation calculation results of each CNN network structure, the processing results of the data to be analyzed, the data processing mode and the multi-channel network are obtained. The network structure is one-to-one correspondence, and each CNN network structure has no data interaction in the calculation process. By setting up a multi-channel parallel CNN network structure on an FPGA, different data processing modes correspond to different network structures, which can not only process large amounts of data simultaneously in parallel, save data processing time, thus improving the efficiency of CNN algorithm, but also can use multi-channel CNN network structure to simultaneously target the same object. Data target recognition is conducive to improving the accuracy of target recognition of CNN algorithm, thereby improving the performance of CNN algorithm as a whole.

【技术实现步骤摘要】
一种数据处理方法、系统及计算机可读存储介质
本专利技术实施例涉及深度学习
，特别是涉及一种数据处理方法、系统及计算机可读存储介质。
技术介绍
随着机器学习技术的快速发展，深度学习作为机器学习中一种基于对数据进行表征学习的方法，被广泛应用。目前，深度学习技术主要以DNN(DeepNeuralNetworks，深度神经网络)为研究对象。DNN用于模式识别的主流是有指导学习网络，无指导学习网络更多的是用于聚类分析。对于有指导的模式识别，由于任意一种样本的类别是已知的，样本在空间的分布不再是依据其自然分布倾向来划分，而是要根据同类样本在空间的分布及不同类样本之间的分离程度确定一种适当的空间划分方法，或者找到一个分类边界，使得不同类样本分别位于不同的区域内。这就需要一个长时间且复杂的学习过程，不断调整用以划分样本空间的分类边界的位置，使尽可能少的样本被划分到非同类区域中。对于同一个网络结构，其训练样本的不同(不同包括内容、顺序)最后训练的结果也不完全相同。由于处理场景的不同，对DNN的性能要求也不相同，从而发展出多种网络结构，例如卷积神经网络(ConvolutionalNeuralNetworks，CNN)为一种典型的深度学习算法。CNN结构较为复杂，为了提高CNN数据处理速度，现有技术多采用CPU(CentralProcessingUnit，中央处理器)和FPGA(Field-ProgrammableGateArray，现场可编程门阵列)构成异构加速平台加以实现，一般在一块加速板卡上实现一种CNN网络结构，但是当数据较多时，或者是目标识别准确率需求较高时，或者数据处理效率要求较高时，现有技术往往无法满足现实要求。
技术实现思路
本专利技术实施例的目的是提供一种数据处理方法、系统及计算机可读存储介质，降低CNN网络结构的数据处理所需时间，有利于提升CNN网络目标识别的准确率，提高了CNN算法的性能。为解决上述技术问题，本专利技术实施例提供以下技术方案：本专利技术实施例一方面提供了一种数据处理方法，基于FPGA板卡和CPU构成的异构计算平台，包括：根据所述CPU发送数据处理模式指令，利用预先构建的、相应数据处理模式下的多路CNN网络结构对所述待分析数据进行处理；根据所述数据处理模式和各路CNN网络结构的运行计算结果，得到所述待分析数据的处理结果；其中，多路CNN网络结构并行运行在所述FPGA板卡上，多路CNN网络结构为预先根据用户输入的配置参数进行构建，并与所述数据处理模式一一对应；各路CNN网络结构在计算过程中没有数据交互；所述数据处理模式包括多路CNN网络结构对同一待分析数据进行目标识别的目标识别模式，和同时对所述待分析数据的各个彼此不同子段数据进行处理的数据并行处理模式，子段数据的个数和CNN网络结构的路数相同，且各子段数据拼接为完整的所述待分析数据。可选的，所述数据处理模式为目标识别模式，所述根据所述数据处理模式和各路CNN网络结构的运行计算结果，得到所述待分析数据的处理结果包括：获取各路CNN网络结构运行所述待分析数据的识别结果；从各识别结果选择满足预设识别条件的目标识别结果，并将所述目标识别结果发送至所述CPU，以作为所述待分析数据的识别结果；其中，各路CNN网络结构为预先利用不同样本数据训练所得。可选的，所述数据处理模式为数据并行处理模式，所述根据所述数据处理模式和各路CNN网络结构的运行计算结果，得到所述待分析数据的处理结果包括：存储各路CNN网络结构运行相应子段数据的计算结果，并作为所述待分析数据的处理结果；其中，各子段数据的占用空间容量值相等，且各路CNN网络结构分别将各自运行的计算结果直接发送至所述CPU。可选的，所述数据处理模式指令为所述CPU根据用户选择的数据处理模式生成。可选的，所述数据处理模式指令为所述CPU根据所述待分析数据的占用空间容量值与预设容量阈值的比较结果生成，当所述待分析数据的占用空间容量值大于预设容量阈值，则发送目标识别模式；当所述待分析数据的占用空间容量值不大于预设容量阈值，则发送数据并行处理模式。可选的，各路CNN网络结构复用所述FPGA板卡上的数据存取模块。可选的，所述CNN网络结构为AlexNet网络。本专利技术实施例另一方面提供了一种数据处理方法，基于FPGA板卡和CPU构成的异构计算平台，包括：根据待分析数据确定数据处理模式，并生成数据处理模式指令发送至所述FPGA板卡，以使所述FPGA板卡根据所述数据处理模式指令，利用预先构建的、相应数据处理模式下的多路CNN网络结构对所述待分析数据进行处理；当多路CNN网络结构运行结束时，从所述FPGA板卡的DDR的缓存中读取处理结果；其中，多路CNN网络结构并行运行在所述FPGA板卡上，多路CNN网络结构为预先根据用户输入的配置参数进行构建，并与所述数据处理模式一一对应；各路CNN网络结构在计算过程中没有数据交互；所述数据处理模式包括多路CNN网络结构对同一待分析数据进行目标识别的目标识别模式，和同时对所述待分析数据的各个彼此不同子段数据进行处理的数据并行处理模式，子段数据的个数和CNN网络结构的路数相同，且各子段数据拼接为完整的所述待分析数据。本专利技术实施例还提供了一种数据处理系统，包括CPU和FPGA板卡；所述CPU用于对各路CNN网络结构参数进行初始化、各路CNN网络结构进行数据处理模式配置、配置向各路CNN网络结构传递命令和数据的上下文，与所述FPGA板卡进行数据传输及各路CNN网络结构的并行调度；所述数据处理模式包括多路CNN网络结构对同一待分析数据进行目标识别的目标识别模式，和同时对所述待分析数据的各个彼此不同子段数据进行处理的数据并行处理模式，子段数据的个数和CNN网络结构的路数相同，且各子段数据拼接为完整的所述待分析数据；所述FPGA板卡用于根据所述CPU发送数据处理模式指令，利用预先构建的、相应数据处理模式下的多路CNN网络结构对所述待分析数据进行处理；根据所述数据处理模式和各路CNN网络结构的运行计算结果，得到所述待分析数据的处理结果；其中，多路CNN网络结构并行运行在所述FPGA板卡上，多路网络结构为预先根据用户输入的配置参数进行构建，并与所述数据处理模式一一对应；各路CNN网络结构在计算过程中没有数据交互。本专利技术实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如前任一项所述数据处理方法的步骤。本申请提供的技术方案的优点在于，通过在一个FPGA上设置多路并行的CNN网络结构，不同的数据处理模式对应不同的网络结构，数据处理模式包括同一待分析数据进行目标识别的目标识别模式，和同时对待分析数据的各个彼此不同子段数据进行处理的数据并行处理模式，既可以对大量的数据同时并行处理，节省数据处理时间，从而提高CNN算法的工作效率；又可以利用多路CNN网络结构同时对同一目标数据进行目标识别，有利于提升CNN算法的目标识别的准确率，从而整体提升CNN算法性能。此外，本专利技术实施例还针对数据处理方法提供了相应的实现系统及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置、设备及计算机可读存储介质具有相应的优点。附图说明为了更清楚的说明本专利技术实施例本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，基于FPGA板卡和CPU构成的异构计算平台，包括：根据所述CPU发送数据处理模式指令，利用预先构建的、相应数据处理模式下的多路CNN网络结构对所述待分析数据进行处理；根据所述数据处理模式和各路CNN网络结构的运行计算结果，得到所述待分析数据的处理结果；其中，多路CNN网络结构并行运行在所述FPGA板卡上，多路CNN网络结构为预先根据用户输入的配置参数进行构建，并与所述数据处理模式一一对应；各路CNN网络结构在计算过程中没有数据交互；所述数据处理模式包括多路CNN网络结构对同一待分析数据进行目标识别的目标识别模式，和同时对所述待分析数据的各个彼此不同子段数据进行处理的数据并行处理模式，子段数据的个数和CNN网络结构的路数相同，且各子段数据拼接为完整的所述待分析数据。

【技术特征摘要】
1.一种数据处理方法，其特征在于，基于FPGA板卡和CPU构成的异构计算平台，包括：根据所述CPU发送数据处理模式指令，利用预先构建的、相应数据处理模式下的多路CNN网络结构对所述待分析数据进行处理；根据所述数据处理模式和各路CNN网络结构的运行计算结果，得到所述待分析数据的处理结果；其中，多路CNN网络结构并行运行在所述FPGA板卡上，多路CNN网络结构为预先根据用户输入的配置参数进行构建，并与所述数据处理模式一一对应；各路CNN网络结构在计算过程中没有数据交互；所述数据处理模式包括多路CNN网络结构对同一待分析数据进行目标识别的目标识别模式，和同时对所述待分析数据的各个彼此不同子段数据进行处理的数据并行处理模式，子段数据的个数和CNN网络结构的路数相同，且各子段数据拼接为完整的所述待分析数据。2.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理模式为目标识别模式，所述根据所述数据处理模式和各路CNN网络结构的运行计算结果，得到所述待分析数据的处理结果包括：获取各路CNN网络结构运行所述待分析数据的识别结果；从各识别结果选择满足预设识别条件的目标识别结果，并将所述目标识别结果发送至所述CPU，以作为所述待分析数据的识别结果；其中，各路CNN网络结构为预先利用不同样本数据训练所得。3.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理模式为数据并行处理模式，所述根据所述数据处理模式和各路CNN网络结构的运行计算结果，得到所述待分析数据的处理结果包括：存储各路CNN网络结构运行相应子段数据的计算结果，并作为所述待分析数据的处理结果；其中，各子段数据的占用空间容量值相等，且各路CNN网络结构分别将各自运行的计算结果直接发送至所述CPU。4.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理模式指令为所述CPU根据用户选择的数据处理模式生成。5.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理模式指令为所述CPU根据所述待分析数据的占用空间容量值与预设容量阈值的比较结果生成，当所述待分析数据的占用空间容量值大于预设容量阈值，则发送目标识别模式；当所述待分析数据的占用空间容量值不大于预设容量阈值，则发送数据并行处理模式。6.根据权利要求1至5任意一项所述的数据处理方法，其特征在于，各路CNN网络结构复用...

【专利技术属性】
技术研发人员：董刚，赵雅倩，程云，刘栩辰，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41