数据处理方法、装置、计算机设备和存储介质制造方法及图纸

本公开涉及一种数据处理方法、装置、计算机设备和存储介质。其所公开的板卡包括：存储器件、接口装置和控制器件以及数据处理装置；其中，数据处理装置与存储器件、控制器件以及接口装置分别连接；存储器件，用于存储数据；接口装置，用于实现数据处理装置与外部设备之间的数据传输；控制器件，用于对数据处理装置的状态进行监控。本公开实施例所提供的数据处理方法、装置、计算机设备和存储介质，通过标签信息对神经网络中的数据进行标记，简化了对数据进行处理、存储等处理的过程，减少了对硬件资源的占用，且提高了神经网络运算的速度。

Data processing methods, devices, computer equipment and storage media

The invention relates to a data processing method, a device, a computer device and a storage medium. The disclosed board includes: memory device, interface device, controller and data processing device; wherein, data processing device is respectively connected with memory device, controller and interface device; memory device is used for storing data; interface device is used for realizing data transmission between data processing device and external equipment; control device is used for data processing device Monitor the status of the device. The data processing method, device, computer equipment and storage medium provided by the embodiment of the disclosure mark the data in the neural network through label information, simplify the process of data processing, storage and other processing, reduce the occupation of hardware resources, and improve the speed of neural network operation.

【技术实现步骤摘要】
数据处理方法、装置、计算机设备和存储介质
本公开涉及计算机
，特别是涉及一种数据处理方法、装置、计算机设备和存储介质。
技术介绍
随着计算机技术的发展，神经网络(neuralnetworks)也有了显著的进步，可以通过特定或者通用的处理器进行神经网络运算。相关技术中，在神经网络中数据类型多、运算量大、硬件限制等因素的影响下，神经网络运算的速度受到了很大限制。
技术实现思路
基于此，有必要针对上述技术问题，提供一种数据处理方法、装置、计算机设备和存储介质。根据本公开的一方面，提供了一种数据处理方法，应用于处理器，所述方法包括：获取待处理数据以及所述待处理数据的标签信息，所述待处理数据用于进行神经网络运算，所述标签信息包括动态标签信息；根据所述动态标签信息对所述待处理数据进行处理，得到处理后数据，并存储所述处理后数据，所述处理后数据的数据状态与所述动态标签信息一致；其中，所述动态标签信息用于表征所述待处理数据与运行所述神经网络的处理器相关的信息。根据本公开的另一方面，提供了一种数据处理装置，用于处理器，所述装置包括：获取模块，获取待处理数据以及所述待处理数据的标签信息，所述待处理数据用于进行神经网络运算，所述标签信息包括动态标签信息；数据处理模块，根据所述动态标签信息对所述待处理数据进行处理，得到处理后数据，并存储所述处理后数据，所述处理后数据的数据状态与所述动态标签信息一致；其中，所述动态标签信息用于表征所述待处理数据与运行所述神经网络的处理器相关的信息。根据本公开的另一方面，提供了一种电子设备，该电子设备包括上述数据处理装置。根据本公开的另一方面，提供了一种板卡，该板卡包括上述数据处理装置。根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述数据处理方法。在一些实施例中，所述电子设备包括数据处理装置、机器人、电脑、打印机、扫描仪、平板电脑、智能终端、手机、行车记录仪、导航仪、传感器、摄像头、服务器、云端服务器、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备、交通工具、家用电器、和/或医疗设备。在一些实施例中，所述交通工具包括飞机、轮船和/或车辆；所述家用电器包括电视、空调、微波炉、冰箱、电饭煲、加湿器、洗衣机、电灯、燃气灶、油烟机；所述医疗设备包括核磁共振仪、B超仪和/或心电图仪。本公开实施例提供一种数据处理方法、装置、计算机设备和存储介质，通过标签信息对神经网络中的数据进行标记，以标签信息为依据对数据进行处理、存储，为用户提供了更为友好的API，改善了软件的性能，减少了对硬件资源的占用，且提高了神经网络运算的速度。通过权要中的技术特征进行推导，能够达到对应
技术介绍
中的技术问题的有益效果。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。附图说明包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。图1示出根据本公开实施例的数据处理方法的处理器的示意图。图2a示出根据本公开一实施例的数据处理方法的流程图。图2b示出根据本公开一实施例的数据处理方法中确定数据类别的流程图。图2c示出根据本公开一实施例的数据处理方法中确定数据类别的示意图。图3a示出根据本公开实施例的数据处理方法中的关联列表的示意图。图3b示出根据本公开实施例的数据处理方法中的计算图的示意图。图3c示出根据本公开实施例的数据处理方法中的数据转换的示意图。图4a示出根据本公开实施例的数据处理方法中数据转移的流程图。图4b示出根据本公开实施例的数据处理方法中所设计的用于神经网络运算的装置的示意图。图4c示出根据本公开实施例的数据处理方法中用于神经网络运算装置的使用示意图。图5示出根据本公开实施例的数据处理装置的框图。图6示出根据本公开实施例的板卡的结构框图。具体实施方式下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。应当理解，本公开的权利要求、说明书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。本公开的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本公开说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本公开。如在本公开说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本公开说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。如在本说明书和权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。相关技术中，对神经网络加速器的研究已经取得了显著成就，并为很多深度学习算法提供了有力的硬件支持。为了提高神经网络加速器的性能，神经网络开发工具包(neuralnetworkdevelopmentkit，简称NDK)中的算法优化和数据布局(包括数据的存储、变形、转移等与数据相关的处理)是不可缺少的。神经网络算法中丰富的数据类型导致了数据布局信息的多样性。如何将复杂的数据布局信息添加至NDK，从而引导软件全方面的工作，以避免用户感知，同时提供用户友好的API，并能改善软件的性能，提供神经网络运算的速度是亟待解决的问题。本公开实施例提供一种数据处理方法、装置、计算机设备和存储介质，通过标签信息对神经网络中的数据进行标记，简化了对数据进行存储、变形、转移等处理的过程，为用户提供了更为友好的API，改善了软件的性能，减少了对硬件资源的占用，且提高了神经网络运算的速度。根据本公开实施例的数据处理方法可应用于处理器中，该处理器可以包括通用处理器，例如CPU(CentralProcessingUnit，中央处理器)，其中，通用处理器可以对该电子设备接收的数据及指令进行预处理等操作，该通用处理器也可以实现指令编译等功能。处理器也可以包括执行人工智能运算的人工智能处理器(IPU)。人工智能运算可包括机器学习运算或类脑运算等。其中，机器学习运算包括神经网络本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，应用于处理器，所述方法包括：/n获取待处理数据以及所述待处理数据的标签信息，所述待处理数据用于进行神经网络运算，所述标签信息包括动态标签信息；/n根据所述动态标签信息对所述待处理数据进行处理，得到处理后数据，并存储所述处理后数据，所述处理后数据的数据状态与所述动态标签信息一致；/n其中，所述动态标签信息用于表征所述待处理数据与运行所述神经网络的处理器相关的信息。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于处理器，所述方法包括：
获取待处理数据以及所述待处理数据的标签信息，所述待处理数据用于进行神经网络运算，所述标签信息包括动态标签信息；
根据所述动态标签信息对所述待处理数据进行处理，得到处理后数据，并存储所述处理后数据，所述处理后数据的数据状态与所述动态标签信息一致；
其中，所述动态标签信息用于表征所述待处理数据与运行所述神经网络的处理器相关的信息。


2.根据权利要求1所述的方法，其特征在于，所述动态标签信息包括以下至少一项：动态数据类型、动态数据维度顺序、分片参数、填充参数和数据尺寸。


3.根据权利要求2所述的方法，其特征在于，根据所述动态标签信息对所述待处理数据进行处理，得到处理后数据，包括：
判断所述待处理数据当前的数据状态是否与所述动态标签信息一致；
在所述待处理数据当前的数据状态与所述动态标签信息不一致时，根据所述动态标签信息对所述待处理数据进行处理，得到处理后数据；
其中，所述数据状态包括数据类型、数据维度的顺序和维度值。


4.根据权利要求3所述的方法，其特征在于，在所述待处理数据当前的数据状态与所述动态标签信息不一致时，根据所述动态标签信息对所述待处理数据进行处理，得到处理后数据，包括以下至少一项处理：
将所述待处理数据的数据类型转换为所述动态数据类型；
对所述待处理数据的数据维度的顺序进行调整；
根据所述填充参数，对所述待处理数据进行填充；
根据所述分片参数，对所述待处理数据进行切分。


5.根据权利要求1-4任一项所述的方法，其特征在于，获取待处理数据以及所述待处理数据的标签信息，包括：
根据所述处理器和获取的静态标签信息，生成所述待处理数据的动态标签信息；
其中，所述静态标签信息包括以下至少一项：数据类别、静态数据类型、静态数据维度、静态数据维度顺序以及对应每个静态数据维度的维度值。


6.根据权利要求5所述的方法，其特征在于，获取待处理数据以及所述待处理数据的标签信息，包括：
根据所述待处理数据对应于所述神经网络的出度、入度和所述待处理数据参与的所述神经网络中的操作，确定所述待处理数据的数据类别；
其中，所述数据类别包括以下任一项：指令、输入神经元、输出神经元、隐藏神经元、常量神经元、输入权值、输出权...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：北京中科寒武纪科技有限公司，
类型：发明
国别省市：北京;11