数据转存方法及装置制造方法及图纸

本申请实施例提供了一种数据转存方法及装置，其中，该方法包括：获取待存储的采样数据；将采样数据转化成预设格式的多个数据文件，并将多个数据文件分别存储到指定存储器中的多个存储区域中；通过QDMA基于队列的直接内存访问子系统的第一通信接口接收读取请求，从多个存储区域中读取读取请求指示的数据文件；将读取到的读取请求指示的数据文件通过QDMA子系统的第二通信接口发送到存储服务器中。通过本申请，解决了数据转存过程中，转存效率低的技术问题。的技术问题。的技术问题。

【技术实现步骤摘要】
数据转存方法及装置


[0001]本申请实施例涉及数据转存
，具体而言，涉及一种数据转存方法及装置。

技术介绍

[0002]随着数字化、信息化的飞速发展，生活中随处可见传感器、雷达等各种监测设备，这些设备无时无刻不在产生大量的数据。同时，随着电子技术和数字技术的快速发展，前端数据采集系统速度与存储系统容量日益提高，对数据转存系统的性能提出了更高的要求。

技术实现思路

[0003]本申请实施例提供了一种数据转存方法及装置，以至少解决在数据转存过程中，转存效率低的技术问题。
[0004]根据本申请的一个实施例，提供了一种数据转存方法，包括：获取待存储的采样数据；将所述采样数据转化成预设格式的多个数据文件，并将所述多个数据文件分别存储到指定存储器中的多个存储区域中；通过QDMA(Queue
‑
based Direct Memory Access，基于队列的直接内存访问)的第一通信接口接收读取请求，从所述多个存储区域中读取所述读取请求指示的数据文件；将读取到的所述读取请求指示的数据文件通过QDMA子系统的第二通信接口发送到存储服务器中。
[0005]在一个示例性的实施例中，将所述多个数据文件分别存储到指定存储器中的多个存储区域中，包括：从所述多个存储区域中确定多个未使用的存储区域；将所述多个数据文件进行处理后，依次存储到所述多个未使用的存储区域中，并输出用于指示所述多个存储区域存储状态的状态表和用于指示所述多个存储区域中数据存储信息的描述符表，其中，所述数据文件与所述未使用的存储区域一一对应。
[0006]在一个示例性的实施例中，将所述多个数据文件进行处理后，依次存储到所述多个未使用的存储区域中，包括：剔除所述数据文件中第一帧数据对应的帧头中的无效信息，并剔除所述数据文件中后续数据的帧头，以完成所述数据文件的处理；将完成处理的所述数据文件存储到对应未使用的存储区域中。
[0007]在一个示例性的实施例中，输出用于指示所述多个存储区域存储状态的状态表和用于指示所述多个存储区域中数据存储信息的描述符表，包括：确定所述描述符表的多个表项，其中，所述描述符表的表项至少包括：数据存储的起始地址、数据存储的长度和下一段数据的位置；确定所述状态表的多个表项，其中，所述状态表的表项至少包括：描述符索引、读写状态和数据标识，所述描述符索引用于表示描述符的标号，所述读写状态用于表示描述符是否被使用，所述数据标识用于表示描述符对应的数据归属；根据多个存储区域存储状态和所述多个存储区域中数据存储信息分别确定所述描述符表和所述状态表的各个表项所对应的信息。
[0008]需要进行说明的是，数据归属用于表示数据属于一个数据文件中的哪一个位置的数据，例如：属于数据文件的头部数据、中间数据和尾部数据。
[0009]在一个示例性的实施例中，从所述多个存储区域中读取所述读取请求指示的数据文件，包括：遍历所述状态表中的读写状态表项和数据标识表项对应的信息，以确定所述读取请求指示的数据文件对应的第一个描述符；从所述第一个描述符开始基于描述符指示的数据存储信息依次调取所述数据文件中的多段数据。
[0010]在一个示例性的实施例中，从所述第一个描述符开始基于描述符指示的数据存储信息依次调取所述数据文件中的多段数据，包括：从所述第一个描述符开始依次确定每个描述符对应的数据存储的起始地址、数据存储的长度和下一段数据的位置；从每一个描述符对应的数据存储的起始地址读取描述符对应数据长度的数据，再根据所述每一个描述符对应的下一段数据的位置选取下一个描述符的数据存储的起始地址读取数据直至读取完所述数据标识标记的所有数据。
[0011]在一个示例性的实施例中，获取待存储的采样数据，包括：在检测到传感器数据流中的同步头后，在数据流的预设位置连续预设次数检测到同步头的情况下，将所述传感器数据流缓存，得到所述采样数据。
[0012]根据本申请的另一个实施例，提供了一种数据转存装置，包括：获取模块，用于获取待存储的采样数据；存储模块，用于将所述采样数据转化成预设格式的多个数据文件，并将所述多个数据文件分别存储到指定存储器中的多个存储区域中；读取模块，用于通过QDMA基于队列的直接内存访问子系统的第一通信接口接收读取请求，从所述多个存储区域中读取所述读取请求指示的数据文件；发送模块，用于将读取到的所述读取请求指示的数据文件通过QDMA子系统的第二通信接口发送到存储服务器中。
[0013]根据本申请的又一个实施例，还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
[0014]根据本申请的又一个实施例，还提供了一种电子设备，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
[0015]通过本申请，由于将采样数据转化成数据文件存储在指定存储器中，然后直接将数据文件传输到存储服务器中，避免了在读取采样数据后再对数据进行处理，节约了数据处理时间，同时采用QDMA完成数据的读取并将数据传输到存储服务器中，提升了数据传输带宽，达到了在数据转存过程中，提高转存效率的效果。
附图说明
[0016]图1是根据本申请实施例的数据转存方法的计算机终端的硬件结构框图；
[0017]图2是根据本申请实施例的数据转存方法的流程图；
[0018]图3是根据本申请实施例的一种数据转存系统示意图；
[0019]图4是根据本申请实施例的另一种数据转存系统示意图；
[0020]图5是根据本申请实施例的一种数据文件存储流程示意图；
[0021]图6是根据本申请实施例的一种帧同步状态转移示意图；
[0022]图7是根据本申请实施例的一种数据转存装置结构示意图。
具体实施方式
[0023]下文中将参考附图并结合实施例来详细说明本申请的实施例。
[0024]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
[0025]本申请实施例中所提供的方法实施例可以在计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是本申请实施例的一种数据转存方法的计算机终端的硬件结构框图。如图1所示，计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
[0026]存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本申请实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据转存方法，其特征在于，包括：获取待存储的采样数据；将所述采样数据转化成预设格式的多个数据文件，并将所述多个数据文件分别存储到指定存储器中的多个存储区域中；通过QDMA基于队列的直接内存访问子系统的第一通信接口接收读取请求，从所述多个存储区域中读取所述读取请求指示的数据文件；将读取到的所述读取请求指示的数据文件通过QDMA子系统的第二通信接口发送到存储服务器中。2.根据权利要求1所述的方法，其特征在于，将所述多个数据文件分别存储到指定存储器中的多个存储区域中，包括：从所述多个存储区域中确定多个未使用的存储区域；将所述多个数据文件进行处理后，依次存储到所述多个未使用的存储区域中，并输出用于指示所述多个存储区域存储状态的状态表和用于指示所述多个存储区域中数据存储信息的描述符表，其中，所述数据文件与所述未使用的存储区域一一对应。3.根据权利要求2所述的方法，其特征在于，将所述多个数据文件进行处理后，依次存储到所述多个未使用的存储区域中，包括：剔除所述数据文件中第一帧数据对应的帧头中的无效信息，并剔除所述数据文件中后续数据的帧头，以完成所述数据文件的处理；将完成处理的所述数据文件存储到对应未使用的存储区域中。4.根据权利要求2所述的方法，其特征在于，输出用于指示所述多个存储区域存储状态的状态表和用于指示所述多个存储区域中数据存储信息的描述符表，包括：确定所述描述符表的多个表项，其中，所述描述符表的表项至少包括：数据存储的起始地址、数据存储的长度和下一段数据的位置；确定所述状态表的多个表项，其中，所述状态表的表项至少包括：描述符索引、读写状态和数据标识，所述描述符索引用于表示描述符的标号，所述读写状态用于表示描述符是否被使用，所述数据标识用于表示描述符对应的数据归属；根据多个存储区域存储状态和所述多个存储区域中数据存储信息分别确定所述描述符表和所述状态表的各个表项所对应的信息。5.根据权利要求4所述的方法，其特征在于，从所述多个存储区域中读取...

【专利技术属性】
技术研发人员：邓子为，郭巍，徐亚明，李军，刘伟，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：