一种数据转换方法、装置以及数据处理系统制造方法及图纸

本发明专利技术涉及一种数据转换方法、装置以及数据处理系统，该方法包括：构建元数据配置文件；其中，所述元数据配置文件包括：至少一种数据类型对应的至少一个元数据定义；获取待处理文件；根据所述待处理文件的文件头信息，确定所述待处理文件的数据类型；从所述元数据配置文件中确定与所述待处理文件的数据类型对应的目标元数据定义；根据所述目标元数据定义，对所述待处理文件进行转换。本方案能对不同数据类型的数据进行格式转换，以满足不同的数据处理需求。

Data conversion method, device and data processing system

The present invention relates to a data conversion method, apparatus and data processing system, comprising: constructing a metadata configuration file, wherein the metadata configuration file includes at least one metadata definition corresponding to at least one data type, obtaining a file to be processed, and a file header letter according to the file to be processed. The data type of the file to be processed is determined; the target metadata definition corresponding to the data type of the file to be processed is determined from the metadata configuration file; and the file to be processed is converted according to the target metadata definition. This scheme can transform data formats of different data types to meet different data processing requirements.

【技术实现步骤摘要】
一种数据转换方法、装置以及数据处理系统
本专利技术涉及计算机
，尤其涉及一种数据转换方法、装置以及数据处理系统。
技术介绍
为了保证军用元器件的质量，国家军用标准对元器件制定了一系列的标准和要求。而在元器件的制造过程中会产生大量的数据，为了便于这些数据的处理和交换，国家军用标准也制定了各种数据标准，例如GJB2435和GJB5252等。目前，国家军用标准制定的多个数据标准中，数据类型各有不同。数据处理系统对不同数据类型的数据进行存储时，按照其数据类型分别存储，而无法对不同数据类型的数据进行格式转换。在后续数据处理过程中，工作人员需根据数据的数据类型对其进行相应的处理，即数据处理过程受到数据类型的限制，从而难以满足不同的数据处理需求。因此，针对以上不足，需要提供一种能对不同数据类型的数据进行格式转换的方案，以满足不同的数据处理需求。
技术实现思路
本专利技术要解决的技术问题在于，针对现有技术中的缺陷，提供一种能对不同数据类型的数据进行格式转换的方案。为了解决上述技术问题，本专利技术提供了一种数据转换方法，包括：构建元数据配置文件；其中，所述元数据配置文件包括：至少一种数据类型对应的至少一个元数据定义；获取待处理文件；根据所述待处理文件的文件头信息，确定所述待处理文件的数据类型；从所述元数据配置文件中确定与所述待处理文件的数据类型对应的目标元数据定义；根据所述目标元数据定义，对所述待处理文件进行转换。可选地，所述根据所述目标元数据定义，对所述待处理文件进行转换，包括：读取所述待处理文件中的文件头信息，以确定所述文件头信息中的至少一个数据行；从每一个所述数据行中确定出至少一对键值，并对每一对所述键值进行分割，得到关键字和所述关键字对应的值；根据所述关键字，从所述目标元数据定义中确定对应的数据项定义；根据所述数据项定义，对所述关键字对应的值进行转换。可选地，所述待处理文件进一步包括：数据块；所述根据所述目标元数据定义，对所述待处理文件进行转换，包括：根据所述目标元数据定义中的数据块定义，确定每一个所述数据块对应的至少一个目标转换列，以及每一个所述目标转换列的目标数据容量；将每一个所述目标转换列作为当前目标转换列，执行：从所述数据块进行逐行读取，将每一行作为当前行循环执行A1和A2，直至所述数据块的每一行数据被写入所述目标转换列中；A1：从所述当前行读取出数据列标识和数据值，并将所述数据列标识和数据值写入所述当前目标转换列中；A2：确定写入后的所述当前目标转换列的当前数据容量是否小于所述目标数据容量，如果是，将所述当前行的下一行作为当前行，执行A1，否则，从各个所述目标转换列中选择一个未被写入的目标转换列作为所述当前目标列。可选地，在所述根据所述目标元数据定义，对所述待处理文件进行转换之后，进一步包括：获取用户的数据处理请求；根据所述数据处理请求，调用对应的数据处理装置；将转换后的所述待处理文件以及所述目标元数据定义发送给所述数据处理装置，以使所述数据处理装置根据所述目标元数据定义，对所述待处理文件进行读取，对读取的所述待处理文件进行处理。本专利技术还提供了一种数据转换装置，包括：构建单元、类型确定单元和转换单元；其中，所述构建单元，用于构建元数据配置文件；其中，所述元数据配置文件包括：至少一种数据类型对应的至少一个元数据定义；所述类型确定单元，用于获取待处理文件，并根据所述待处理文件的文件头信息，确定所述待处理文件的数据类型；所述转换单元，用于从所述元数据配置文件中确定与所述待处理文件的数据类型对应的目标元数据定义，并根据所述目标元数据定义，对所述待处理文件进行转换。可选地，所述转换单元，用于读取所述待处理文件中的文件头信息，以确定所述文件头信息中的至少一个数据行；从每一个所述数据行中确定出至少一对键值，并对每一对所述键值进行分割，得到关键字和所述关键字对应的值；根据所述关键字，从所述目标元数据定义中确定对应的数据项定义；根据所述数据项定义，对所述关键字对应的值进行转换。可选地，所述待处理文件进一步包括：数据块；所述转换单元包括：转换列确定子单元和数据块转换子单元；其中，所述转换列确定子单元，用于根据所述目标元数据定义中的数据块定义，确定所述数据块对应的至少一个目标转换列，以及每一个所述目标转换列的目标数据容量；所述数据块转换子单元，用于将每一个所述目标转换列作为当前目标转换列执行：对所述数据块进行逐行读取，将每一行作为当前行循环执行A1和A2，直至所述数据块的每一行数据被写入所述目标转换列中；A1：从所述当前行读取出数据列标识和数据值，并将所述数据列标识和数据值写入所述当前目标转换列中；A2：确定写入后的所述当前目标转换列的当前数据容量是否小于所述目标数据容量，如果是，将所述当前行的下一行作为当前行，执行A1，否则，从各个所述目标转换列中选择一个未被写入的目标转换列作为当前目标列。可选地，进一步包括：数据处理单元；其中，所述数据处理单元，用于获取用户的数据处理请求，根据所述数据处理请求，调用相应的数据处理装置，并将转换后的所述待处理文件以及所述目标元数据定义发送给所述数据处理装置，以使所述数据处理装置根据所述目标元数据定义，对所述待处理文件进行读取，并对读取的所述待处理文件进行处理。本专利技术还提供了一种数据处理系统，包括：本专利技术上述任一实施例提供的数据转换装置，以及数据处理装置；其中，所述数据转换装置，用于对待处理文件进行转换，并将转换后的所述待处理文件发送给所述数据处理装置；所述数据处理装置，用于根据所述待处理文件对应的目标元数据定义，对所述待处理文件进行读取，并对读取的所述待处理文件进行处理。可选地，所述数据转换装置与所述数据处理装置以桥接模式连接。实施本专利技术的数据转换方法、装置以及数据处理系统，具有以下有益效果：1、根据待处理文件的数据类型以及预先构建的元数据配置文件，对待处理文件进行格式转化。由于用户可根据实际需求对元数据配置文件中的数据类型和元数据定义进行配置，因此可实现根据用户需求对不同数据类型的数据进行转换，从而可满足不同的数据处理需求。2、对待处理文件进行转换后，可直接调用与用户的数据处理请求相对应的数据处理装置对转换后的文件进行进一步处理，而无需考虑文件的数据类型，由此提高了数据处理的效率。3、数据转换装置与所述数据处理装置以桥接模式连接，使得数据转换装置和数据处理装置相互独立，减少了数据转换装置和数据处理装置之间的耦合，便于二者的独立扩展。附图说明图1是本专利技术实施例一提供的一种数据转换方法的流程图；图2是本专利技术实施例三提供的一种元数据配置文件的数据结构示意图；图3是本专利技术实施例五提供的一种数据转换方法的流程图；图4是本专利技术实施例六提供的一种数据转换装置的结构示意图；图5是本专利技术实施例八提供的一种数据转换装置的结构示意图；图6是本专利技术实施例九提供的一种数据转换装置的结构示意图；图7是本专利技术实施例十提供的一种数据处理系统的结构示意图；图8是本专利技术实施例十提供的一种数据处理系统的数据结构示意图。图中：401：构建单元；402：类型确定单元；403：转换单元；4031：转换列确定子单元；4032：数据块转换子单元；601：数据处理单元；701：数据转换装置；702：数据处理装置。具体实施方式为使本本文档来自技高网...

【技术保护点】
1.一种数据转换方法，其特征在于，包括：构建元数据配置文件；其中，所述元数据配置文件包括：至少一种数据类型对应的至少一个元数据定义；获取待处理文件；根据所述待处理文件的文件头信息，确定所述待处理文件的数据类型；从所述元数据配置文件中确定与所述待处理文件的数据类型对应的目标元数据定义；根据所述目标元数据定义，对所述待处理文件进行转换。

【技术特征摘要】
1.一种数据转换方法，其特征在于，包括：构建元数据配置文件；其中，所述元数据配置文件包括：至少一种数据类型对应的至少一个元数据定义；获取待处理文件；根据所述待处理文件的文件头信息，确定所述待处理文件的数据类型；从所述元数据配置文件中确定与所述待处理文件的数据类型对应的目标元数据定义；根据所述目标元数据定义，对所述待处理文件进行转换。2.根据权利要求1所述的方法，其特征在于，所述根据所述目标元数据定义，对所述待处理文件进行转换，包括：读取所述待处理文件中的文件头信息，以确定所述文件头信息中的至少一个数据行；从每一个所述数据行中确定出至少一对键值，并对每一对所述键值进行分割，得到关键字和所述关键字对应的值；根据所述关键字，从所述目标元数据定义中确定对应的数据项定义；根据所述数据项定义，对所述关键字对应的值进行转换。3.根据权利要求1所述的方法，其特征在于，所述待处理文件进一步包括：数据块；所述根据所述目标元数据定义，对所述待处理文件进行转换，包括：根据所述目标元数据定义中的数据块定义，确定每一个所述数据块对应的至少一个目标转换列，以及每一个所述目标转换列的目标数据容量；将每一个所述目标转换列作为当前目标转换列，执行：从所述数据块进行逐行读取，将每一行作为当前行循环执行A1和A2，直至所述数据块的每一行数据被写入所述目标转换列中；A1：从所述当前行读取出数据列标识和数据值，并将所述数据列标识和数据值写入所述当前目标转换列中；A2：确定写入后的所述当前目标转换列的当前数据容量是否小于所述目标数据容量，如果是，将所述当前行的下一行作为当前行，执行A1，否则，从各个所述目标转换列中选择一个未被写入的目标转换列作为所述当前目标列。4.根据权利要求1所述的方法，其特征在于，在所述根据所述目标元数据定义，对所述待处理文件进行转换之后，进一步包括：获取用户的数据处理请求；根据所述数据处理请求，调用对应的数据处理装置；将转换后的所述待处理文件以及所述目标元数据定义发送给所述数据处理装置，以使所述数据处理装置根据所述目标元数据定义，对所述待处理文件进行读取，对读取的所述待处理文件进行处理。5.一种数据转换装置，其特征在于，包括：构建单元、类型确定单元和转换单元；其中，所述构建单元，用于构建元数据配置文件；其中，所述元数据配置文件包括：至少一种数据类型对应的至少一个元数据定义；所述类型确定单元，用于获取待处理文件，并根据所述待处理文件的文件...

【专利技术属性】
技术研发人员：王衍祺，贾雨生，谢晓丹，
申请(专利权)人：北京环境特性研究所，
类型：发明
国别省市：北京,11