一种数据处理方法及装置制造方法及图纸

本发明专利技术公开一种数据处理方法及装置，该方法包括：接收报文，并从预设文件中导入配置参数；根据导入的所述配置参数提取所述报文中对应的有效数据，并生成数据表。本发明专利技术通过以上技术方案，实现了配置参数与代码的分离，客户端对配置参数的设定、修改、增加、删除都无需重新编写或修改客户端代码，只需修改预设文件即可，方便了参数配置工作。

Data processing method and device

The invention discloses a data processing method and device, the method comprises: receiving the message, and import the file from the default configuration parameters; according to the effective data corresponding to the configuration parameters of the extraction into the message, and generates a data table. The present invention through the above technical scheme, realizes the separation of parameters and configuration of client code, configuration parameters setting, modify, increase, delete or modify without the need to write client code, just modify the default file, convenient parameter configuration.

【技术实现步骤摘要】

本专利技术涉及电子
，尤其涉及一种数据处理方法及装置。
技术介绍
网管系统通常需要对其管理下的各网元设备进行各项性能的巡检，用户在网管系统的客户端上选择需要巡检的网元设备、巡检项(如温度、风扇转速、功率等)后，网管系统的服务端对用户选择的网元设备进行被选的各巡检项的巡检，并将巡检结果以报文的形式发给客户端，客户端收到报文后，需要根据预先的配置参数提取报文中的有效数据，将每一巡检项的巡检结果生成一个数据表，这种方式有以下几点缺陷：1、客户端对配置参数的设定、修改、增加、删除都不方便，通常需要重新编写客户端代码，因为其配置参数基本都是预先写死在客户端代码中。例如当需要增加巡检项或修改巡检项时，非常繁琐。2、针对每一个巡检项，都是分别生成一个数据表，没有自动合并数据表的功能，这导致查看时需要一一打开每一个数据表，不方便。3、生成数据表的同时，不能及时的对内存进行释放，导致内存溢出的问题。现有技术中客户端生成数据表的过程中，客户端用的是Java语言，Java的GC机制是自动进行的，Java的内存分配和回收也主要在Java的堆上进行，Java的堆中存储了大量的对象实例。从报文中提取了有效数据候，大量的巡检结果存储在堆中，而每一个巡检项所生成的excel文件的过程中，就是将巡检结果从堆中取出来放入excel文件中，由于excel文件也是存储在堆中，相当于巡检结果在内存中存储了两份，极大的浪费了内存性能。而Java内存自动回收是等到整个excel文件都生成完毕才会执行。尤其在大规模网元的环境下，经常需要对配置参数的设定、修改、增加、删除，造成很大工作量；巡检项也特别多，最后会生成大量的数据表，不能自动合并；生成数据表的过程中内存缓存的数据量非常大，极其容易导致内存溢出。
技术实现思路
本专利技术提供一种数据处理方法及装置，解决现有技术中，用于对报文的有效数据进行提取的配置参数与客户端代码绑定，对配置参数的设定、修改、增加、删除需要重新编写或修改代码导致不方便的问题。为解决上述技术问题，本专利技术采用以下技术方案:一种数据处理方法，包括：接收报文，并从预设文件中导入配置参数；根据导入的所述配置参数提取所述报文中对应的有效数据，并生成数据表。在一些实施例中，所述报文中包括至少两个预设项目的有效数据；所述生成数据表包括：生成一个数据表文件，所述数据表文件中包括各预设项目的有效数据。在一些实施例中，所述数据表文件为Excel文件，各预设项目的有效数据分别作为其中的一个sheet页。在一些实施例中，所述配置参数包括：数据表的列名称或数据表的行名称，以及数据表的值类型。在一些实施例中，所述数据处理方法还包括：生成所述预设文件；和/或对所述预设文件中的配置参数进行修改、增加和/或删减。在一些实施例中，所述生成数据表包括：在内存中根据所述配置参数和提取出的有效数据生成数据表格式的表格数据，按照预设方式根据所述表格数据生成数据表并缓存到硬盘中。在一些实施例中，生成表格数据的同时，还包括：从内存中删除生成所述表格数据所对应的有效数据。在一些实施例中，按照预设方式根据所述表格数据生成数据表并缓存到硬盘中包括：将N行或M列表格数据转化字节流，N、M为大于或等于1的正整数；将所述字节流转化为文件流并缓存到硬盘中，重复以上步骤，直到所有的表格数据都转化成文件流并且缓存到硬盘中。在一些实施例中，将N行或M列表格数据以文件流形式缓存到硬盘中的同时，还包括：将内存中的该N行或M列表格数据所转化成的文件流删除。一种数据处理装置，包括：接收模块，用于接收报文；导入模块，用于从预设文件中导入配置参数；处理模块，用于根据所述导入模块导入的所述配置参数提取所述报文中对应的有效数据，并生成数据表。在一些实施例中，所述处理模块包括：提取子模块，用于根据所述导入模块导入的所述配置参数提取所述报文中对应的有效数据；第一生成子模块，用于在内存中根据所述配置参数和所述提取子模块提取出的有效数据生成数据表格式的表格数据；第二生成子模块，用于按照预设方式根据所述第一生成子模块生成的表格数据生成数据表并缓存到硬盘中。在一些实施例中，所述数据处理装置还包括第一删除子模块，用于所述第一生成子模块生成表格数据的同时，从内存中删除生成所述表格数据所对应的有效数据。在一些实施例中，所述第二生成子模块具体用于将N行或M列表格数据转化字节流，N、M为大于或等于1的正整数；将所述字节流转化为文件流并缓存到硬盘中，重复以上步骤，直到所有的表格数据都转化成文件流并且缓存到硬盘中。在一些实施例中，所述数据处理装置还包括第二删除子模块，用于所述第二生成子模块将N行或M列表格数据以文件流形式缓存到硬盘中的同时，将内存中的该N行或M列表格数据所转化成的文件流删除。本专利技术采用从预设文件中导入配置数据，当网管系统通常需要对其管理下的各网元设备进行各项性能的巡检，用户在网管系统的客户端上选择需要巡检的网元设备、巡检项后，网管系统的服务端对需要巡检的网元设备进行该各巡检项的巡检，并将巡检结果以报文的形式发给客户端，客户端收到报文后，根据导入的配置参数提取报文中的有效数据，生成数据表，由于配置参数与代码实现了分离，客户端对配置参数的设定、修改、增加、删除都无需重新编写客户端代码，只需修改预设文件即可。进一步地，本专利技术一些实施例中，针对每一个巡检项，都分别生成一个sheet页，自动合并sheet页成一个Excel文件，只需要打开该Excel文件，就可以方便查看每个巡检项的巡检结果。进一步地，生成sheet页、Excel文件的同时，及时的对内存进行释放，避免内存溢出。本专利技术尤其适合应用大规模网元的环境下，当然本专利技术的应用场景不局限于网管系统对其管理下的各网元设备进行各项性能的巡检。附图说明图1为本专利技术一实施例提供的数据处理方法的流程图；图2为本专利技术一实施例提供的数据处理装置的示意图。具体实施方式本专利技术提出一种构思，配置参数不写死在客户端代码中，而是写入在预设文件里，当需要利用该配置参数提取接收报文中的有效数据时，从预设文件中导入配置参数，这样方便了配置参数的修改、增加、删除等操作，因为无需重写编写代码。下面通过具体实施方式结合附图对本专利技术作进一步详细说明。图1为本专利技术一实施例提供的数据处理方法的流程图，请参考图1，包括如下流程：S101、接收报文，并从预设文件中导入配置参数。以网管系统对其管理下的网元设备进行性能巡检这一应用场景为例，当网管系统通常需要对其管理下的某些网元设备进行某些项性能的巡检时，用户在网管系统的客户端上选择需要巡检的网元设备、巡检项后，网管系统的服务端对用户选择的网元设备进行该各巡检项的巡检，并将巡检结果以报文的形式发给客户端，客户端接收报文，并从预设文件中导入配置参数。其中，预设文件优选的，为XML文件。这样当需要新增、修改、删除配置参数的时候，只需要修改XML文件，有利于配置参数的维护，而不需要去代码里修改。配置参数包括用于从报文中提取有效数据并生成数据表的必要参数，比如可以包括：数据表的列名称或数据表的行名称，以及数据表的值类型；还可以包括数据表的宽度、颜色等等。具体文件的名称，有哪些列，每一列的表头名称，每一列的值怎本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：接收报文，并从预设文件中导入配置参数；根据导入的所述配置参数提取所述报文中对应的有效数据，并生成数据表。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：接收报文，并从预设文件中导入配置参数；根据导入的所述配置参数提取所述报文中对应的有效数据，并生成数据表。2.如权利要求1所述的数据处理方法，其特征在于，所述报文中包括至少两个预设项目的有效数据；所述生成数据表包括：生成一个数据表文件，所述数据表文件中包括各预设项目的有效数据。3.如权利要求2所述的数据处理方法，其特征在于，所述数据表文件为Excel文件，各预设项目的有效数据分别作为其中的一个sheet页。4.如权利要求1所述的数据处理方法，其特征在于，所述配置参数包括：数据表的列名称或数据表的行名称，以及数据表的值类型。5.如权利要求1所述的数据处理方法，其特征在于，还包括：生成所述预设文件；和/或对所述预设文件中的配置参数进行修改、增加和/或删减。6.如权利要求1至5任一项所述的数据处理方法，其特征在于，所述生成数据表包括：在内存中根据所述配置参数和提取出的有效数据生成数据表格式的表格数据，按照预设方式根据所述表格数据生成数据表并缓存到硬盘中。7.如权利要求6所述的数据处理方法，其特征在于，生成表格数据的同时，还包括：从内存中删除生成所述表格数据所对应的有效数据。8.如权利要求6所述的数据处理方法，其特征在于，按照预设方式根据所述表格数据生成数据表并缓存到硬盘中包括：将N行或M列表格数据转化字节流，N、M为大于或等于1的正整数；将所述字节流转化为文件流并缓存到硬盘中，重复以上步骤，直到所有的表格数据都转化成文件流并且缓存到硬盘中。9.如权利要求8所述的数据处理方法，其特征在于，将N行或M列表格数据以文件流形式缓存到硬盘中的...

【专利技术属性】
技术研发人员：龙晶，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东;44