数据报文通用自动解析方法和存储方法技术

本发明专利技术公开了一种数据报文通用自动解析方法和存储方法。解析方法包括：在LDAP中，预配置若干种协议格式；存储所配置的协议格式；根据需要解析的报文所属的协议类型，匹配出对应的协议格式；基于所匹配出的协议格式对所述报文进行完整性判断，在判断通过后，利用所匹配出的协议格式，对所述报文的数据内容进行解析；依据所述报文对应的协议格式，对所解析出的数据进行格式转换。存储方法包括：在LDAP中预定义设备数据类型的数据格式内容，根据设备标识，在存储对应数据表时，存储数据入数据表，否则，构建数据表，存入数据。本发明专利技术利用LDAP实现协议解析的自动匹配，通过简单配置和操作，实现对多类协议的通用解析。

General automatic parsing method and storage method of data message

【技术实现步骤摘要】
数据报文通用自动解析方法和存储方法
本专利技术涉及传感器通信协议解析领域，尤其是一种基于LDAP的自定义协议的报文自动解析和设备数据存储的通用方法。
技术介绍
近年来，随着传感器的广泛使用，各种物联网、智慧城市、智慧海洋等基于传感器的应用系统如雨后春笋，但是随之而来的问题就是系统需要接入大量的传感器数据进行数据解析及传感器设备数据的自动储存问题。协议的解析大都采用针对每一类数据协议制定相应的协议解析程序的方法，不仅费时费力，而且有大量重复性工作。目前也有一些基于计算机的通用协议解析的软件，但是解析不仅方法复杂而且有些方法还对系统及硬件有限制。不仅如此，不同的传感器或者同种传感器不同厂家都有各自特定的数据格式，在有大量的使用传感器或者更换传感器厂家的需求时，就面临传感器设备数据格式的增加或者修改问题。不仅如此，对于各种各样的设备数据存储，传统数据库存储方法是修改程序或者相应的配置文件，不仅繁琐费时费力，不利于统一管理，而且需要专业人员进行操作，无法交给其他非专业人士进行操作。因此，提出一种配置简单、通用性强的数据报文自解析方法和存储方法很有必要。
技术实现思路
本专利技术的专利技术目的在于：针对上述存在的问题，提供一种基于配置文件的自定义协议的自动解析和设备数据存储的通用方法。解决对应用多类型数据协议的传感器所采集的报文进行自动解析和存储的问题。将需要解析的数据协议格式按照一定规则写入LDAP(LightweightDirectoryAccessProtocol，轻量目录访问协议)中，解析时自动匹配LDAP中的对应数据协议格式，形成自动解析的一种通用功能，同时还可以将想要存储的数据内存自动匹配LDAP中的数据格式，实现自动生成数据表并存储设备数据的功能。本专利技术采用的技术方案如下：一种数据报文通用自动解析方法，包括以下步骤S1：在LDAP中，预配置若干种协议格式；S2：存储所配置的协议格式；S3：根据需要解析的报文所属的协议类型，匹配出对应的协议格式；S4：基于所匹配出的协议格式对所述报文进行完整性判断，在判断通过后，执行后续步骤；S5：利用所匹配出的协议格式，对所述报文的数据内容进行解析；S6：依据所述报文对应的协议格式，对所解析出的数据进行格式转换。本专利技术采用LDAP的方式实现协议格式配置，LDAP不仅可以方便配置协议数据的复制、删除和修改操作，而且具有主从同步的功能，在主节点修改内容后，从节点会自动同步相应的内容。采用LDAP进行数据协议的定义、存储配置，用户只需要在LDAP中的配置匹配到需要解析的协议数据项就可以读取其协议内容，和数据的格式。调用本方法直接输入协议名称，即可按照读取的协议内容实现对报文的自动解析，操作简单、便捷，通用性强。进一步的，上述S4-S5之间，还包括：S4-5：对完整数据进行数据正确性验证的步骤：利用所匹配出的协议格式对报文进行数据正确性判断；在判断通过后，执行后续步骤。本专利技术支持异或验证、和验证等常用校验类型的设置方式，进一步增加了方法的通用性。设置正确性校验环节，可以确保方法对报文解析的正确性，防止解析到错误的报文。进一步的，上述S4-5中数据正确性判断流程为：若协议格式中尾部内容有校验方式，则以该校验方式对报文进行数据正确性判断，若检验成功，则执行下一步骤，否则，重新执行S4；若不存在校验方式，则跳过该步骤。基于协议中校验方式进行数据正确性校验，对于报文的解析工作而言，无需额外配置校验方式，通用性更强。进一步的，上述S2具体为：获取所配置的所有数据协议，得到各协议的数据协议内容信息，并存入对应的协议结构体，形成协议数据列表。以结构体方式将所配置的协议信息进行整合，便于协议格式的同步，同时可以将各类协议进行有效区分。进一步的，上述S1中所配置的协议格式包括分别对字节编码类型和字符串编码类型所定义的协议格式。定义此两种类型的协议格式，可以兼容几乎所有报文编码格式，进而确保解析针对性的同时，提高方法的通用性。进一步的，上述S4中的完整性判断为：基于所匹配出的协议格式，解析出所述报文的协议头部报文和尾部内容，再利用协议头部报文和/或尾部内容对报文进行完整性验证。利用报文协议头部和尾部信息，可以快速定位到数据内容，以简单、可靠的方式，快速读取完整数据。进一步的，上述利用协议头部报文和/或尾部内容对报文进行完整性验证具体为：对于协议类型为字节编码格式，若协议格式中协议头部报文中包含数据长度，则获取相应长度的数据作为完整数据，若无数据长度，则以尾部标识作为完整数据截止点；对于协议类型为字符串编码格式，则以协议头部标识和尾部标识间的数据作为完整数据。针对不同类型报文，配置有相应的完整性验证方式，提高验证的准确性，并确保对各类型协议的兼容性。本专利技术还公开了一种报文数据通用存储方法，包括以下步骤：A.在LDAP中预定义设备数据类型的数据格式内容，该数据格式内容与所配置的协议格式相对应；B.根据所需存储数据的设备标识，判断是否存在对应于该设备标识的数据表，若存在，则执行D，否则，执行C；C.基于所要存储的设备数据类型，在LDAP中获取对应的数据格式内容，并基于所获取的数据格式内容，构建数据表；D.将利用如权利要求1-7之一的解析方法所解析的设备的报文数据存入数据表。通过上述方式，在获取所要存储的数据后，即可完成数据表的自动构建和数据的自动存储。进一步的，上述步骤C包括：C1：根据输入的设备标识所对应的设备的数据类型，获取LDAP中对应的数据格式内容；C2：解析所获取的数据格式内容，得到每个数据项所包含的信息，根据每个数据项所包含的信息，形成数据项信息数组；C3：根据数据项信息数组，构建数据表。通过自动识别设备的数据类型，即可完成对应数据项的表单构建，保证数据项信息的匹配。对于用户而言，操作及其简便，且在数据类型存在变化时，仅需对协议中的格式进行修改，即可完成后续数据存储中数据表的自动更新。进一步的，上述数据表包括实时表和历史表，实时表仅存储设备的最新数据，历史表存储设备的所有历史数据。同时构建实时表和历史表，可以方便用户同时掌握实时数据和统计数据，且便于对存储的数据进行对比检错。综上所述，由于采用了上述技术方案，本专利技术的有益效果是：1、本专利技术采用LDAP的方式实现协议格式配置，LDAP不仅可以方便配置协议数据的复制、删除和修改操作，而且具有主从同步的功能，在主节点修改内容后，从节点会自动同步相应的内容。该优点不仅方便非专业人员进行简单的配置修改，而且具有对配置数据进行主从备份和组网能力。本专利技术的自动解析方法对于不同类型传感器报文均可实现自动解析，具备良好的通用性。2、本专利技术采用LDAP进行数据协议的定义、存储配置，用户只需要在LDAP中的配置参数匹配到需要解析的协议数据项就可以读取其协议内容和数据的格式。调用本方法直接输入协议名称，即可按照读取的协议内容实现数据的自动解析。配置简单，操作简便。3、本专利技术支持常用的校验方式，无需额外配置校验算法。4、本专利技术支持协议首部中最对包含报文头、命令号和数据长度项的数据。且可自动识别系统大小端，可支持编码方式不同的系统间的数据通信。5、本专利技术的数据存储方法在获取到需存储数据(标识、类型和内容)时，即可完成数据表的自动构建和数据的自动存储。6、本专利技术支持历本文档来自技高网...

【技术保护点】
1.一种数据报文通用自动解析方法，其特征在于，包括以下步骤S1：在LDAP中，预配置若干种协议格式；S2：存储所配置的协议格式；S3：根据需要解析的报文所属的协议类型，匹配出对应的协议格式；S4：基于所匹配出的协议格式对所述报文进行完整性判断，在判断通过后，执行后续步骤；S5：利用所匹配出的协议格式，对所述报文的数据内容进行解析；S6：依据所述报文对应的协议格式，对所解析出的数据进行格式转换。

【技术特征摘要】
1.一种数据报文通用自动解析方法，其特征在于，包括以下步骤S1：在LDAP中，预配置若干种协议格式；S2：存储所配置的协议格式；S3：根据需要解析的报文所属的协议类型，匹配出对应的协议格式；S4：基于所匹配出的协议格式对所述报文进行完整性判断，在判断通过后，执行后续步骤；S5：利用所匹配出的协议格式，对所述报文的数据内容进行解析；S6：依据所述报文对应的协议格式，对所解析出的数据进行格式转换。2.如权利要求1所述的解析方法，其特征在于，所述S4-S5之间，还包括：S4-5：对完整数据进行数据正确性验证的步骤：利用所匹配出的协议格式对报文进行数据正确性判断；在判断通过后，执行后续步骤。3.如权利要求2所述的解析方法，其特征在于，所述S4-5中数据正确性判断流程为：若协议格式中尾部内容有校验方式，则以该校验方式对报文进行数据正确性判断，若检验成功，则执行下一步骤，否则，重新执行S4；若不存在校验方式，则跳过该步骤。4.如权利要求1-3之一所述的解析方法，其特征在于，所述S2具体为：获取所配置的所有数据协议，得到各协议的数据协议内容信息，并存入对应的协议结构体，形成协议数据列表。5.如权利要求1-3之一所述的解析方法，其特征在于，所述S1中所配置的协议格式包括分别对字节编码类型和字符串编码类型所定义的协议格式。6.如权利要求5所述的解析方法，其特征在于，所述S4中的完整性判断为：基于所匹配出的协议格式，解析出所述报文的协议头部...

【专利技术属性】
技术研发人员：刘芳，陈刚，张聪，陈振振，曲一萍，
申请(专利权)人：中国电子科技集团公司第二十九研究所，
类型：发明
国别省市：四川,51