二进制消息协议数据处理方法及装置制造方法及图纸

本发明专利技术公开了一种二进制消息协议数据处理方法及装置。二进制消息协议数据处理方法，包括：基于二进制消息协议的特点，采用多叉树形结构，层次化定义各个消息，以获得多个协议语义模型；对各个协议语义模型进行解析，以获得待处理文件；对待处理文件进行逻辑切分，以获得多份独立的数据文件分片；对多份数据文件分片进行并行处理。采用本发明专利技术，可以描述任意二进制消息协议结构，新增消息协议或者消息协议出现变动时，无需修改解析处理程序，新增或者修改模型定义配置文件即可完成变动消息协议的解析处理，还可以完成二进制消息的分布式处理。

Data processing method and device of binary message protocol

【技术实现步骤摘要】
二进制消息协议数据处理方法及装置
本专利技术涉及数据处理领域，尤其涉及一种二进制消息协议数据处理方法及装置。
技术介绍
大数据时代的到来，基于数据的决策，对数据处理的广度、深度、速度都有了更高的要求。单机的数据处理方式已经满足不了现今的需要。Hadoop大数据处理平台近年来成为数据分析工作者进行分布式数据处理的热门选择，Hadoop兴起于互联网行业，设计的初衷是用来处理网站收集的用户数据或者日志数据，这些数据一般为文本数据，所以Hadoop默认处理的数据格式为文本类型的数据或者符合要求的二进制序列，对其它类型的数据处理并没有直接的解决方案。特种飞机任务电子系统在运行过程中，各个节点之间需要通过自定义消息协议完成信息交互，消息协议在设计过程中，出于网络传输的需要，采用二进制的形式定义消息内容，有的消息会采用按比特位进行消息编码。消息协议定义随着系统功能的需要进行变更。利用Hadoop大数据平台进行自定义二进制消息协议数据处理现在大都采用平台与单机协作分阶段串并结合的方法实现。该方法首先在单机平台上完成消息协议数据由二进制形式到文本本文档来自技高网...

【技术保护点】
1.一种二进制消息协议数据处理方法，其特征在于，包括：/n基于二进制消息协议的特点，采用多叉树形结构，层次化定义各个消息，以获得多个协议语义模型；/n对各个所述协议语义模型进行解析，以获得待处理文件；/n对所述待处理文件进行逻辑切分，以获得多份独立的数据文件分片；/n对多份所述数据文件分片进行并行处理。/n

【技术特征摘要】
1.一种二进制消息协议数据处理方法，其特征在于，包括：
基于二进制消息协议的特点，采用多叉树形结构，层次化定义各个消息，以获得多个协议语义模型；
对各个所述协议语义模型进行解析，以获得待处理文件；
对所述待处理文件进行逻辑切分，以获得多份独立的数据文件分片；
对多份所述数据文件分片进行并行处理。


2.如权利要求1所述的方法，其特征在于，所述基于二进制消息协议的特点，采用多叉树形结构，层次化定义各个消息，以获得多个协议语义模型，包括：
采用XML或JSON定义各个消息。


3.如权利要求1所述的方法，其特征在于，所述基于二进制消息协议的特点，采用多叉树形结构，层次化定义各个消息，以获得多个协议语义模型，包括：
设置多叉树形结构的第一层包括消息根节点，第二层包括消息名称节点、消息版本节点、以及消息内容开始节点，第三层至叶节点所在层包括消息内容节点；
所述消息内容节点包括组合节点和元素节点；
所述协议语义模型采用深度优先的方式进行遍历。


4.如权利要求3所述的方法，其特征在于，所述消息内容节点包括节点Id、节点类型、节点数量、节点值、以及节点类别。


5.如权利要求4所述的方法，其特征在于，
所述节点类型包括unsignedint、bit、int、char、short、或float。


6.如权利要求1所述的...

【专利技术属性】
技术研发人员：叶海军，王阳，杨军，代宇涵，
申请(专利权)人：中国电子科技集团公司电子科学研究院，
类型：发明
国别省市：北京;11