基于Avro的通用数据序列化及反序列化方法技术

本发明专利技术公开了基于Avro的通用数据序列化及反序列化方法。该方法使用统一的数据格式，从而保证不同表的数据均可用这种方式进行存储，降低不同表的数据与系统之间的耦合度；支持数据的打包存储，可以提供数据的批量传输，大大的提高了传输效率，此外，本发明专利技术使用Avro技术对数据进行校验，避免生成错误数据。

【技术实现步骤摘要】
基于Avro的通用数据序列化及反序列化方法
本专利技术属于网络数据处理
，涉及基于Avro的通用数据序列化及反序列化方法。
技术介绍
序列化是将数据对象状态转换为可存储或传输的格式的过程，与序列化相反的是反序列化，它将流转换为数据对象，这两个过程结合起来，可以轻松地存储和传输数据。随着云计算、社交网络、移动互联网的快速发展，数据量以前所未有的速度增长，人们也越来越深的认识到数据传输格式的重要性。由于对象序列化技术使用的广泛性，很多计算机语言都在语言层面，通过标准库的方式，提供对象序列化的功能的支持，Java，C#，Python等。标准库都仅仅是实现了对象的序列化功能，开发人员如果要使用这些库，必须自己去设计对象具体的外部表现形式。现阶段，基于互联网云技术的发展，大数据越来越受到关注。结构化数据的数据量爆炸性增长，因此如何将数据快速而又稳定的传输是我们需要解决的问题。在实际过程中，面对海量的有价值结构化数据，格式的不同是令人头疼的问题，并且传输的效率很低下。目前已有的序列化方法(如专利申请201210475914.4公开的通用的对象序列化的实现方法)，很难满足一些比较灵活的应用场本文档来自技高网...

【技术保护点】
基于Avro的通用数据序列化方法，包括如下步骤：1‑1)基于待序列化数据定义Avro模式的doc消息格式文件；1‑2)使用步骤1‑1)中定义的doc消息格式文件将每条待序列化的数据转换为与其一一对应的doc格式文件对象，然后将doc格式文件对象用docs格式文件对象进行封装；1‑3)使用Avro技术实现对步骤1‑2)封装得到的docs格式文件对象的序列化。

【技术特征摘要】
1.基于Avro的通用数据序列化方法，包括如下步骤：1-1)基于待序列化数据定义Avro模式的doc消息格式文件；1-2)使用步骤1-1)中定义的doc消息格式文件将每条待序列化的数据转换为与其一一对应的doc格式文件对象，然后将doc格式文件对象用docs格式文件对象进行封装；1-3)使用Avro技术实现对步骤1-2)封装得到的docs格式文件对象的序列化。2.如权利要求1所述的基于Avro的通用数据序列化方法，其特征在于，步骤1-1)中定义的doc消息格式文件包含基本类型和构造类型。3.如权利要求1所述的基于Avro的通用数据序列化方法，其特征在于，步骤1-1)中，所述doc消息格式文件用于存储不同的表的数据。4.如权利要求3所述的基于Avro的通用数据序列化方法，其特征在于，所述doc消息格式文件以map形式存储不同的表的数据。5.如权利要求1所述的基于Avro的通用数据序列化方法，其特征在于，步骤1-2)中，还包括使用Avro技术将每条待序列化的数据的doc格式文件转换为Avro的doc格式文件对象，再将每条待序列化的数据放入相应位置。6.如权利要求5所述的基于Avro的通用数据序列化...

【专利技术属性】
技术研发人员：木伟民，李春阳，李名扬，王伟平，
申请(专利权)人：中国科学院信息工程研究所，
类型：发明
国别省市：北京,11