一种海量异构数据的接入及标准化方法技术

一种海量异构数据的接入及标准化方法，其特征在于：设置两个子模块，分别为协议杯准化子模块和通信适配子模块，其中协议标准化子模块主要负责提供给客户端一个用户友好的界面，使客户端可以填写个性化的数据协议转换规则，并将客户端填写的数据协议转换规则编译成一个序列化的文件，供通信适配子模块使用；通信适配子模块主要负责海量数据接入及通信时的多线程调度，完成接受客户端的链接，接收及发送数据信息。

【技术实现步骤摘要】

本专利技术涉及一种异构数据的接入及标准化方法，具体涉及领域海量异构数据的接入及标准化过程。
技术介绍
在安保领域中，需要面临海量异构数据信息的接入处理，这些数据不仅数据类型异构，如报警、定位、人像等不同的数据信息，而且同种数据类型由于被应用的领域或分属的类别不同也有不同的数据格式，如井盖数据中联通井盖与交管井盖的数据类型就有所差异。这些异构数据导致了系统间信息交互和互操作非常困难，数据更新不能同步，并且在开发过程中，程序重复度较高，人员投入量大，维护困难等问题。目前在海量数据通信中通常采用多线程技术，并存在许多封装好的多线程库，但这些多线程库在使用过程中亦存在一些问题。例如Apple公司DarwinInclude，主要是针对流媒体服务器的库文件，一方面其对Socket的封装性较低，对开发人员不够简化；另一方面，该库并不是针对安保领域中海量数据的接入，因此在业务需求上存在大量二次重复开发，增加了人力与时间成本。目前普遍存在的使用xml技术来解决异构数据的差异性，但是xml技术...

【技术保护点】
一种海量异构数据的接入及标准化方法，其特征在于：设置两个子模块，分别为协议标准化子模块和通信适配子模块，其中协议标准化子模块主要负责提供给客户端一个用户友好的界面，使客户端可以填写个性化的数据协议转换规则，并将客户端填写的数据协议转换规则编译成一个序列化的文件，供通信适配子模块使用；通信适配子模块主要负责海量数据接入及通信时的多线程调度，完成接受客户端的链接，接收及发送数据信息。

【技术特征摘要】
1.一种海量异构数据的接入及标准化方法，其特征在于：设置两个子模块，分别为协
议标准化子模块和通信适配子模块，其中协议标准化子模块主要负责提供给客户端一个用户
友好的界面，使客户端可以填写个性化的数据协议转换规则，并将客户端填写的数据协议转
换规则编译成一个序列化的文件，供通信适配子模块使用；通信适配子模块主要负责海量数
据接入及通信时的多线程调度，完成接受客户端的链接，接收及发送数据信息。
2.根据权利要求1所述的海量异构数据的接入及标准化方法，其特征在于：所述多线
程具有四种线程类型，分别是接受线程、管理线程、工作线程、协议转换线程；其中，所述
接受线程负责接受客户端的链接；所述管理线程负责链接服务器，并具有自动重连功能；所
述工作线程负责接收及发送数据；所述协议转换线程负责将接收到的数据按照序列化的文
件，转换成相应协议格式的数据。
3.根据权利要求2所述的海量异构数据的接入及标准化方法...

【专利技术属性】
技术研发人员：陈学钊，
申请(专利权)人：北京航天长峰科技工业集团有限公司，
类型：发明
国别省市：北京;11