一种数据处理方法和平台技术

本发明专利技术公开了一种数据处理方法和平台，通过获取关系型数据库中的数据，初始化所述数据得到初始化数据，并将所述初始化数据发送至消息队列，获取所述关系型数据库中的事务日志，处理并得到处理后的事务日志，将所述处理后的事务日志发送至所述消息队列，获取所述消息队列中的所述处理后的事务日志和所述初始化数据，基于所述处理后的事务日志对所述初始化数据进行实时处理，获得事务流实时数据，将所述事务流实时数据同步存储于搜索引擎和第三方平台。因此，通过本发明专利技术公开的数据处理方法进行处理后，海量的物联网卡数据系统间的同步效率和实时性均得到提升。

【技术实现步骤摘要】
一种数据处理方法和平台
本专利技术涉及物联网
，具体为一种数据处理方法和平台。
技术介绍
物联网是一个基于互联网、传统电信网等信息承载体，让所有能够被独立寻址的普通物理对象实现互联互通的网络。它具有普通对象设备化、自治终端互联化和服务智能化三个重要特征。现有的物联网技术框架中，海量的物联网卡数据存储于关系型数据库中。涉及到多个平台或模块数据同步时，很多都通过文件接口同步，且对物联网卡数据的批量检索是通过关系型数据库sql语句完成。但是，在现有的技术框架中，海量的物联网卡数据系统间的同步，是通过文件接口完成同步，而文件接口存在传输速度限制，以至于其同步过程效率低下，且实时性很低，以及对大量的物联网卡数据检索时，由于关系型数据库通过sql语句完成，存在数据库的局限性，以至于检索效率十分低下。
技术实现思路
有鉴于此，本专利技术实施例提供了一种数据处理方法和平台，通过数据处理方法对数据的处理，实现海量的物联网卡数据系统间的同步和提高对大量的物联网卡数据检索效率的目的。为实现上述目的，本专利技术实施例提供如下技术方案：本专利技术第一方面公开了一种数据处理方法，包括：获取关系型数据库中的数据本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：获取关系型数据库中的数据，初始化所述数据得到初始化数据，并将所述初始化数据发送至消息队列；获取所述关系型数据库中的事务日志，处理并得到处理后的事务日志，将所述处理后的事务日志发送至所述消息队列；获取所述消息队列中的所述处理后的事务日志和所述初始化数据，基于所述处理后的事务日志对所述初始化数据进行实时处理，获得事务流实时数据；将所述事务流实时数据同步存储于搜索引擎和第三方平台。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取关系型数据库中的数据，初始化所述数据得到初始化数据，并将所述初始化数据发送至消息队列；获取所述关系型数据库中的事务日志，处理并得到处理后的事务日志，将所述处理后的事务日志发送至所述消息队列；获取所述消息队列中的所述处理后的事务日志和所述初始化数据，基于所述处理后的事务日志对所述初始化数据进行实时处理，获得事务流实时数据；将所述事务流实时数据同步存储于搜索引擎和第三方平台。2.根据权利要求1所述的方法，其特征在于，还包括：基于物联网卡平台发出的检索请求，对存储在搜索引擎中的所述事务流实时数据进行检索，确定对应所述检索请求的检索数据。3.根据权利要求1所述的方法，其特征在于，若所述关系型数据库为mysql关系型数据库，所述获取所述关系型数据库中的事务日志，处理并得到处理后的事务日志，将所述处理后的事务日志发送至所述消息队列，包括：获取所述关系型数据库中的事务日志；解析所述事务日志，并在所述事务日志中补充特定信息；封装处理补充特定信息后的事务日志，得到处理后的事务日志；将所述处理后的事务日志发送至所述消息队列。4.根据权利要求1所述的方法，其特征在于，若所述关系型数据库为oracle关系型数据库，所述获取所述关系型数据库中的事务日志，处理并得到处理后的事务日志，将所述处理后的事务日志发送至所述消息队列，包括：获取所述关系型数据库中的事务日志；将所述事务日志按照预先设定的消息格式封装处理，得到处理后的事务日志；将所述处理后的事务日志发送至所述消息队列。5.根据权利要求1-4中任一项所述的方法，其特征在于，所述将所述事务流实时数据同步存储于搜索引擎，包括：将所述事务流实时数据进行片式处理，得到片式处理后的事务流实时数据；将所述片式处理后的事务流实时数据进行存储。6.根据权利要求2所述的方法，其特征在于，所述基于物联网卡平台发出的检索请求，对存储在搜索引擎中...

【专利技术属性】
技术研发人员：汤仕忠，
申请(专利权)人：亚信科技南京有限公司，
类型：发明
国别省市：江苏,32