一种数据处理方法及装置、设备、存储介质制造方法及图纸

技术编号:33459158 阅读:55 留言:0更新日期:2022-05-19 00:40
本申请公开了一种数据处理方法,包括:将接收的第一数据操作消息发送至第一数据访问层,所述第一数据操作消息涉及写方法,所述第一数据操作消息的语法为第一语法,所述第一数据访问层对应支持所述第一语法的第一数据存储系统;通过所述第一数据访问层调用第一接口,以通过所述第一接口将所述第一数据操作消息发送至所述第一数据存储系统;通过数据同步程序确定所述第一数据操作消息经过语法转换后得到的第二数据操作消息,所述第二数据操作消息的语法为第二语法;通过调用的第二接口将所述第二数据操作消息发送至支持第二语法的第二数据存储系统。本申请还公开了另一种数据处理方法和实现上述数据处理方法的装置、设备、存储介质。存储介质。存储介质。

【技术实现步骤摘要】
一种数据处理方法及装置、设备、存储介质


[0001]本申请实施例涉及计算机
,涉及但不限于一种数据处理方法及装置、设备、存储介质。

技术介绍

[0002]随着业务数据量的快速增长,查询量和计算复杂度很大的情况下,关系型数据库管理系统(mySQL)已很难支撑现有业务量,为了扩容,目前的解决方案是分库分表(sharding))来完成横向扩容,然而分库分表后随之带来的问题是查询须带上路由字段,使得跨库复杂,导致联表查询及数据统计效率低,这时可利用分布式多用户能力的全文搜索引擎(Elasticsearch)来解决效率低的问题。
[0003]然而,引入搜索引擎后,开发人员需重新学习Elasticsearch的应用程序接口(Application Programming Interface,API),导致学习成本和开发成本的增加。

技术实现思路

[0004]本申请实施例为解决相关技术中存在的至少一个问题而提供一种数据处理方法及装置、设备、存储介质,能够降低数据库的开发成本。
[0005]本申请实施例的技术方案是这样实现本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,其特征在于,所述方法包括:将接收的第一数据操作消息发送至第一数据访问层,所述第一数据操作消息涉及写方法,所述第一数据操作消息的语法为第一语法,所述第一数据访问层对应第一数据存储系统;通过所述第一数据访问层调用第一接口,以通过所述第一接口将所述第一数据操作消息发送至所述第一数据存储系统,所述第一数据存储系统支持所述第一语法;通过数据同步程序确定所述第一数据操作消息经过语法转换后得到的第二数据操作消息,所述第二数据操作消息的语法为第二语法;通过调用的第二接口将所述第二数据操作消息发送至第二数据存储系统,以保持所述第一数据存储系统与所述第二数据存储系统保持同步,所述第二数据存储系统支持所述第二语法。2.根据权利要求1所述的方法,其特征在于,所述方法还包括:基于支持所述第一语法的第一模板生成所述第一数据访问层。3.根据权利要求1所述的方法,其特征在于,所述通过数据同步程序确定所述第一数据操作消息经过语法转换后得到的第二数据操作消息,包括:将所述第一数据操作消息发送至第二数据访问层,所述第二数据访问层对应所述第二数据存储系统;通过所述第二数据访问层将所述第一数据操作消息发送至所述数据同步程序;通过所述数据同步程序将所述第一数据操作消息转换为所述第二数据操作消息。4.根据权利要求3所述的方法,其特征在于,所述方法还包括:基于支持所述第二语法的第二模板生成所述第二数据访问层。5.根据权利要求1所述的方法,其特征在于,所述通过数据同步程序确定所述第一数据操作消息经过语法转换后得到的第二数据操作消息,包括:获取所述第一数据存储系统执行所述第一数据操作消息的日志文件;将所述日志文件发送至所述数据同步程序;通过所述数据同步程序,将所述日志文件转换为所述第二数据操作消息。6.根据权利要求5所述的方法,其特征在于,所述通过所述数据同步程序将所述日志文件转换为所述第二数据操作消息,包括:对所述日志文件进行解析,获得所述日志文件中的参数;基于所述参数和设定的映射关系,确定所述第二数据操作消息,...

【专利技术属性】
技术研发人员:李超
申请(专利权)人:北京京东世纪贸易有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1