数据处理方法、装置、存储介质和电子设备制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置、存储介质和电子设备，其中，该方法包括：接收数据读取指令，其中，数据基于内存映射技术存储在由多个存储单元构成的缓存区内；根据数据读取指令确定数据对应的索引数据，索引数据包括一级索引数据和二级索引数据；根据一级索引数据确定数据所属存储单元的序号信息；根据所属存储单元的序号信息和二级索引数据确定数据的位置信息，以读取数据。通过本发明专利技术，可以满足Replicator进程所需的高效率读写。

【技术实现步骤摘要】
数据处理方法、装置、存储介质和电子设备
本专利技术公开涉及数据处理领域，具体涉及一种数据处理方法、装置、存储介质和电子设备。
技术介绍
在MySQL数据复制中，由于MySQL服务器上的binlog(日志)文件保存时间较短，磁盘空间不足时，binlog文件会被清除掉。目前，存储日志文件主要依赖诸如Redis集群的缓存系统，Redis是开源软件，可以支持很大的数据容量，而且Redis本身也支持数据持久化功能。然后，Redis存在如下缺陷：1)在MySQL数据复制的Replicator(复制器，负责抽取和缓存MySQLbinlog日志记录)组件中，当存在超大缓存需求场景时，需要依据某条数据ID(Identity，身份标识号码)来查询下一条数据，Redis不支持这样的操作；2)Replicator需要设置固定的缓存大小，如果缓存空间满了，最新被写入的数据会挤掉最老的数据；而Redis依据KEY(键)的TTL(TimetoLive，剩余生存时间)机制来删除过期的数据，两者之间有较大的区别，对业务的使用场景有较大的影响。
技术实现思路
有鉴于此，本专利技术实施例提供一种数据处理方法、装置、存储介质和本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：接收数据读取指令，其中，数据基于内存映射技术存储在由多个存储单元构成的缓存区内；根据所述数据读取指令确定所述数据对应的索引数据，所述索引数据包括一级索引数据和二级索引数据；根据所述一级索引数据确定所述数据所属存储单元的序号信息；根据所述所属存储单元的序号信息和所述二级索引数据确定所述数据的位置信息，以读取所述数据。

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：接收数据读取指令，其中，数据基于内存映射技术存储在由多个存储单元构成的缓存区内；根据所述数据读取指令确定所述数据对应的索引数据，所述索引数据包括一级索引数据和二级索引数据；根据所述一级索引数据确定所述数据所属存储单元的序号信息；根据所述所属存储单元的序号信息和所述二级索引数据确定所述数据的位置信息，以读取所述数据。2.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：为所述多个存储单元依次设置序号；根据存储单元序号将数据依次写入存储单元中；为写入每个存储单元的数据依次设置数据编号。3.根据权利要求2所述的数据处理方法，其特征在于，所述方法还包括：响应于所有存储单元被写满，将当前写入数据覆盖序号为1的存储单元中的数据。4.根据权利要求1所述的数据处理方法，其特征在于，根据所述所属存储单元的序号信息和所述二级索引数据确定所述数据的位置信息，以读取所述数据包括：根据所述所属存储单元的序号信息和所述二级索引数据通过二分查找算法确定所述数据的位置信息；在确定的位置读取所述数据。5.根据权利要求1所述的数据处理方法，其特征在于，通过如下方式存储所述索引数据：将所述一级索引数据以跳表形式存储在堆内存中；将所述二级索引数据以...

【专利技术属性】
技术研发人员：陈永庭，
申请(专利权)人：上海拉扎斯信息科技有限公司，
类型：发明
国别省市：上海,31