数据处理方法和装置以及电子设备制造方法及图纸

本发明专利技术实施例提供了一种数据处理方法和装置以及电子设备。该方法包括：使用多个线程，并行获取多条日志记录，其中，日志记录包括顺序信息和至少一条针对数据对象的数据操作指令；根据顺序信息来确定多条日志记录的执行顺序；使用多个线程，根据多条日志记录所针对的数据对象以及上述执行顺序，并行执行多条日志记录对应的数据操作指令。本发明专利技术实施例可以同时启动多个线程，并行地读取多条日志记录并执行日志记录中的数据操作指令，当多个日志记录的数据操作指令存在冲突时，根据每条日志记录中添加的顺序信息来确定产生冲突的数据操作指令的执行顺序，从而在保证执行各数据操作指令的有序性、准确性的前提下，提高日志记录的生效效率。

Data processing methods and devices and electronic equipment

【技术实现步骤摘要】
数据处理方法和装置以及电子设备
本专利技术涉及数据处理
，尤其涉及一种数据处理方法和装置以及电子设备。
技术介绍
在分布式系统中，各服务器的状态应该保持一致，当某个服务器发生异常时，则无法与其它服务器达成一致。为了不对系统造成影响，确保容错性，需要设置一致性协议，以在服务器集群内部对某个数据的值达成一致，并且保证不论发生任何异常，都不会破坏整个分布式系统的一致性。Raft是现有技术中一种较常用的一致性协议，用于解决多副本数据保持一致性的问题。在Raft协议中，写入数据的过程如下：客户端向服务器集群中的主服务器(leader)发送写请求(即，一串用于指示集群执行操作的操作指令)，主服务器将该写请求转换为日志记录(entry)，写入到日志系统(log)中，并将该日志记录发送至集群其余的从服务器(follower)。当主服务器接收到大多数(通常是过半)从服务器的确认信息后，再将该日志记录发送到状态机(statemachine)中，由状态机执行该日志记录所对应的操作指令，即，对该日志记录进行生效(apply)。专利技术人在实现本专本文档来自技高网...

【技术保护点】
1.一种数据处理方法，包括：/n使用多个线程，并行获取多条日志记录，其中，所述日志记录包括顺序信息和至少一条针对数据对象的数据操作指令；/n根据所述顺序信息来确定所述多条日志记录的执行顺序；/n使用多个线程，根据所述多条日志记录所针对的数据对象以及所述执行顺序，并行执行所述多条日志记录对应的数据操作指令。/n

【技术特征摘要】
1.一种数据处理方法，包括：
使用多个线程，并行获取多条日志记录，其中，所述日志记录包括顺序信息和至少一条针对数据对象的数据操作指令；
根据所述顺序信息来确定所述多条日志记录的执行顺序；
使用多个线程，根据所述多条日志记录所针对的数据对象以及所述执行顺序，并行执行所述多条日志记录对应的数据操作指令。


2.根据权利要求1所述的数据处理方法，其中，所述日志记录的顺序信息包括在日志文件中位于本条日志记录之前的预定数量条日志记录的关键字，所述预定数量条日志记录的关键字按照所述预定数量条日志记录在所述日志文件中的顺序排列，所述关键字用于唯一标识所述日志记录。


3.根据权利要求2所述的数据处理方法，其中，所述关键字为日志记录中用于唯一标识所述日志记录的属性值。


4.根据权利要求2所述的数据处理方法，其中，所述关键字按照以下方法确定：
为所述日志记录分配全局唯一身份标识，将所述全局唯一身份标识作为所述日志记录的关键字。


5.根据权利要求2所述的数据处理方法，其中，所述关键字按照以下方法确定：
对日志记录中的数据进行哈希运算，将得到的哈希值作为所述日志记录的关键字。


6.根据权利要求1至5中任一项所述的数据处理方法，其中，所述根据所述多条日志记录所针对的数据对象以及所述执行顺序，并行执行所述多条日志记录对应的数据操作指令的步骤包括：
判断所述多条日志记录所针对的数据对象是否各不相同；
若是，则并行执行所述多条日志记录对应的数据操作指令；
若否，则根据所述执行顺序来执行所述多条日志记录对应的数据操作指令。


7.根据权利要求6所述的数据处理方法，其中，所述根据所述执行顺序来执行所述多条日志记录对应的数据操作指令的步骤包括：
按照所述执行顺序来执行多条第一日志记录对应的数据操作指令，并并行执行第二日志记录对应的数据操作指令，其中，所述多条第一日志记录所针对的数据对象相同，所述第二日志记录所针对的数据对象各不相同且与所述第一日志记录不同。


8.根据权利要求2所述的数据处理方法，其中，所述线程的数量不大于所述预定数量与1的和。


9.一种数据处理装置，包括：
指令执行模块，用于使用多个线程，并行获取多条日志记...

【专利技术属性】
技术研发人员：陈宗志，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY