本发明专利技术公开分析数据记录集合的系统和方法，该系统包括数据接收模块，配置成接收数据记录集合；静态配置模块，配置成将所述数据记录集合分成多个数据块，其中每个数据块包括一条或多条数据记录；动态决策模块，配置成根据处理模块的负载情况，将同一数据块中的数据记录分配给同一分析单元；处理模块，包括多个分析单元，该多个分析单元用于接收并分析来自动态决策模块分配的数据记录。
【技术实现步骤摘要】
本专利技术涉及计算机系统分布式负载均衡技术，并且尤其涉及的分析数据记录集合的系统和方法。
技术介绍
在对数据记录集合的分析过程中，例如，关于银行卡的交易的数据记录，由于不同银行卡的交易的数据记录数量之间的差异，往往会造成计算机系统分布式负载均衡困难，导致计算机系统整体性能下降。通常，数量巨大的数据记录可以通过多个分析单元进行分布式的分析，但是在一些特定的分析情况下，要求每条数据记录的归属主体由同一分析单元进行分析。例如，在银行卡交易分析中要求同一张银行卡的交易必须在同一个分析单元中进行按序连续分析，才能分析出该银行卡的交易行为轨迹。在这种情况下，由于每张银行卡的交易发生的时间是随机的，要求每条数据记录的归属主体由同一分析单元进行分析的前提下，实现多个分析单元的负载均衡成为难点。又如，当分析单元的数量固定而待分析的数据记录的分布情况发生变化时或者当分析单元的数量发生变化时，计算机系统往往难以适应各个分析单元所产生的负载变化，使得难以关联计算机系统的资源，从而导致计算机系统整体性能下降。同时，为适应数据记录分布情况或者分析单元的数量发生变化，通常需要人工调整每个分析单元的分析范围才能重新达到负载均衡。本专利技术的目的在于改善计算机系统的内部性能，通过计算机执行一种系统内部性能改进程序控制计算机系统内部对象，使得能够灵活地分配待处理的数据记录集合，进而达到理想的负载均衡状态，从而提高计算机系统的处理性能。
技术实现思路
为解决上述问题，本专利技术提供一种分析数据记录集合的系统，其特征在于，该系统包括:数据接收模块，配置成接收数据记录集合；静态配置模块，配置成将所述数据记录集合分成多个数据块，其中每个数据块包括一条或多条数据记录；动态决策模块，配置成根据处理模块的负载情况，将同一数据块中的数据记录分配给同一分析单元；处理模块，包括多个分析单元，该多个分析单元用于接收并分析来自动态决策模块分配的数据记录。在所述公开的方案中，所述静态配置模块包括:属性设定单元，配置成为数据记录设定一个或多个属性，其中，所述一个或多个属性根据数据记录中的一个或多个字段被设定。粒度配置单元，配置成从属性设定单元设定的一个或多个属性选择一个或多个特定属性，其中，所述一个或多个特定属性用作数据划分的粒度，数据划分单元，配置成将具有相同的特定属性的属性值的数据记录划分到同一数据块，使得所述数据记录集合中的记录被划分到多个数据块。在所述公开的方案中，所述动态决策模块包括:识别单元，配置成识别待分析的数据记录所属的数据块，匹配单元，配置成将所述识别的待分析的数据记录所属的数据块与所述多个分析单元中的一个匹配，分配单元，配置成将所述待分析的数据记录分配给与其所属的数据块匹配的分析单元。在所述公开的方案中，所述匹配单元包括匹配关系存储单元用于存储数据块与分析单元的匹配关系，所述匹配单元进一步配置成根据匹配关系判断待分析的数据记录所属的数据块是否已经与所述多个分析单元中的一个匹配，所述分配单元进一步配置成根据匹配关系分配所述待分析的数据记录。在所述公开的方案中，所述匹配单元进一步配置成，当判断当前待分析的数据记录所属的数据块未与所述多个分析单元中的一个匹配时，将该数据块与所述多个分析单元中的一个匹配，并存储该匹配关系。在所述公开的方案中，所述匹配单元配置成将所述数据块与所述分析单元均匀地进行匹配。在所述公开的方案中，所述匹配单元配置成，当该当前待分析的数据记录所属的数据块未与所述多个分析单元中的一个匹配时，按序循环选择所述多个分析单元中的一个，并将该选择的分析单元与该数据块匹配。在所述公开的方案中，所述数据划分单元为每一个数据块设定数据块标识符，其中所述数据块标识符作为添加字段被记录到相应的数据记录中，所述判断单元根据数据块标识符判断待分析的数据记录所属的数据块。在所述公开的方案中，所述处理模块还包括反馈单元，用于向所述动态决策模块反馈分析单元的状态信息，所述状态信息包括分析单元的数量。所述动态决策模块还包括状态存储单元，状态存储单元配置成存储分析单元数量，所述匹配单元根据分析单元的数量将未进行匹配的数据块与所述多个分析单元进行匹配 在所述公开的方案中，所述状态存储单元进一步配置成所述分析单元按序存储对应的自然数标识符，所述数据块标识符是按顺序分配的自然数，所述匹配单元通过基于将数据块标识符对应的自然数除以所述分析单元的数量得到的余数所对应的分析单元的自然数标识符来将未与分析单元匹配的当前待分析的数据记录所属的数据块与该对应的分析单元匹配。在所述公开的方案中，当所述反馈单元反馈的分析单元的数量发生变化时,所述匹配单元配置成对所述数据块和所述分析单元进行重新匹配。根据本专利技术的另一个目的，提供一种分析数据记录集合的方法，其特征在于，该方法包括:数据接收过程，在该过程中接收数据记录集合；静态配置过程，在该过程中将所述数据记录集合分成多个数据块，其中每个数据块包括一条或多条数据记录；动态决策过程，在该过程中根据处理过程的负载情况，将同一数据块中的数据记录分配给同一分析过程；处理过程，包括利用多个分析单元进行分析的过程，分析单元中接收并分析在动态决策过程中分配的数据记录。在所述公开的方案中，所述静态配置过程包括:属性设定过程，在该过程中为数据记录设定一个或多个属性，其中，所述一个或多个属性根据数据记录中的一个或多个字段被设定。粒度配置过程，在该过程中从属性设定过程设定的一个或多个属性选择一个或多个特定属性，其中，所述一个或多个特定属性用作数据划分的粒度，数据划分过程，在该过程中将具有相同的特定属性的属性值的数据记录划分到同一数据块，使得所述数据记录集合中的记录被划分到多个数据块。在所述公开的方案中，所述动态决策过程包括:识别过程，在该过程中识别待分析的数据记录所属的数据块，匹配过程，在该过程中将所述识别的待分析的数据记录所属的数据块与所述多个分析单元中的一个匹配，分配过程，在该过程中将所述待分析的数据记录分配给与其所属的数据块匹配的分析单元。在所述公开的方案中，所述匹配过程包括匹配关系存储过程用于存储数据块与分析单元的匹配关系，所述匹配过程进一步包括根据匹配关系判断待分析的数据记录所属的数据块是否已经与所述多个分析单元中的一个匹配，所述分配过程进一步包括根据匹配关系分配所述待分析的数据记录。在所述公开的方案中，所述匹配过程进一步包括，当判断当前待分析的数据记录所属的数据块未与所述多个分析单元中的一个匹配时，将该数据块与所述多个分析单元中的一个匹配，并存储该匹配关系。在所述公开的方案中，所述在匹配过程中将所述数据块与所述分析单元均匀地进行匹配。在所述公开的方案中，在所述匹配过程中，当该当前待分析的数据记录所属的数据块未与所述多个分析单元中的一个匹配时，按序循环选择所述多个分析单元中的一个，并将该选择的分析单元与该数据块匹配。在所述公开的方案中，所述数据划分过程为每一个数据块设定数据块标识符，其中所述数据块标识符作为添加字段被记录到相应的数据记录中，所述判断过程根据数据块标识符判断待分析的数据记录所属的数据块。在所述公开的方案中，所述处理过程还包括反馈过程，用于向所述动态决策过程反馈分析单元的状态信息，所述状态信息包括分析单元的数量。所述动态决策过程还包括状态本文档来自技高网...
【技术保护点】
一种分析数据记录集合的系统，其特征在于，该系统包括：数据接收模块，配置成接收数据记录集合；静态配置模块，配置成将所述数据记录集合分成多个数据块，其中每个数据块包括一条或多条数据记录；动态决策模块，配置成根据处理模块的负载情况，将同一数据块中的数据记录分配给同一分析单元；处理模块，包括多个分析单元，该多个分析单元用于接收并分析来自动态决策模块分配的数据记录。
【技术特征摘要】
【专利技术属性】
技术研发人员：刘健，陆堃彪，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。