【技术实现步骤摘要】
一种数据处理的方法及装置
本专利技术涉及数据分析
，具体而言，涉及一种数据处理的方法及装置。
技术介绍
近年来，随着大数据、云计算技术的不断发展，如何高效地处理大数据成为数据处理以及分析领域中的一个突出问题。在处理大数据时，常需要求解亿万量级数据的逻辑运算结果。例如，对于一个m行n列的大数据矩阵，其中n列对应的是n种逻辑事件，这n种逻辑事件对应的取值为0或1，若需要求解该矩阵中第一列∧第四列的结果值为真(1)对应的数据。为求解所述结果为真的数据，现有技术主要通过分布式计算引擎将矩阵中的数据行进行分区，进而依据第一列∧第四列的布尔表达式，在各分区内对数据行中的数据逐一进行逻辑运算，将逻辑运算的结果进行汇总，得到该矩阵中第一列∧第四列的结果为真的数据。但该数据处理的方法，由于需要对矩阵中的每一行数据逐一进行逻辑运算，导致数据计算量庞大，数据处理效率较低。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种数据处理的方法及装置，以提高对数据的处理效率。第一方面，本专利技术实施例提供了数据...
【技术保护点】
1.一种数据处理的方法，其特征在于，所述方法包括：/n针对每一待处理数据，获取该待处理数据包含的逻辑事件的布尔变量值，按照预设的逻辑事件顺序生成该待处理数据对应的布尔变量行；/n合并具有相同布尔变量值的布尔变量行；/n基于合并处理的布尔变量行，生成待运算位图；/n依据预设的目标逻辑运算符对应的目标运算位图，从所述待运算位图中提取所述目标运算位图对应的待运算位图，依据所述目标逻辑运算符对提取的所述待运算位图进行逻辑运算。/n
【技术特征摘要】
1.一种数据处理的方法，其特征在于，所述方法包括：
针对每一待处理数据，获取该待处理数据包含的逻辑事件的布尔变量值，按照预设的逻辑事件顺序生成该待处理数据对应的布尔变量行；
合并具有相同布尔变量值的布尔变量行；
基于合并处理的布尔变量行，生成待运算位图；
依据预设的目标逻辑运算符对应的目标运算位图，从所述待运算位图中提取所述目标运算位图对应的待运算位图，依据所述目标逻辑运算符对提取的所述待运算位图进行逻辑运算。
2.根据权利要求1所述的方法，其特征在于，在所述针对每一待处理数据，获取该待处理数据包含的逻辑事件的布尔变量值之前，所述方法还包括：
获取所有待处理数据包含的逻辑事件；
依据获取的所述逻辑事件，构建表征所述逻辑事件顺序的逻辑事件行；
所述逻辑事件行的列数量为所有待处理数据中包含的无重复的逻辑事件数。
3.根据权利要求2所述的方法，其特征在于，所述按照预设的逻辑事件顺序生成该待处理数据对应的布尔变量行，包括：
遍历所述待处理数据包含的逻辑事件，针对每一逻辑事件，从所述逻辑事件行中，获取该逻辑事件所在的列，将该逻辑事件对应的布尔变量值填充至获取的列；
依据填充有布尔变量值的列，得到所述待处理数据对应的布尔变量行。
4.根据权利要求1所述的方法，其特征在于，所述合并具有相同布尔变量值的布尔变量行，包括：
遍历各布尔变量行，获取每列的布尔变量值均相同的布尔变量行；
保留其中一布尔变量行，获取该保留的布尔变量行对应的标识；
将获取的剩余布尔变量行对应的待处理数据对应的标识添加至获取的标识中。
5.根据权利要...
【专利技术属性】
技术研发人员：田志鹏，高雅，
申请(专利权)人：秒针信息技术有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。