【技术实现步骤摘要】
一种数据处理方法和装置
[0001]本专利技术涉及计算机
，尤其涉及一种数据处理方法和装置。
技术介绍
[0002]目前,数据库异动检测的应用前景十分广阔，为保障业务系统数据的一致和完整、以及保护企业重要虚拟资产的准确同步，提供了所必需的数据监控和数据对齐服务。
[0003]在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：
[0004]用户在对庞大的数据量进行对齐、纠错时，数据库异动检测效率低的问题普遍存在。这是因为部分的现有技术中通过运维人员手动排查进行相应的异常数据检测，从而导致效率低且人力成本高；而在另一部分的现有技术中，通过预设的规则对实时更新的数据进行预期结果分析，从而判断相应的数据更新事件的合法性，这部分技术方案中虽然采用了自动化数据检测方法，但是预设的判错规则灵活度低，可能会导致相应的判错率较高。
技术实现思路
[0005]有鉴于此，本专利技术实施例提供一种数据处理方法和装置，能够解决现有数据库异动检测效率低的技术问题。
[0006]为实现上述目的...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取目标标识和基准标识，筛选得到分别对应的多个目标字段和多个基准字段，确定每个目标字段关联的基准字段；对每个目标字段：基于关联的基准字段计算二元相异度，得到第一更新率，并调用预设的均值模型，以处理得到对应的第二更新率；确定每个基准字段的第二更新率，并和关联目标字段的第二更新率进行对比，响应于确定某个目标字段的第二更新率为较大值，对该目标字段进行异常标记。2.根据权利要求1所述的方法，其特征在于，获取目标标识和基准标识，包括：获取目标标识，确定目标标识对应的数据更新时间，作为目标时间，以将所述目标时间的前一个数据更新时间作为基准时间，并确定基准时间对应的基准标识。3.根据权利要求1所述的方法，其特征在于，确定每个目标字段关联的基准字段，包括：确定每个目标字段和每个基准字段分别对应的字段属性；关联对应于相同字段属性的目标字段和基准字段。4.根据权利要求2所述的方法，其特征在于，调用预设的均值模型，以处理得到对应的第二更新率，包括：将所述目标字段和对应的第一更新率输入至预设的均值模型；确定所述目标字段对应的字段属性，以在数据库中选取第一参数值个对应于所述字段属性的数据字段，得到多个对比字段；计算所述目标字段和每个对比字段的欧式距离，得到多个字段距离，并排序；选取前第二参数值个较小的字段距离，将每个选取的字段距离相应的对比字段作为选取字段；查询每个选取字段分别对应的第二更新率，并和所述目标字段对应的第一更新率累加以求平均值，并将所述平均值作为所述目标字段的第二更新率。5.根据权利要求4所述的方法，其特征在于，在数据库中选取第一参数值个对应于所述字段属性的数据字段，得到多个对比字段，包括：在数据库中筛选得到对应于所述字段属性的多个数据字段，计算所述多个数据字段分别对应的数据更新时间与所述目标时间的时间差，并排序，以选取前第一参数值个较小的时间差对应的数据字段，作为对比字段。6.根据权利要求1所述的方法，其特征在于，对该目标字段进行异常标记之后，包括：将多个标记为异常的目标字段发送至指定端口；并接收指定端口相应的返回数据，以根据返回数据对相应目标字段的标记信息进行对应更新。7.根据权利要求6所述的方法，其特征在于，根据返回数据对相应目标字段的标记信息进行对应更新之后，包括：根据更新后的标记信息，对相应目标字段的第二更新率进行对应更新；将所述的目标字段作为训练数据，将更新后的第二更新率作为对应的目标值，并输入至均值模型，以每个训练数据对应的输出趋近于相应的目标值为目标，对均值模型进行训练，从而对均值模型的第一参数值和第二参数值进行更新。8.一种数据处理装置，其特征在于，包括：
获取模块，用于获取目标标识和基准标识，筛选得到分别对应的多个目标字段和多个基准字段，确定每个目标字段关联的基准字段；处理模块，用于对每个目标字段：基于关联的基准字段计算二元相异度，得到第一更新率，并调用预设的均值模型，以处理得到对应的第二更新率；标记模块，用...
【专利技术属性】
技术研发人员：邱步云，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。