一种基于pandas的数据验证方法、装置、设备及介质制造方法及图纸

本申请公开了一种基于pandas的数据验证方法、装置、设备及介质，涉及大数据领域或金融领域。该方法包括：将读取到的原始文件基于pandas转换为修正文件，该原始文件中的数据为非浮点格式数据，该修正文件中的数据为浮点格式数据；接收数据库发送的查询文件，该查询文件中的数据为浮点格式数据；将修正文件中的数据和查询文件中的数据进行对比，以执行数据验证。由此，通过将原始文件中的非浮点格式数据通过pandas转化为与查询文件中的数据格式相同的浮点格式数据，能够直接将数据格式相同的修正文件和查询文件直接进行充分、全面的对比检查，进而提高了相关技术人员的检查效率，并使得后续的业务流程能够顺利进行。使得后续的业务流程能够顺利进行。使得后续的业务流程能够顺利进行。

【技术实现步骤摘要】
一种基于pandas的数据验证方法、装置、设备及介质


[0001]本申请涉及大数据领域或金融领域，特别涉及一种基于pandas的数据验证方法、装置、设备及介质。

技术介绍

[0002]随着金融系统中业务的增多，金融系统内的数据类型也越来越复杂。相关技术中，为保证金融系统更加符合生产环境的真实情况，相关技术人员会基于金融系统中Excel表格文件中的原始数据，对金融系统进行数据铺底。
[0003]然而，当对数据铺底的正确性进行验证时，相关技术人员只能对上述原始数据进行抽查，而无法对所有原始数据进行充分、全面的检查，从而可能导致后续的业务流程无法顺利进行。

技术实现思路

[0004]有鉴于此，本申请实施例提供了一种基于pandas的数据验证方法、装置、设备及介质，能够对所有原始文件中的原始数据进行充分、全面的检查，使得后续的业务流程顺利进行。
[0005]本申请实施例公开了如下技术方案：
[0006]第一方面，本申请提供了一种基于pandas的数据验证方法，所述方法包括：
[0007]将读取到的原始文件基于pandas转换为修正文件，所述原始文件中的数据为非浮点格式数据，所述修正文件中的数据为浮点格式数据；
[0008]接收数据库发送的查询文件，所述查询文件中的数据为浮点格式数据；
[0009]将所述修正文件中的数据和所述查询文件中的数据进行对比，以执行数据验证。
[0010]可选的，所述接收数据库发送的查询文件，包括：
[0011]接收数据库文件；
[0012]若所述数据库文件中的数据为非浮点格式数据，则将所述数据库文件基于pandas转换为查询文件。
[0013]可选的，所述将所述修正文件中的数据和所述查询文件中的数据进行对比，包括：
[0014]基于所述查询文件，创建保留文件；
[0015]将所述修正文件的第N行设置为修正文件的第N目标字段，N为正整数；
[0016]将所述保留文件的第N行设置为保留文件的第N目标字段；
[0017]将所述修正文件的第N目标字段和所述保留文件的第N目标字段进行对比。
[0018]可选的，在所述将所述修正文件的第N目标字段和所述保留文件的第N目标字段进行对比之后，所述方法还包括：
[0019]若对比结果表征所述保留文件中包含所述修正文件的第N目标字段，则向所述数据库发送所述修正文件的第N目标字段；
[0020]若所述对比结果表征保留文件中不包含所述修正文件的第N目标字段，则向所述
数据库发送提醒消息，所述提醒消息为表征所述修正文件的第N目标字段不存在的消息。
[0021]第二方面，本申请提供了一种基于pandas的数据验证装置，所述装置包括：转换模块、接收模块和对比模块；
[0022]所述转换模块，用于将读取到的原始文件基于pandas转换为修正文件，所述原始文件中的数据为非浮点格式数据，所述修正文件中的数据为浮点格式数据；
[0023]所述接收模块，用于接收数据库发送的查询文件，所述查询文件中的数据为浮点格式数据；
[0024]所述对比模块，用于将所述修正文件中的数据和所述查询文件中的数据进行对比，以执行数据验证。
[0025]可选的，所述接收模块具体包括：第一接收子模块和第二接受子模块；
[0026]所述第一接收子模块，用于接收数据库文件；
[0027]所述第二接收子模块，用于若所述数据库文件中的数据为非浮点格式数据，则将所述数据库文件基于pandas转换为查询文件。
[0028]可选的，所述对比模块具体包括：第一对比子模块、第二对比子模块、第三对比子模块和第四对比子模块；
[0029]所述第一对比子模块，用于基于所述查询文件，创建保留文件；
[0030]所述第二对比子模块，将所述修正文件的第N行设置为修正文件的第N目标字段，N为正整数；
[0031]所述第三对比子模块，将所述保留文件的第N行设置为保留文件的第N目标字段；
[0032]所述第四对比子模块，将所述修正文件的第N目标字段和所述保留文件的第N目标字段进行对比。
[0033]可选的，所述装置还包括：第一发送模块和第二发送模块；
[0034]所述第一发送模块，用于若对比结果表征所述保留文件中包含所述修正文件的第N目标字段，则向所述数据库发送所述修正文件的第N目标字段；
[0035]所述第二发送模块，用于若所述对比结果表征保留文件中不包含所述修正文件的第N目标字段，则向所述数据库发送提醒消息，所述提醒消息为表征所述修正文件的第N目标字段不存在的消息。
[0036]第三方面，本申请提供了一种基于pandas的数据验证设备，包括：存储器和处理器；
[0037]所述存储器，用于存储程序；
[0038]所述处理器，用于执行所述计算机程序时实现上述基于pandas的数据验证方法的步骤。
[0039]第四方面，本申请提供了一种计算机可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现上述基于pandas的数据验证方法的步骤。
[0040]相较于现有技术，本申请具有以下有益效果：
[0041]本申请公开了一种基于pandas的数据验证方法、装置、设备及介质，该方法包括：将读取到的原始文件基于pandas转换为修正文件，该原始文件中的数据为非浮点格式数据，该修正文件中的数据为浮点格式数据；接收数据库发送的查询文件，该查询文件中的数
据为浮点格式数据；将修正文件中的数据和查询文件中的数据进行对比，以执行数据验证。由此，通过将原始文件中的非浮点格式数据通过pandas转化为与查询文件中的数据格式相同的浮点格式数据，能够直接将数据格式相同的修正文件和查询文件直接进行充分、全面的对比检查，进而提高了相关技术人员的检查效率，并使得后续的业务流程能够顺利进行。
附图说明
[0042]为更清楚地说明本实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0043]图1为本申请实施例提供的一种基于pandas的数据验证方法的流程图；
[0044]图2为本申请实施例提供的一种基于pandas的数据验证装置的示意图；
[0045]图3为本申请实施例提供的一种计算机可读介质的示意图；
[0046]图4为本申请实施例提供的一种服务器的硬件结构示意图。
具体实施方式
[0047]本专利技术提供的一种基于pandas的数据验证方法、装置、设备及介质可用于大数据领域或金融领域。上述仅为示例，并不对本专利技术提供的一种基于pandas的数据验证方法、装置、设备及介质的应用领域进行限定。
[0048]随着本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于pandas的数据验证方法，其特征在于，所述方法包括：将读取到的原始文件基于拓展程序库pandas转换为修正文件，所述原始文件中的数据为非浮点格式数据，所述修正文件中的数据为浮点格式数据；接收数据库发送的查询文件，所述查询文件中的数据为浮点格式数据；将所述修正文件中的数据和所述查询文件中的数据进行对比，以执行数据验证。2.根据权利要求1所述的方法，其特征在于，所述接收数据库发送的查询文件，包括：接收数据库文件；若所述数据库文件中的数据为非浮点格式数据，则将所述数据库文件基于pandas转换为查询文件。3.根据权利要求1或2所述的方法，其特征在于，所述将所述修正文件中的数据和所述查询文件中的数据进行对比，包括：基于所述查询文件，创建保留文件；将所述修正文件的第N行设置为修正文件的第N目标字段，N为正整数；将所述保留文件的第N行设置为保留文件的第N目标字段；将所述修正文件的第N目标字段和所述保留文件的第N目标字段进行对比。4.根据权利要求3所述的方法，其特征在于，在所述将所述修正文件的第N目标字段和所述保留文件的第N目标字段进行对比之后，所述方法还包括：若对比结果表征所述保留文件中包含所述修正文件的第N目标字段，则向所述数据库发送所述修正文件的第N目标字段；若所述对比结果表征保留文件中不包含所述修正文件的第N目标字段，则向所述数据库发送提醒消息，所述提醒消息为表征所述修正文件的第N目标字段不存在的消息。5.一种基于pandas的数据验证装置，其特征在于，所述装置包括：转换模块、接收模块和对比模块；所述转换模块，用于将读取到的原始文件基于pandas转换为修正文件，所述原始文件中的数据为非浮点格式数据，所述修正文件中的数据为浮点格式数据；所述接收模块，用于接收数据库发送的查询文件，所述查询文件...

【专利技术属性】
技术研发人员：詹栩丹，杜超凡，姜玉婷，林津如，林丽云，纪锴，吴奕霖，彭上尉，邱德宗，石明睿，陶曾明，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：