数据生成方法、装置、电子设备及存储介质制造方法及图纸

一种数据生成方法，所述方法包括：获取经过数据脱敏的用户账单数据；根据用户定义控制文件CTL中的控制信息，对所述用户账单数据进行读取，获得读取数据；根据账号或账户类型，对所述读取数据进行筛选，获得筛选数据；对所述筛选数据进行修改，获得修改数据；根据所述修改数据，生成账单源文件；将所述账单源文件保存至测试服务器，获得需要进行测试的测试文件。本发明专利技术还提供一种数据生成装置、电子设备以及存储介质。本发明专利技术能提高测试数据的生成效率。

【技术实现步骤摘要】
数据生成方法、装置、电子设备及存储介质
本专利技术涉及数据生成
，尤其涉及一种数据生成方法、装置、电子设备及存储介质。
技术介绍
多年运行的老账单系统逻辑众多，没有资料可以参考，功能覆盖只能凭经验，生产验证主要靠人工抽检，测试覆盖度极低。每账期平均400万账户，4000多万条账户明细，超过400G的超大数据帐单需要合成，这难以保证数据场景的全部覆盖，使得巨量数据难以验证，此外，NAS(NetworkAttachedStorage，网络附属存储)存储资源有限，无法容纳全量数据，因账单系统为批量作业处理系统，不能实时发现问题、修复、处理，又涉及客户私密信息，被列为高风险项目。可见，旧的账单系统已经无法满足要求，而新系统的开发、测试没有账单业务背景，业务人员无法澄清所有细节，现有业务必须平滑过渡，需要通过新旧系统比对测试来对新系统进行改造。因此，如何获得测试数据来进行新旧系统的比对测试是一个亟待解决的技术课题。
技术实现思路
鉴于以上内容，有必要提供一种数据生成方法、装置、电子设备及存储介质，能够提高测试数据的生成效率。本专利技术的第一方面提供一种数据生方法，所述方法包括：获取经过数据脱敏的用户账单数据；根据用户定义控制文件CTL中的控制信息，对所述用户账单数据进行读取，获得读取数据；根据账号或账户类型，对所述读取数据进行筛选，获得筛选数据；对所述筛选数据进行修改，获得修改数据；根据所述修改数据，生成账单源文件；将所述账单源文件保存至测试服务器，获得需要进行测试的测试文件。作为一种可选的实施方式，所述将所述账单源文件保存至测试服务器，获得需要进行测试的测试文件包括：分别将所述账单源文件保存至新测试服务器以及旧测试服务器；由所述新测试服务器根据所述账单源文件生成需要进行测试的第一测试文件，以及由所述旧测试服务器根据所述账单源文件生成需要进行测试的第二测试文件。在一种可能的实现方式中，所述获取经过数据脱敏的用户账单数据前，所述方法还包括：从生产库中获取原始数据；获取预设的敏感字段；根据所述敏感字段，对所述原始数据进行脱敏，获得用户账单数据。在一种可能的实现方式中，所述根据用户定义控制文件CTL中的控制信息，对所述用户账单数据进行读取，获得读取数据包括：加载用户定义控制文件CTL；根据所述CTL文件中的控制信息，使用分页读取的方式，对所述用户账单数据进行读取，获得读取数据。在一种可能的实现方式中，所述对所述筛选数据进行修改，获得修改数据包括：从所述筛选数据中获取预设文件的文件名称；从所述文件名称中获取日期；对所述日期进行修改，获得修改后的文件名称；将所述修改后的文件名称确定为修改数据。在一种可能的实现方式中，所述对所述筛选数据进行修改，获得修改数据包括：获取预设参数；从所述筛选数据中确定与所述预设参数匹配的目标数据；对所述目标数据进行修改；将修改后的目标数据确定为修改数据。在一种可能的实现方式中，所述对所述筛选数据进行修改，获得修改数据包括：从所述筛选数据中获取标志位；对所述标志位进行修改；将修改后的标志位确定为修改数据。本专利技术的第二方面提供一种数据处理装置，所述装置包括：获取模块，用于获取经过数据脱敏的用户账单数据；读取模块，用于根据用户定义控制文件CTL中的控制信息，对所述用户账单数据进行读取，获得读取数据；筛选模块，用于根据账号或账户类型，对所述读取数据进行筛选，获得筛选数据；修改模块，用于对所述筛选数据进行修改，获得修改数据；生成模块，用于根据所述修改数据，生成账单源文件；保存模块，用于将所述账单源文件保存至测试服务器，获得需要进行测试的测试文件。本专利技术的第三方面提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述的数据生成方法。本专利技术的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的数据生成方法。由以上技术方案，本专利技术中，可以先获取经过数据脱敏的用户账单数据，根据用户定义控制文件CTL中的控制信息，对所述用户账单数据进行读取，获得读取数据，进一步地，可以根据账号或账户类型，对所述读取数据进行筛选，获得筛选数据，对所述筛选数据进行修改，获得修改数据，根据所述修改数据，生成账单源文件，最后，即可将所述账单源文件保存至测试服务器，获得需要进行测试的测试文件。整个过程中，完全自动化实现数据的抽取以及清洗，从而可以提高测试数据的生成效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1是本专利技术公开的一种数据生成方法的较佳实施例的流程图。图2是本专利技术公开的一种数据生成装置的较佳实施例的功能模块图。图3是本专利技术实现数据生成方法的较佳实施例的电子设备的结构示意图。具体实施方式为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施例对本专利技术进行详细描述。需要说明的是，在不冲突的情况下，本专利技术的实施例及实施例中的特征可以相互组合。下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。本文中在本专利技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本专利技术。为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。本专利技术实施例的数据生成方法应用在电子设备中，也可以应用在电子设备和通过网络与所述电子设备进行连接的服务器所构成的硬件环境中，由服务器和电子设备共同执行。网络包括但不限于：广域网、城域网或局域网。所述电子设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。所述电子设备还可包括网络设备和/或用户设备。其中，所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量主机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。所述用户设备包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理PDA、游戏机、交互式网络电视IPTV、智能式穿戴式设备等。其中，所述用户设备及网络设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络VPN等。请参见图1，图1是本专利技术公开的一种数据生成方法的较佳实施例的流程图。其中，根据不同的需求，该流程图中步骤的顺序本文档来自技高网...

【技术保护点】
1.一种数据生成方法，其特征在于，所述方法包括：获取经过数据脱敏的用户账单数据；根据用户定义控制文件CTL中的控制信息，对所述用户账单数据进行读取，获得读取数据；根据账号或账户类型，对所述读取数据进行筛选，获得筛选数据；对所述筛选数据进行修改，获得修改数据；根据所述修改数据，生成账单源文件；将所述账单源文件保存至测试服务器，获得需要进行测试的测试文件。

【技术特征摘要】
1.一种数据生成方法，其特征在于，所述方法包括：获取经过数据脱敏的用户账单数据；根据用户定义控制文件CTL中的控制信息，对所述用户账单数据进行读取，获得读取数据；根据账号或账户类型，对所述读取数据进行筛选，获得筛选数据；对所述筛选数据进行修改，获得修改数据；根据所述修改数据，生成账单源文件；将所述账单源文件保存至测试服务器，获得需要进行测试的测试文件。2.根据权利要求1所述的方法，其特征在于，所述将所述账单源文件保存至测试服务器，获得需要进行测试的测试文件包括：分别将所述账单源文件保存至新测试服务器以及旧测试服务器；由所述新测试服务器根据所述账单源文件生成需要进行测试的第一测试文件，以及由所述旧测试服务器根据所述账单源文件生成需要进行测试的第二测试文件。3.根据权利要求1所述的方法，其特征在于，所述获取经过数据脱敏的用户账单数据之前，所述方法还包括：从生产库中获取原始数据；获取预设的敏感字段；根据所述敏感字段，对所述原始数据进行脱敏，获得用户账单数据。4.根据权利要求1所述的方法，其特征在于，所述根据用户定义控制文件CTL中的控制信息，对所述用户账单数据进行读取，获得读取数据包括：加载用户定义控制文件CTL；根据所述CTL文件中的控制信息，使用分页读取的方式，对所述用户账单数据进行读取，获得读取数据。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述对所述筛选数据进行修改，获得修改数据包括：从所述筛选数据中获取预设文件的文件名称；从所述文...

【专利技术属性】
技术研发人员：石慧，项琳琳，王彦军，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：广东,44