数据处理方法、装置、终端和存储介质制造方法及图纸

本发明专利技术提供一种数据处理方法、装置、终端和存储介质，该方法包括：根据用户录入的批次号从数据源中获取第一数据；对所述第一数据的每个字符串的移入SI字符和移出SO字符进行配对检测，生成检测结果，所述检测结果用于指示字符串是否出现异常；若所述检测结果指示字符串出现异常，则生成异常报告，所述异常报告中包括异常字符串对应的数据行号和数据特征，能够大大缩短人工比对时间，提高运维效率，节省运维成本。

【技术实现步骤摘要】
数据处理方法、装置、终端和存储介质
本专利技术实施例涉及通信技术，尤其涉及一种数据处理方法、装置、终端和存储介质。
技术介绍
广义二进制编码的十进制交换码(ExtendedBinaryCodedDecimalInterchangeCode，EBCDIC)为国际商用机器公司(IBM)于1963年-64年间推出的字符编码表，根据其规则，中文字符在IBM的主机中是以移入(shiftin，SI)字符、移出(shiftout，SO)字符包含起来的十六进制字符串。IBMi主机(AS400)作为核心系统可以用来处理和保存保单的核心数据，例如，最为常见的数据处理方式是定期将客户的待缴款、已缴款、发票等信息以预订的格式批量生成大文件，然后将大文件转发到开放平台产生实际的信件。IBMi主机采用了EBCDIC字符编码表，在开放平台与主机交互时，可能会将一些异常中文字符串(例如，缺少SO或SI)写入到主机中，这些异常中文字符在中文环境的终端中能够正常显示，但将这些大文件通过文件传输协议(FileTransferProtocol，FTP)传输到开放平台时，异常中文字符串无法被正常转换，当用户发现文件记录不正常时，用户主动联系运维人员查找并修正错误数据。但是，运维人员需用纯手工手段找出错误数据并修正，由于数据量大，排查非常困难，浪费大量人力物力，执行效率低。
技术实现思路
本专利技术实施例提供一种数据处理方法、装置、终端和存储介质，能够大大缩短人工比对时间，提高运维效率，节省运维成本。本专利技术实施例第一方面提供一种数据处理方法，包括：根据用户录入的批次号从数据源中获取第一数据；对所述第一数据的每个字符串的移入SI字符和移出SO字符进行配对检测，生成检测结果，所述检测结果用于指示字符串是否出现异常；若所述检测结果指示字符串出现异常，则生成异常报告，所述异常报告中包括异常字符串对应的数据行号和数据特征。可选地，所述对所述第一数据的每个字符的移入SI字符和移出SO字符进行配对检测，生成检测结果，包括：累积所述第一数据的每个字符中的SI字符和SO字符的出现次数；若所述出现次数除以2的余数不等于0，则所述检测结果指示字符串异常。可选地，所述对所述第一数据的每个字符的移入SI字符和移出SO字符进行配对检测，生成检测结果之后，所述方法还包括：对所述第一数据进行逐行分析，获取第一数组，所述第一数组包括字符串序号、SI字符的位置、汉字字符串长度、所述空格位置、SO字符的位置和配对标识；根据所述第一数组修复所述第一数据。可选地，所述根据所述第一数组修复所述第一数据，包括：对所述第一数组中每个所述字符串序号对应的配对标识进行检查；当所述配对标识为配对失败标识时，则根据所述SI字符的位置获取所述配对失败标识对应的字符串中的第一个SI字符；若所述第一个SI字符之后存在空格，则将所述第一SI字符之后的第一个空格替换为SO字符，并根据所述汉字字符串长度将所述第一个空格之后的字符串向后移位，获取第二数据。可选地，所述获取第二数据之后，所述方法还包括：对所述第二数据进行逐行分析，更新所述第一数组；根据更新后的第一数组修复所述第二数据。可选地，所述对所述第一数据的每个字符的移入SI字符和移出SO字符进行配对检测，生成检测结果之后，所述方法还包括：根据所述检测结果获取第三数据，所述第三数据包括异常字符串；对所述第三数据进行逐行分析，获取第二数组，所述第二数组包括字符串序号、SI字符的位置、汉字字符串长度和空格位置；根据所述第二数组修复所述第三数据。可选地，所述根据所述第二数组修复所述第三数据，包括：根据所述第二数组中的所述SI字符的位置，获取所述第三数据的每个字符串中的SI字符；若所述SI字符之后存在空格，则将所述SI字符之后的第一个空格替换为SO字符，并根据所述汉字字符串长度将所述第一个空格之后的字符串向后移位。本专利技术实施例第二方面提供一种数据处理装置，包括：第一获取模块，用于根据用户录入的批次号从数据源中获取第一数据；检测模块，用于对所述第一数据的每个字符串的移入SI字符和移出SO字符进行配对检测，生成检测结果，所述检测结果用于指示字符串是否出现异常；生成模块，用于若所述检测结果指示字符串出现异常，则生成异常报告，所述异常报告中包括异常字符串对应的数据行号和数据特征。可选地，检测模块具体用于累积所述第一数据的每个字符中的SI字符和SO字符的出现次数；若所述出现次数除以2的余数不等于0，则所述检测结果指示字符串异常。可选地，所述装置还包括：第一分析模块，用于对所述第一数据进行逐行分析，获取第一数组，所述第一数组包括字符串序号、SI字符的位置、汉字字符串长度、所述空格位置、SO字符的位置和配对标识；第一修复模块，用于根据所述第一数组修复所述第一数据。可选地，所述第一修复模块具体用于对所述第一数组中每个所述字符串序号对应的配对标识进行检查；当所述配对标识为配对失败标识时，则根据所述SI字符的位置获取所述配对失败标识对应的字符串中的第一个SI字符；若所述第一个SI字符之后存在空格，则将所述第一SI字符之后的第一个空格替换为SO字符，并根据所述汉字字符串长度将所述第一个空格之后的字符串向后移位，获取第二数据。可选地，所述第一分析模块还用于对所述第二数据进行逐行分析，更新所述第一数组；第一修复模块还用于根据更新后的第一数组修复所述第二数据。可选地，所述装置还包括：第二获取模块，用于根据所述检测结果获取第三数据，所述第三数据包括异常字符串；第二分析模块，用于对所述第三数据进行逐行分析，获取第二数组，所述第二数组包括字符串序号、SI字符的位置、汉字字符串长度和空格位置；第二修复模块，用于根据所述第二数组修复所述第三数据。可选地，所述第二修复模块具体用于根据所述第二数组中的所述SI字符的位置，获取所述第三数据的每个字符串中的SI字符；若所述SI字符之后存在空格，则将所述SI字符之后的第一个空格替换为SO字符，并根据所述汉字字符串长度将所述第一个空格之后的字符串向后移位。本专利技术实施例第三方面还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面任一项所述数据处理方法的步骤。本专利技术实施例第四方面还提供一种终端，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为通过执行所述可执行指令来执行第一方面任一项所述数据处理方法的步骤。本专利技术实施例提供的数据处理方法、装置、终端和存储介质，根据用户录入的批次号从数据源中获取第一数据，对第一数据的每个字符串的SI字符和SO字符进行配对检测，生成检测结果，若检测结果指示字符串出现异常，则生成包括异常字符串对应的数据行号和数据特征的异常报告，在海量数据的情况下，由服务器自动检测出异常字符串，通过异常报告输出异常字符串的位置，能够大大缩短人工比对时间，提高运维效率，节省运维成本。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一实施例提供的一种数据处理方法的流程图；图2本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：根据用户录入的批次号从数据源中获取第一数据；对所述第一数据的每个字符串的移入SI字符和移出SO字符进行配对检测，生成检测结果，所述检测结果用于指示字符串是否出现异常；若所述检测结果指示字符串出现异常，则生成异常报告，所述异常报告中包括异常字符串对应的数据行号和数据特征。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：根据用户录入的批次号从数据源中获取第一数据；对所述第一数据的每个字符串的移入SI字符和移出SO字符进行配对检测，生成检测结果，所述检测结果用于指示字符串是否出现异常；若所述检测结果指示字符串出现异常，则生成异常报告，所述异常报告中包括异常字符串对应的数据行号和数据特征。2.根据权利要求1所述的方法，其特征在于，所述对所述第一数据的每个字符的移入SI字符和移出SO字符进行配对检测，生成检测结果，包括：累积所述第一数据的每个字符中的SI字符和SO字符的出现次数；若所述出现次数除以2的余数不等于0，则所述检测结果指示字符串异常。3.根据权利要求1或2所述的方法，其特征在于，所述对所述第一数据的每个字符的移入SI字符和移出SO字符进行配对检测，生成检测结果之后，所述方法还包括：对所述第一数据进行逐行分析，获取第一数组，所述第一数组包括字符串序号、SI字符的位置、汉字字符串长度、所述空格位置、SO字符的位置和配对标识；根据所述第一数组修复所述第一数据。4.根据权利3所述的方法，其特征在于，所述根据所述第一数组修复所述第一数据，包括：对所述第一数组中每个所述字符串序号对应的配对标识进行检查；当所述配对标识为配对失败标识时，则根据所述SI字符的位置获取所述配对失败标识对应的字符串中的第一个SI字符；若所述第一个SI字符之后存在空格，则将所述第一SI字符之后的第一个空格替换为SO字符，并根据所述汉字字符串长度将所述第一个空格之后的字符串向后移位，获取第二数据。5.根据权利要求4所述的方法，其特征在于，所述获取第二数据之后，所述方法还包括：对所述第二数据...

【专利技术属性】
技术研发人员：付春玉，
申请(专利权)人：泰康保险集团股份有限公司，
类型：发明
国别省市：北京,11