数据处理方法、装置、电子设备及可读存储介质制造方法及图纸

本申请提供一种数据处理方法、装置、电子设备及可读存储介质，涉及数据处理技术领域。该方法包括：读取配置文件，所述配置文件包括对目标数据的存储格式信息的校验规则；利用所述配置文件对所述目标数据的存储格式信息进行校验，获得校验结果；确定所述校验结果中所述存储格式信息中存在有误的目标信息；输出所述目标信息。本方案可快速对目标数据中的有误信息进行定位，这样可避免在利用处理脚本进行格式转换时由于遇到错误而崩溃使得需要人工耗时耗力去排查崩溃原因的问题。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及可读存储介质
本申请涉及数据处理
，具体而言，涉及一种数据处理方法、装置、电子设备及可读存储介质。
技术介绍
目前，在不同的需求场景下会对数据的存储格式的要求可能不同，例如，针对指纹数据来说，其数据来源有多种，包括新机器试用数据、手机厂商数据和测试人员数据等。不同来源的数据的存储格式可能有很大不同，而为了便于对这些数据进行后续处理，需要将这些数据的存储格式转换为算法人员需求的格式，目前是通过处理脚本进行格式转换。但是，由于数据存储过程中有大量人为参与的过程，导致文件的存储格式不可避免地存在很多错误，如文件放错目录、目录命名错误等，这使得处理脚本在运行时遇到这些错误会导致程序崩溃，需要人工去耗时耗力地查找其程序崩溃的原因。
技术实现思路
本申请实施例的目的在于提供一种数据处理方法、装置、电子设备及可读存储介质，用以改善现有技术中处理脚本在运行时遇到这些错误会导致程序崩溃，而需要人工去耗时耗力地查找其程序崩溃的原因的问题。第一方面，本申请实施例提供了一种数据处理方法，所述方法包本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n读取配置文件，所述配置文件包括对目标数据的存储格式信息的校验规则；/n利用所述配置文件对所述目标数据的存储格式信息进行校验，获得校验结果；/n确定所述校验结果中所述存储格式信息中存在有误的目标信息；/n输出所述目标信息。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
读取配置文件，所述配置文件包括对目标数据的存储格式信息的校验规则；
利用所述配置文件对所述目标数据的存储格式信息进行校验，获得校验结果；
确定所述校验结果中所述存储格式信息中存在有误的目标信息；
输出所述目标信息。


2.根据权利要求1所述的方法，其特征在于，所述利用所述配置文件对所述目标数据的存储格式信息进行校验，获得校验结果，包括：
解析获得所述目标数据的存储路径以及所述存储路径下的各个存储节点；
利用所述配置文件对所述存储路径以及所述各个存储节点的存储格式信息进行校验，获得校验结果。


3.根据权利要求2所述的方法，其特征在于，所述利用所述配置文件对所述存储路径以及所述各个存储节点的存储格式信息进行校验，获得校验结果，包括：
利用所述配置文件对所述各个存储节点的节点信息以及最底层存储节点下的目标数据的存储格式信息进行校验，获得第一校验结果；
利用所述配置文件对所述存储路径的数据存储组织格式进行校验，获得第二校验结果；
其中，所述校验结果包括所述第一校验结果和所述第二校验结果。


4.根据权利要求3所述的方法，其特征在于，所述利用所述配置文件对所述各个存储节点的节点信息进行校验，获得第一校验结果，包括：
提取所述各个存储节点的节点信息中的关键字段；
通过所述配置文件中针对字段设置的正则表达式对所述各个存储节点的节点信息中的关键字段的字段表示方式进行校验，获得对应的第一子校验结果；其中，所述第一校验结果包括所述第一子校验结果。


5.根据权利要求3所述的方法，其特征在于，所述利用所述配置文件对所述各个存储节点的节点信息进行校验，获得第一校验结果，包括：
提取所述各个存储节点的节点信息中的关键字段；
利用所述配置文件对各个存储节点的节点信息中的关键字段是否缺失进行校验，获得对应的第二子校验结果；其中，所述第一校验结果包括所述第二子校验结果。


6.根据权利要求5所述的方法，其特征在于，所述利用所述配置文件对各个存储节点的节点信息中的关键字段是否缺失进行校验，获得对应的第二子校验结果，包括：
通过所述配置文件中针对字段设置的正则表达式匹配各个存储节点的节点信息中的关键字段，获得匹配的关键字段；
判断所述匹配的关键字段是否存在所述配置文件中记录的字典中，获得对应的第二子校验结果。

【专利技术属性】
技术研发人员：何立伟，邹佳辰，
申请(专利权)人：北京极豪科技有限公司，
类型：发明
国别省市：北京;11