一种监管报送数据质量规则生成及运行方法技术

本发明专利技术涉及一种监管报送数据质量规则生成及运行方法，包括：

【技术实现步骤摘要】
一种监管报送数据质量规则生成及运行方法


[0001]本专利技术涉及计算机数据处理
，尤其是涉及一种监管报送数据质量规则生成及运行方法
。

技术介绍

[0002]随着信息时代的快速发展，各金融企业的业务种类更多
、
量更大，各监管部门对金融企业监管报送的数据质量要求也逐渐提升
。
目前，大多数金融企业的技术人员承担着监管报送数据质量规则的验证和配置工作，为了确保企业报送的数据质量，部分企业专门安排双人通过手工编写质量规则代码以进行质量规则的交叉验证，此环节需要人工事先对监管规则语义进行深入理解
、
然后根据个人理解编写代码进行验证；也有部分企业采用正则表达式匹配对监管规则进行单一匹配或者在类似业务场景使用强化学习进行自动分析，以此来保证监管报送的数据质量
。
[0003]然而现有的人工及正则表达式匹配方式存在以下缺点：
[0004](1)、
人工梳理耗时长：监管规则数据量大，人工梳理规则存在梳理耗时长
、
进度慢
、
易出错等问题
。
[0005](2)、
手工梳理成本高：监管规则种类多，复杂度高，技术人员梳理不同规则并完成
SQL(Structured Query Language
，结构化查询语言
)
代码编写的人力成本高；并且不同人员技术能力参差不齐，手工梳理的结果质量不能得到准确性保障
。
[0006](3)、/>适应性差：目前已有部分企业在类似业务场景采用正则匹配技术进行分类，但是正则表达式种类多并且语法比较复杂，正则多层嵌套的可能性高，对于新的监管规则并不能实现很好的自动分类
。
[0007]可以说，现有技术难以高效
、
准确地自动生成并运行数据质量规则，导致数据报送的质量和业务稳定性均受到不利影响
。

技术实现思路

[0008]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种监管报送数据质量规则生成及运行方法，能够高效
、
准确地自动生成并运行数据质量规则，从而提升数据报送质量
、
确保业务稳定性
。
[0009]本专利技术的目的可以通过以下技术方案来实现：一种监管报送数据质量规则生成及运行方法，包括以下步骤：
[0010]S1、
获取监管规则样本数据
、
并进行样本数据预处理；
[0011]S2、
构建神经网络模型，利用预处理后样本数据对神经网络进行训练，得到规则分类模型；
[0012]S3、
将待处理规则数据预处理后再输入规则分类模型，输出得到分类结果；
[0013]S4、
基于分类结果，从预设的数据库中关联获取对应的
SQL
模板数据
、
生成规则脚本信息；
[0014]S5、
重复执行步骤
S3
～
S4
，直至生成所有待处理规则数据对应的规则脚本信息；
[0015]S6、
将生成的所有规则脚本信息批量计算，得到运行结果后传输至监管报送系统
。
[0016]进一步地，所述步骤
S1
的具体过程为：获取监管规则样本数据，对监管规则样本数据进行非法字符预处理；再对样本数据进行分词处理，同时对分词后的结果进行去停用词处理
。
[0017]进一步地，所述步骤
S1
具体是使用正则表达式对监管规则样本数据进行非法字符预处理；
[0018]基于字典
、
词库匹配的分词方法或使用结巴分词工具进行分词处理
。
[0019]进一步地，所述步骤
S2
中构建的神经网络模型包括输入层
、
隐藏层和输出层，输入层的输入为预处理后样本数据转换得到的特征向量，输入层的节点数量大于或等于特征向量的维数；输出层中每个节点代表一个分类结果
。
[0020]进一步地，所述步骤
S2
中对神经网络进行训练的具体过程为：
[0021]初始化神经网络参数；
[0022]将预处理后样本数据转换为特征向量后传输给输入层，将对应已知的分类标签
、
即给定目标传输至理想输出单元；
[0023]获取输出层和隐藏层的节点输出；
[0024]求取目标值与实际输出偏差
、
计算误差，以更新权值；
[0025]判断当前神经网络模型是否达到预设精度要求，若是则停止训练
、
得到规则分类模型，否则返回继续进行训练
。
[0026]进一步地，所述步骤
S4
中预设的数据库内存储有与不同监管规则相对应的
SQL
模板映射信息，具体为键值对
key
‑
value
映射
。
[0027]进一步地，所述步骤
S4
具体包括以下步骤：
[0028]S41、
将分类结果作为
key
，通过数据库连接池去连接数据库关联映射文件数据，得到对应的
SQL
模板数据；
[0029]S42、
将
SQL
模板数据自动填充动态参数，生成完整的
SQL
验证规则脚本信息
。
[0030]进一步地，所述步骤
S6
具体是将生成的所有规则脚本信息提交至大数据集群进行计算，得到各规则运行的结果状态信息，当所有结果状态信息均为“通过”时，将当前对应数据信息传输至监管报送系统
。
[0031]进一步地，所述大数据集群包括分布式计算单元和分布式存储单元，所述分布式计算单元用于对接收的规则脚本信息进行分布式计算；所述分布式存储单元用于存储元数据信息
。
[0032]进一步地，所述步骤
S6
具体包括以下步骤：
[0033]S61、
将生成的每一个规则脚本信息作为一个单独的任务存入线程池的队列中；
[0034]S62、
通过接口调用分批次地将队列中的任务提交到大数据集群进行分布式计算，经大数据集群计算后
、
再通过接口回调的方式得到每个规则运行的结果数据；
[0035]S63、
将结果数据和预先设定的预期数据进行比对，比对一致则为“通过”，比对不一致则为“未通过”，若所有的规则运行状态均为“通过”，则将对应的表数据信息上传到监管报送系统
。
[0036]与现有技术相比，本专利技术具有以下优点：
[0037]一
、
本专利技术通过构建神经网络模型，利用预处理后的监管规则样本数据对神经网络进行训练，以得到规则分类模型，能够针对监管规则本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种监管报送数据质量规则生成及运行方法，其特征在于，包括以下步骤：
S1、
获取监管规则样本数据
、
并进行样本数据预处理；
S2、
构建神经网络模型，利用预处理后样本数据对神经网络进行训练，得到规则分类模型；
S3、
将待处理规则数据预处理后再输入规则分类模型，输出得到分类结果；
S4、
基于分类结果，从预设的数据库中关联获取对应的
SQL
模板数据
、
生成规则脚本信息；
S5、
重复执行步骤
S3
～
S4
，直至生成所有待处理规则数据对应的规则脚本信息；
S6、
将生成的所有规则脚本信息批量计算，得到运行结果后传输至监管报送系统
。2.
根据权利要求1所述的一种监管报送数据质量规则生成及运行方法，其特征在于，所述步骤
S1
的具体过程为：获取监管规则样本数据，对监管规则样本数据进行非法字符预处理；再对样本数据进行分词处理，同时对分词后的结果进行去停用词处理
。3.
根据权利要求2所述的一种监管报送数据质量规则生成及运行方法，其特征在于，所述步骤
S1
具体是使用正则表达式对监管规则样本数据进行非法字符预处理；基于字典
、
词库匹配的分词方法或使用结巴分词工具进行分词处理
。4.
根据权利要求1所述的一种监管报送数据质量规则生成及运行方法，其特征在于，所述步骤
S2
中构建的神经网络模型包括输入层
、
隐藏层和输出层，输入层的输入为预处理后样本数据转换得到的特征向量，输入层的节点数量大于或等于特征向量的维数；输出层中每个节点代表一个分类结果
。5.
根据权利要求4所述的一种监管报送数据质量规则生成及运行方法，其特征在于，所述步骤
S2
中对神经网络进行训练的具体过程为：初始化神经网络参数；将预处理后样本数据转换为特征向量后传输给输入层，将对应已知的分类标签
、
即给定目标传输至理想输出单元；获取输出层和隐藏层的节点输出；求取目标值与实际输出偏差
、
计算误差，以更新权值；判断当前神经网络模型...

【专利技术属性】
技术研发人员：铁锦程，李虎，陈嘉，王尧，朱建兵，何婷，
申请(专利权)人：上海浦东发展银行股份有限公司，
类型：发明
国别省市：