数据传输方法及数据传输系统技术方案

本发明专利技术涉及一种数据传输方法，其中数据传输方法包括：获取样本数据，预设描述指标库，对样本数据进行数据清洗，根据样本数据建立数据可信度自动评分模块；构建数据可信度评分请求，并由数据可信度自动评分模块对数据可信度评分请求中的初始信息数据进行风险程度评估。本发明专利技术通过预设描述指标库，对样本数据进行清洗，确定对格式化样本数据的风险程度影响最显著的指示指标，评估数据可信度自动评分模型的可靠性并进行优选，建立数据可信度自动评分模块，从样本数据的处理层面和指示指标的选择层面保证数据可信度自动评分模型的数据风险程度评估的可靠性，提高了数据传输方法的数据风险评估能力。险评估能力。险评估能力。

【技术实现步骤摘要】
数据传输方法及数据传输系统


[0001]本专利技术涉及风险控制领域，尤其涉及数据传输方法及数据传输系统。

技术介绍

[0002]随着现代社会的科技水平的发展，大数据以其巨大的资料规模量、超高的更新速度和对决策的有效依据性，成为现代社会中的重要信息挖掘来源。
[0003]然而，由于大数据的价值密度低，在其海量的数据信息中，真正具有价值的数据信息少之又少，且存在许多错误的、不完整的数据信息，这些数据信息将会对决策带来风险，因此为了保证决策的可靠性，避免因数据风险造成决策错误，需要对数据信息进行风险控制判断与处理。传统的风控技术，多由决策机构的风控工作人员以人工的方式根据历史经验进行数据信息风险控制。在现有技术中，往往根据风控需求配置风控策略，以使配置后的风控策略能够达到预期的风控效果，例如，需要根据实际的风控需求，确定出预期风控效果，而后通过对以往大量历史业务信息的分析，确定出符合该预设风控效果的风控策略，进而将该风控策略进行配置，例如中国专利ZL201710416942.1公开了一种风控策略配置以及业务风控的方法及装置，该专利技术中设备可根据预设的各风险概率、各历史业务信息以及各历史业务信息对应的实际风控结果，确定出若干风控策略及其对应的风控效果表征值，并从各风控效果表征值中选择出落入目标范围的风控效果表征值，进而将该风控效果表征值对应的风控策略进行配置，风控人员在对风控策略进行配置时，只需将确定出的风控效果表征值的目标范围输入到该设备中，该设备即可根据风控人员输入的风控效果表征值的目标范围，确定出与该目标范围相适应的风控策略并配置，此专利技术虽然减少了配置风控策略所需的时间，但对数据风险程度的评估能力低。

技术实现思路

[0004]为此，本专利技术提供数据传输方法及数据传输系统，可以解决现有技术对数据风险程度的评估能力低的问题。
[0005]为实现上述目的，一方面，本专利技术提供一种数据传输方法，包括：
[0006]获取样本数据，对样本数据进行数据清洗，构建数据可信度自动评分模型并对数据可信度自动评分模型进行评估和优化，建立数据可信度自动评分模块；
[0007]构建数据可信度评分请求，并由所述数据可信度自动评分模块对所述数据可信度评分请求中的初始信息数据进行风险程度评估。
[0008]进一步地，建立数据可信度自动评分模块方法，包括：
[0009]根据所述样本数据预设描述指标库，并对样本数据进行数据清洗，将清洗后所得的符合数据质量要求的良性样本数据转化成可用作模型开发的格式化样本数据；
[0010]根据所述格式化样本数据和所述描述指标库，确定若干个用于描述格式化样本数据的风险程度的描述指标；
[0011]从所述描述指标中筛选出对格式化样本数据的风险程度影响最显著的指示指标；
[0012]根据所述指示指标和格式化样本数据，构建数据可信度自动评分模型；
[0013]对所述数据可信度自动评分模型的可靠性进行评估，判断该数据可信度自动评分模型是否可用，并根据判断结果选择拟合度最大的数据可信度自动评分模型作为数据可信度自动评分应用模型；
[0014]根据格式化样本数据的风险程度和所述数据可信度自动评分应用模型，确定划分格式化样本数据的风险程度等级，并将所述风险程度等级转化为相应的标准评分等级；
[0015]根据数据可信度自动评分应用模型和所述标准评分等级建立数据可信度自动评分模块。
[0016]进一步地，对样本数据进行清洗方法，包括：
[0017]对样本数据进行一致性处理，获得一级样本数据；
[0018]对一级样本数据进行缺失值判断，并根据一级样本数据的误差量在一级样本数据总量中的误差占比调整一致性处理的取值范围或对一级样本数据进行缺失值处理并获取二级样本数据，根据一级样本数据与二级样本数据的第一差值判断描述指标库的指标范围是否需要调整；
[0019]对二级样本数据进行异常值判断，并根据二级样本数据的异常量在二级样本数据总量中的异常占比调整一致性处理的取值范围或对二级样本数据进行缺失值处理并获取三级样本数据，根据二级样本数据与三级样本数据的第二差值的大小判断描述指标库的指标范围是否需要调整。
[0020]进一步地，当比较一级样本数据的误差量在一级样本数据总量中的误差占比与标准误差占比时，预设标准误差占比，比较误差占比与标准误差占比的大小关系，
[0021]当误差占比≥标准误差占比时，缩小一致性处理的取值范围；
[0022]当误差占比<标准误差占比时，对一级样本数据进行缺失值处理并获取二级样本数据，根据一级样本数据与二级样本数据的第一差值的大小判断描述指标库是否需要调整。
[0023]进一步地，当误差占比Q≥标准误差占比Q0，缩小一致性处理的取值范围[m0,n0]时，设置第一调整参数k1,令一致性处理的取值范围缩小为[m1,n1],其中，m1＝(1+k1)
×
m0,n1＝(1
‑
k1)
×
n0,k1＝Q/Q0，
[0024]当m1<n1时，对一级样本数据进行缺失值处理并获取二级样本数据，根据一级样本数据与二级样本数据的第一差值的大小判断描述指标库的指标范围是否需要调整；
[0025]当m1≥n1时，更换缺失值的处理方法，并再次比较误差占比与标准误差占比的大小。
[0026]进一步地，当比较二级样本数据中的异常量在二级样本数据总量中的异常占比与标准异常占比时，预设标准异常占比，比较异常占比和标准异常占比的大小关系，
[0027]当异常占比≥标准异常占比时，缩小一致性处理的取值范围；
[0028]当异常占比<标准异常占比时，对二级样本数据进行缺失值处理，获取三级样本数据并将三级样本数据，根据二级样本数据与三级样本数据的第二差值的大小判断描述指标库的指标范围是否需要调整。
[0029]进一步地，当异常占比P≥标准异常占比P0，缩小一致性处理的取值范围[m0,n0]时，设置第二调整参数k2,令一致性处理的取值范围缩小为[m2,n2],其中，m2＝(1+k2)
×
m0,n1＝(1
‑
k2)
×
n0,k2＝P/P0，
[0030]当m2<n2时，对二级样本数据进行缺失值处理并获取三级样本数据，根据二级样本数据与三级样本数据的第二差值的大小判断描述指标库的指标范围是否需要调整；
[0031]当m2≥n2时，更换异常值的处理方法，并再次比较异常占比与标准异常占比的大小。
[0032]进一步地，当根据一级样本数据N1与二级样本数据N2的第一差值
△
N1的大小判断描述指标库的指标范围是否需要调整时，预先设置有第一标准差值，比较第一差值
△
N1与第一标准差值的大小关系，其中，
△
N1＝N1
‑
N2,
[0033]若...

【技术保护点】

【技术特征摘要】
1.一种数据传输方法，其特征在于，包括：获取样本数据，对样本数据进行数据清洗，通过清洗后的样本数据构建数据可信度自动评分模型并对数据可信度自动评分模型进行评估和优化，建立数据可信度自动评分模块；构建数据可信度评分请求，并由所述数据可信度自动评分模块对所述数据可信度评分请求中的初始信息数据进行风险程度评估。2.根据权利要求1所述的数据传输方法，其特征在于，建立数据可信度自动评分模块方法，包括：根据所述样本数据预设描述指标库，并对样本数据进行数据清洗，将清洗后所得的符合数据质量要求的良性样本数据转化成可用作模型开发的格式化样本数据；根据所述格式化样本数据和所述描述指标库，确定若干个用于描述格式化样本数据的风险程度的描述指标；从所述描述指标中筛选出对格式化样本数据的风险程度影响最显著的指示指标；根据所述指示指标和格式化样本数据，构建数据可信度自动评分模型；对所述数据可信度自动评分模型的可靠性进行评估，判断该数据可信度自动评分模型是否可用，并根据判断结果选择拟合度最大的数据可信度自动评分模型作为数据可信度自动评分应用模型；根据格式化样本数据的风险程度和所述数据可信度自动评分应用模型，确定划分格式化样本数据的风险程度等级，并将所述风险程度等级转化为相应的标准评分等级；根据数据可信度自动评分应用模型和所述标准评分等级建立数据可信度自动评分模块。3.根据权利要求2所述的数据传输方法，其特征在于，对样本数据进行清洗方法，包括：对样本数据进行一致性处理，获得一级样本数据；对一级样本数据进行缺失值判断，并根据一级样本数据的误差量在一级样本数据总量中的误差占比调整一致性处理的取值范围或对一级样本数据进行缺失值处理并获取二级样本数据，根据一级样本数据与二级样本数据的第一差值判断描述指标库的指标范围是否需要调整；对二级样本数据进行异常值判断，并根据二级样本数据的异常量在二级样本数据总量中的异常占比调整一致性处理的取值范围或对二级样本数据进行缺失值处理并获取三级样本数据，根据二级样本数据与三级样本数据的第二差值的大小判断描述指标库的指标范围是否需要调整。4.根据权利要求3所述的数据传输方法，其特征在于，当比较一级样本数据的误差量在一级样本数据总量中的误差占比与标准误差占比时，预设标准误差占比，比较误差占比与标准误差占比的大小关系，当误差占比≥标准误差占比时，缩小一致性处理的取值范围；当误差占比<标准误差占比时，对一级样本数据进行缺失值处理并获取二级样本数据，根据一级样本数据与二级样本数据的第一差值的大小判断描述指标库是否需要调整。5.根据权利要求4所述的数据传输方法，其特征在于，当误差占比Q≥标准误差占比Q0，缩小一致性处理的取值范围[m0,n0]时，设置第一调整参数k1,令一致性处理的取值范围缩
小为[m1,n1],其中，m1＝(1+k1)
×
m0,n1＝(1
‑
k1)
×
n0,k1＝Q/Q0，当m1<n1时，对一级样本数据进行缺失值处理并获取二级样本数据，根据一级样本数据与二级样本数据的第一差值的大小判断描述指标库的指标范围是否需要调整；当m1≥n1时，更换缺失值的处理方法，并再次比较误差占比与标准误差占比的大小。6.根据权利要求5所述的数据传输方法，其特征在于，当比较二级样本数据中的异常量在二级样本数据总量中的异常占比与标准异常占比时，预设标准异常占比，比较异常占比和标准异常占比的大小关系，当异常占比≥标准异常占比时，缩小一致性处理的取值范围；当异常占比<标准异常占比时，对二级样本数据进行缺失值处理，获取三级样本数据并将三级样本数据，根据二级样本数据与三级样本数据的第二差值的大小判断描述指标库的指标范围是否需要调整。7.根据权利要求6所述的数据传输系统，其特征在于，当异常占比P≥标准异常占比P0，缩小一致性处理的取值范围[m0,n0]时，设置第二调整参数k2,令一致性处理的取值范围缩小为[m2,n2],其中，m2＝(1+k2)
×
m0,n1＝(1

【专利技术属性】
技术研发人员：李传根，赵斌，
申请(专利权)人：鼎翰文化股份有限公司，
类型：发明
国别省市：