本申请实施例提供一种数据处理的方法、装置、设备及介质，该方法包括：通过当前的数据治理规则对待评估数据进行数据治理操作，获得治理后的数据，其中，所述数据治理操作至少包括对所述待评估数据进行解析和存储；对所述治理后的数据进行数据质量检查，获得所述治理后的数据的质量评估结果；在所述质量评估结果不符合预设要求的情况下，对所述当前的数据治理规则进行优化和更新；重复上述步骤，直至所述质量评估结果符合所述预设要求，将当前的数据治理规则保存。通过本申请的一些实施例能够通过对数据治理规则的不断优化，提高数据治理的质量和效率。量和效率。量和效率。
【技术实现步骤摘要】
一种数据处理的方法、装置、设备及介质
[0001]本申请实施例涉及数据安全领域，具体涉及一种数据处理的方法、装置、设备及介质。
技术介绍
[0002]在数据治理过程中，数据采集、数据处理、数据共享和数据质量评估由各个模块分别执行，存在数据处理与数据质量评估割裂的问题，缺乏有效的联动优化机制。相关技术中，应用自定义引擎以及模型对数据质量进行评估，但是处理后还需要用户继续手动进行数据处理优化，导致数据治理的质量和效率降低。
[0003]因此，如何提高数据治理的质量和效率成为需要解决的问题。
技术实现思路
[0004]本申请实施例提供一种数据处理的方法、装置、设备及介质，通过本申请的一些实施例至少能够通过对数据治理规则的不断优化，提高数据治理的质量和效率。
[0005]第一方面，本申请提供了一种数据处理的方法，所述方法包括：通过当前的数据治理规则对待评估数据进行数据治理操作，获得治理后的数据，其中，所述数据治理操作至少包括对所述待评估数据进行解析和存储；对所述治理后的数据进行数据质量检查，获得所述治理后的数据的质量评估结果；在所述质量评估结果不符合预设要求的情况下，对所述当前的数据治理规则进行优化和更新；重复上述步骤，直至所述质量评估结果符合所述预设要求，将当前的数据治理规则保存。
[0006]因此，与相关技术中需要用户继续手动进行数据处理优化的方法不同的是，本申请实施例通过在评估结果不符合预设要求的情况下，自动对当前的数据治理规则进行优化和更新，能够使数据治理规则中的参数调整为最优，从而能够提高数据治理的质量和效率。
[0007]结合第一方面，在本申请的一种实施方式中，所述当前的数据治理规则包括数据处理规则和数据共享规则；所述在所述质量评估结果不符合预设要求的情况下，对所述当前的数据治理规则进行优化，包括：在所述质量评估结果不符合预设要求的情况下，获取所述当前的数据处理规则参数和当前的数据共享规则参数；将所述当前的数据处理规则参数和当前的数据共享规则参数的数值进行调整，获得调整后的数据处理规则参数和调整后的数据共享规则参数；计算所述调整后的数据处理规则参数和调整后的数据共享规则参数的变化率，其中，所述变化率是对一段时间内参数数值调整的次数进行计算获得的；在所述变化率满足变化率阈值的情况下，确认在当前循环中对所述当前的数据治理规则优化完成。
[0008]因此，本申请实施例通过计算参数调整的变化率，能够控制参数调整的频次，防止由于参数调整过快或者过慢而影响数据质量评价。
[0009]结合第一方面，在本申请的一种实施方式中，所述将所述当前的数据处理规则参数和当前的数据共享规则参数的数值进行调整，获得调整后的数据处理规则参数和调整后的数据共享规则参数，包括：将所述当前的数据处理规则参数和所述当前的数据共享规则
参数分别与相对应的预设比例相乘，获得共享规则比例调整参数和处理规则比例调整参数；将所述共享规则比例调整参数和所述处理规则比例调整参数与相对应的预设数值相加，获得所述调整后的数据处理规则参数和所述调整后的数据共享规则参数。
[0010]结合第一方面，在本申请的一种实施方式中，所述将所述当前的数据处理规则参数和当前的数据共享规则参数的数值进行调整，获得调整后的数据处理规则参数和调整后的数据共享规则参数，包括：将所述当前的数据处理规则参数和所述当前的数据共享规则参数分别与相对应的预设数值相加，获得共享规则数值调整参数和处理规则数值调整参数；将所述共享规则数值调整参数和所述处理规则数值调整参数分别与相对应的预设比例相乘，获得所述调整后的数据处理规则参数和所述调整后的数据共享规则参数。
[0011]因此，本申请实施例通过为规则参数乘以一个系数以及加上一个数值的方式对规则参数进行调整，能够不断的尝试规则参数的排列组合方式以及数值的大小，从而能够找到最优的规则参数。
[0012]结合第一方面，在本申请的一种实施方式中，在所述通过当前的数据治理规则对待评估数据进行数据治理操作，获得治理后的数据之前，所述方法还包括：通过当前的数据采集规则采集待评估数据；所述在所述质量评估结果不符合预设要求的情况下，对所述当前的数据治理规则进行优化和更新，包括：在所述质量评估结果不符合所述预设要求的情况下，对所述当前的数据治理规则和所述当前的数据采集规则进行优化和更新。
[0013]因此，本申请实施例通过对当前的数据采集规则进行更新，能够优化数据采集的流程，提升数据采集质量。
[0014]第二方面，本申请提供了一种数据处理的装置，所述装置包括：数据治理模块，被配置为通过当前的数据治理规则对待评估数据进行数据治理操作，获得治理后的数据，其中，所述数据治理操作至少包括对所述待评估数据进行解析和存储；数据质量检查模块，被配置为对所述治理后的数据进行数据质量检查，获得所述治理后的数据的质量评估结果；规则优化模块，被配置为在所述质量评估结果不符合预设要求的情况下，对所述当前的数据治理规则进行优化和更新；规则存储模块，被配置为重复上述步骤，直至所述质量评估结果符合所述预设要求，将当前的数据治理规则保存。
[0015]结合第二方面，在本申请的一种实施方式中，所述当前的数据治理规则包括数据处理规则和数据共享规则；所述规则优化模块还被配置为：在所述质量评估结果不符合预设要求的情况下，获取所述当前的数据处理规则参数和当前的数据共享规则参数；将所述当前的数据处理规则参数和当前的数据共享规则参数的数值进行调整，获得调整后的数据处理规则参数和调整后的数据共享规则参数；计算所述调整后的数据处理规则参数和调整后的数据共享规则参数的变化率，其中，所述变化率是对一段时间内参数数值调整的次数进行计算获得的；在所述变化率满足变化率阈值的情况下，确认在当前循环中对所述当前的数据治理规则优化完成。
[0016]结合第二方面，在本申请的一种实施方式中，所述规则优化模块还被配置为：将所述当前的数据处理规则参数和所述当前的数据共享规则参数分别与相对应的预设比例相乘，获得共享规则比例调整参数和处理规则比例调整参数；将所述共享规则比例调整参数和所述处理规则比例调整参数与相对应的预设数值相加，获得所述调整后的数据处理规则参数和所述调整后的数据共享规则参数。
[0017]结合第二方面，在本申请的一种实施方式中，所述规则优化模块还被配置为：将所述当前的数据处理规则参数和所述当前的数据共享规则参数分别与相对应的预设数值相加，获得共享规则数值调整参数和处理规则数值调整参数；将所述共享规则数值调整参数和所述处理规则数值调整参数分别与相对应的预设比例相乘，获得所述调整后的数据处理规则参数和所述调整后的数据共享规则参数。
[0018]结合第二方面，在本申请的一种实施方式中，所述数据治理模块还被配置为：通过当前的数据采集规则采集待评估数据；在所述质量评估结果不符合所述预设要求的情况下，对所述当前的数据治理规则和所述当前的数据采集规则进行优化和更新。
[0019]第三方面，本申请提供了一种电子设备，包括：处理器本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理的方法，其特征在于，所述方法包括：通过当前的数据治理规则对待评估数据进行数据治理操作，获得治理后的数据，其中，所述数据治理操作至少包括对所述待评估数据进行解析和存储；对所述治理后的数据进行数据质量检查，获得所述治理后的数据的质量评估结果；在所述质量评估结果不符合预设要求的情况下，对所述当前的数据治理规则进行优化和更新；重复上述步骤，直至所述质量评估结果符合所述预设要求，将当前的数据治理规则保存。2.根据权利要求1所述的方法，其特征在于，所述当前的数据治理规则包括数据处理规则和数据共享规则；所述在所述质量评估结果不符合预设要求的情况下，对所述当前的数据治理规则进行优化，包括：在所述质量评估结果不符合预设要求的情况下，获取所述当前的数据处理规则参数和当前的数据共享规则参数；将所述当前的数据处理规则参数和当前的数据共享规则参数的数值进行调整，获得调整后的数据处理规则参数和调整后的数据共享规则参数；计算所述调整后的数据处理规则参数和调整后的数据共享规则参数的变化率，其中，所述变化率是对一段时间内参数数值调整的次数进行计算获得的；在所述变化率满足变化率阈值的情况下，确认在当前循环中对所述当前的数据治理规则优化完成。3.根据权利要求2所述的方法，其特征在于，所述将所述当前的数据处理规则参数和当前的数据共享规则参数的数值进行调整，获得调整后的数据处理规则参数和调整后的数据共享规则参数，包括：将所述当前的数据处理规则参数和所述当前的数据共享规则参数分别与相对应的预设比例相乘，获得共享规则比例调整参数和处理规则比例调整参数；将所述共享规则比例调整参数和所述处理规则比例调整参数与相对应的预设数值相加，获得所述调整后的数据处理规则参数和所述调整后的数据共享规则参数。4.根据权利要求2所述的方法，其特征在于，所述将所述当前的数据处理规则参数和当前的数据共享规则参数的数值进行调整，获得调整后的数据处理规则参数和调整后的数据共享规则参数，包括：将所述当前的数据处理规则参数和所述当前的数据共享规则参数分别与相对应的预设数值相加，获得共享规则数值调整参数和处理规则数值调整参数；将所述共享规则数值调整参数和所述处理规则数值调整参数分别与相对应的预设比例相乘，获得所述调整后的数据处理规则参数和所述调整后的数据共享规则参数。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，在所述通过当前的数据治理规则对待评估数据进行数据治理操作，获得治理后的数据之...
【专利技术属性】
技术研发人员：王世峰，张彩霞，
申请(专利权)人：北京天融信科技有限公司北京天融信软件有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。