【技术实现步骤摘要】
本专利技术涉及数据流转管理，具体地，涉及数据中台数据流转监控方法与系统。
技术介绍
1、审计监测与数据溯源是数据中台及大数据安全防护的重要技术之一，也是数据中台在平台安全防护体系建设中的重要部分。根据《信息系统安全等级保护基本要求》，在三级等保的标准中，也要求跟踪和记录数据采集、处理、分析和挖掘等过程，保证溯源数据能重现相应过程，满足数据业务要求和合规审计要求。
2、现有的数据中台系统无法满足应用需求，迫使我们探究更加适应工业场景的数据流转监控方法与系统，通过对关键数据的使用、操作、访问开发审计与监测的功能，保证数据在流动过程中安全，并以此为基础构建溯源能力，使平台和大数据中心的数据更安全。
3、专利文献cn114064418a(申请号：202111436874.8)公开了基于工业app开发的数据流转监控方法及可读存储介质,方法包括：工业app开发过程中,设置对应数据的数据开放权限；基于设置有数据开放权限的数据,设置对应的数据调用权限；基于设置有数据开放权限和数据调用权限的数据,设置对应的数据开放时效；基于数据的数据开放权限、数据调用权限和数据开放时效生成对应的数据开放接口；工业app应用时,对数据流转过程进行监控。该专利技术所述数据流转监控基于工业app开发，仅能监控工业app应用时的调用记录，无法体现数据在数据中台集成和加工的流转过程；该专利技术仅对数据流转过程进行监控，无法从数据流转关系中分析并发现数据安全风险。
4、专利文献cn112231173a(申请号：202011049512.9
技术实现思路
1、针对现有技术中的缺陷，本专利技术的目的是提供一种数据中台数据流转监控方法与系统。
2、根据本专利技术提供的一种数据中台数据流转监控系统，包括：
3、数据处理和获取模块：基于elk架构实现数据全生命周期流动过程中的日志记录；
4、数据溯源模块：基于记录的数据全生命周期流动过程中的日志通过可视化方式展示数据的执行记录和被调用记录。
5、优选地，在所述数据处理和获取模块中，通过埋点的执行情况结合血缘关系中的配置信息得到用于数据流转监控的每个环节的关键要素；
6、所述关键要素包括：数据标识、过程记录和责任方；
7、所述血缘关系中的配置信息是记录数据对象标识和数据操作配置；
8、所述埋点的执行情况是针对每次数据操作环节的执行情况进行埋点。
9、优选地，在所述数据溯源模块中，通过得到的每个环节的关键要素实现各个环节之间的串联；通过环节执行的埋点信息，监控每次发生的数据流转情况；通过可视化方式展示数据在数据中台数据处理环节的执行记录和数据获取环节的被调用记录。
10、优选地，风险识别模块：基于所述数据溯源模块监控数据流转情况根据预设风险规则进行风险识别。
11、优选地，智能监控告警模块：当所述风险识别模块识别出有风险时，则通过智能监控告警模块进行预警。
12、根据本专利技术提供的一种数据中台数据流转监控方法，包括：
13、步骤s1：数据处理和获取模块基于elk架构实现数据全生命周期流动过程中的日志记录；
14、步骤s2：数据溯源模块基于记录的数据全生命周期流动过程中的日志通过可视化方式展示数据的执行记录和被调用记录。
15、优选地，在所述数据处理和获取模块中，通过埋点的执行情况结合血缘关系中的配置信息得到用于数据流转监控的每个环节的关键要素；
16、所述关键要素包括：数据标识、过程记录和责任方；
17、所述血缘关系中的配置信息是记录数据对象标识和数据操作配置；
18、所述埋点的执行情况是针对每次数据操作环节的执行情况进行埋点。
19、优选地，在所述数据溯源模块中，通过得到的每个环节的关键要素实现各个环节之间的串联；通过环节执行的埋点信息，监控每次发生的数据流转情况；通过可视化方式展示数据在数据中台数据处理环节的执行记录和数据获取环节的被调用记录。
20、优选地，步骤s3：风险识别模块基于所述数据溯源模块监控数据流转情况根据预设风险规则进行风险识别。
21、优选地，步骤s4：当所述风险识别模块识别出有风险时，则智能监控告警模块通过智能监控告警模块进行预警。
22、与现有技术相比，本专利技术具有如下的有益效果：
23、1、本专利技术通过对关键数据的使用、操作、访问日志进行记录，实现平台数据审计与监测的功能，保证数据在流动过程中安全，并以此为基础构建溯源能力，使平台和大数据中心的数据更安全；
24、2、本专利技术通过数据处理和获取模块形成的数据流转关系，可以分析并发现数据安全风险，如：发现安全等级降低可能导致数据泄漏的风险、发现未授权数据下载风险、发现频繁数据下载风险等，保障数据使用安全性。
本文档来自技高网...【技术保护点】
1.一种数据中台数据流转监控系统，其特征在于，包括：
2.根据权利要求1所述的数据中台数据流转监控系统，其特征在于，在所述数据处理和获取模块中，通过埋点的执行情况结合血缘关系中的配置信息得到用于数据流转监控的每个环节的关键要素；
3.根据权利要求2所述的数据中台数据流转监控系统，其特征在于，在所述数据溯源模块中，通过得到的每个环节的关键要素实现各个环节之间的串联；通过环节执行的埋点信息，监控每次发生的数据流转情况；通过可视化方式展示数据在数据中台数据处理环节的执行记录和数据获取环节的被调用记录。
4.根据权利要求1所述的数据中台数据流转监控系统，其特征在于，风险识别模块：基于所述数据溯源模块监控数据流转情况根据预设风险规则进行风险识别。
5.根据权利要求4所述的数据中台数据流转监控系统，其特征在于，智能监控告警模块：当所述风险识别模块识别出有风险时，则通过智能监控告警模块进行预警。
6.一种数据中台数据流转监控方法，其特征在于，包括：
7.根据权利要求6所述的数据中台数据流转监控方法，其特征在于，在所述数据处
8.根据权利要求7所述的数据中台数据流转监控方法，其特征在于，在所述数据溯源模块中，通过得到的每个环节的关键要素实现各个环节之间的串联；通过环节执行的埋点信息，监控每次发生的数据流转情况；通过可视化方式展示数据在数据中台数据处理环节的执行记录和数据获取环节的被调用记录。
9.根据权利要求6所述的数据中台数据流转监控方法，其特征在于，步骤S3：风险识别模块基于所述数据溯源模块监控数据流转情况根据预设风险规则进行风险识别。
10.根据权利要求9所述的数据中台数据流转监控方法，其特征在于，步骤S4：当所述风险识别模块识别出有风险时，则智能监控告警模块通过智能监控告警模块进行预警。
...【技术特征摘要】
1.一种数据中台数据流转监控系统，其特征在于，包括：
2.根据权利要求1所述的数据中台数据流转监控系统，其特征在于，在所述数据处理和获取模块中，通过埋点的执行情况结合血缘关系中的配置信息得到用于数据流转监控的每个环节的关键要素；
3.根据权利要求2所述的数据中台数据流转监控系统，其特征在于，在所述数据溯源模块中，通过得到的每个环节的关键要素实现各个环节之间的串联；通过环节执行的埋点信息，监控每次发生的数据流转情况；通过可视化方式展示数据在数据中台数据处理环节的执行记录和数据获取环节的被调用记录。
4.根据权利要求1所述的数据中台数据流转监控系统，其特征在于，风险识别模块：基于所述数据溯源模块监控数据流转情况根据预设风险规则进行风险识别。
5.根据权利要求4所述的数据中台数据流转监控系统，其特征在于，智能监控告警模块：当所述风险识别模块识别出有风险时，则通过智能监控告警模块进行预警。
6...
【专利技术属性】
技术研发人员：李亚贝，吴莉珊，周明，黄明，胡兵，杨建夏，郑宁，杨小虎，曹敏杰，
申请(专利权)人：上海宝信软件股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。