基于多存储引擎的SCA源码溯源更新方法及装置制造方法及图纸

本发明专利技术公开了一种基于多存储引擎的SCA源码溯源更新方法及装置，其中更新方法包括：定时获取待解析组件的核心版本文件；对核心版本文件的代码进行解析得到多个文件hash；利用redis的set集合对多个文件hash进行去重，并以key‑value的形式存储在redis中；定时检测redis中key值的数量，并判断key值的数量是否大于设定阈值，若大于设定阈值，则将redis中的文件hash迁移至doris的待合并表；利用flink分批合并待合并表中的文件hash，以得到合并集；重复上述解析、去重、合并的操作，直至待解析组件解析完成；通过flink将合并集的文件hash迁移至clikchouse。本发明专利技术基于多存储引擎的SCA源码溯源更新方法通过将整个更新操作进行拆分，并利用多存储引擎分批执行的方式，来提高SCA源码溯源数据整体的更新效率。

【技术实现步骤摘要】

本专利技术涉及一种sca源码溯源更新，尤其涉及一种基于多存储引擎的sca源码溯源更新方法及装置。

技术介绍

1、现阶段sca源码溯源更新的过程中，由于sca待解析的源码溯源总体量过大，单表的数据量可达到百亿级别，所以很难通过平常的方法来完成相关数据的更新工作，而由于clickhouse组件自身特性的问题，其对于更新及删除的操作支持性一般，同时不支持相关修改事务，很难实现直接操作clickhouse组件来完成sca源码溯源更新，所以关于sca源码溯源的更新一直存在大数据更新缓慢的效率问题。

技术实现思路

1、本专利技术的目的是提供一种基于多存储引擎的sca源码溯源更新方法及装置，通过将整个更新操作进行拆分，并利用多存储引擎分批执行的方式，来提高sca源码溯源数据整体的更新效率。

2、为了实现上述目的，本专利技术公开了一种基于多存储引擎的sca源码溯源更新方法，其包括：

3、定时获取待解析组件的核心版本文件；

4、对所述核心版本文件的代码进行解析得到多个文件hash；

<本文档来自技高网...

【技术保护点】

1.一种基于多存储引擎的SCA源码溯源更新方法，其特征在于，包括：

2.根据权利要求1所述的基于多存储引擎的SCA源码溯源更新方法，其特征在于，所述“定时获取待解析组件的核心版本文件”包括：

3.根据权利要求1所述的基于多存储引擎的SCA源码溯源更新方法，其特征在于，所述“将redis中的文件hash迁移至doris的待合并表”，包括：

4.根据权利要求1所述的基于多存储引擎的SCA源码溯源更新方法，其特征在于，所述“利用flink通过检索所述待合并表和clikchouse来分批合并所述待合并表中的文件hash，以得到合并集”之前，还包括：

...

【技术特征摘要】

1.一种基于多存储引擎的sca源码溯源更新方法，其特征在于，包括：

2.根据权利要求1所述的基于多存储引擎的sca源码溯源更新方法，其特征在于，所述“定时获取待解析组件的核心版本文件”包括：

3.根据权利要求1所述的基于多存储引擎的sca源码溯源更新方法，其特征在于，所述“将redis中的文件hash迁移至doris的待合并表”，包括：

4.根据权利要求1所述的基于多存储引擎的sca源码溯源更新方法，其特征在于，所述“利用flink通过检索所述待合并表和cli...

【专利技术属性】
技术研发人员：胡胜，万振华，王颉，李华，董燕，
申请(专利权)人：扬州数安技术有限公司，
类型：发明
国别省市：

全部详细技术资料下载 我是这个专利的主人