【技术实现步骤摘要】
本专利技术涉及容器镜像管理领域，具体涉及一种基于大数据和云计算的容器镜像血缘智能分析系统。
技术介绍
1、随着容器技术的迅速发展，容器镜像的安全性日益受到关注。现有的商用镜像分析工具存在数据规模小、计算资源受限、分析不够灵活、扩展性差等问题，难以应对容器镜像供应链的安全挑战。在云计算大数据潮流中，缺乏对容器镜像供应链的深入洞察仍然是限制广泛采用云原生技术的一个关键因素。目前容器镜像分析面临的数据规模日益庞大，现有的商用系统如anchore engine、sysdig secure和jfrog xray等已暴露出一些问题:
2、1，数据处理能力严重不足。这些商用系统运转在固定的企业硬件环境下，面对海量的镜像数据时，很难实现快速、深入的分析，其分析的实时性和广度都受到限制。
3、2，定制化分析能力有限。商用系统只提供了预定义的分析模板，无法满足用户对各类定制化规则的需求，特别是在文件内容分析方面。
4、3，整体系统性能和扩展性较差。这些系统都存在严重的性能瓶颈，且扩展性十分有限。作为独立系统，其收集和分析到的数据也无法与平台其他系统有效共享。
5、4，安全漏洞监控能力不足。现有商用系统缺乏对运行时容器的动态监控和安全控制能力。
6、5，使用成本高昂，存在供应商锁定风险。这些商用系统需要支付高额许可费用，且一旦采用难以切换。
7、6，镜像供应链关系的可追溯性和可视化不足。这降低了用户对镜像来源和构建过程的认知。
8、目前，容器镜像供应链安全面临着许多挑
9、1，未经验证的镜像来源：开发者通常从公共镜像仓库中获取镜像，但这些镜像的来源和内容可能未经验证。恶意用户可能会发布包含恶意软件或漏洞的镜像，从而威胁到使用这些镜像的系统。
10、2，镜像漏洞和依赖性问题：容器镜像可能包含已知或未知的漏洞。此外，它们的依赖关系(例如基础镜像和第三方库)可能也存在漏洞。这些漏洞可能被黑客用来入侵系统或执行恶意操作。
11、3，不安全的构建环境：容器镜像的构建过程通常依赖于复杂的构建工具链和依赖项。如果构建环境本身不受保护，攻击者可能通过篡改构建过程来植入恶意代码或修改应用程序行为。
12、4，镜像的合规性和合法性：企业通常需要确保他们使用的软件在法律和行业标准上是合规的。从不受信任的来源获取的镜像可能违反许可证协议，导致法律责任和合规性问题。
13、5，跨团队合作的挑战：大规模项目通常涉及多个团队的协作，每个团队可能都负责一个或多个容器镜像。协作和沟通的挑战可能导致一些团队在安全实践上存在遗漏。
14、6，持续集成和持续部署(ci/cd)中的安全性问题：在ci/cd流程中，容器镜像可能会被频繁地构建、部署和更新。在这个高度自动化的流程中，安全性检查和漏洞修复可能会被忽视，从而使得潜在的威胁在镜像中传播。
15、7，镜像的可信度和验证：确定镜像的真实性和完整性是一个挑战。在镜像传输和存储过程中，数据可能被篡改或污染，这会导致系统在运行时遭受攻击。
16、为了应对上述挑战，市场上有几个知名的镜像分析工具和服务，例如，anchoreengine、sysdig secure和jfrog xray，它们可以帮助用户追踪和分析容器镜像的来源、历史构建记录和依赖关系。这些工具通常结合了镜像扫描、元数据分析、依赖关系分析等技术。在验证使用这些商业工具后，也暴露出一些缺陷：
17、1，数据规模的缺陷。这是最根本的问题。容器镜像的数据非常庞大，包括了大量的镜像、层、文件和内容。传统的商用工具不能高效地处理这么大规模的数据，进而限制了分析深度和广度，也影响实时性。
18、2，计算资源的缺陷。商业产品在本地单机或双机环境部署而不是云计算环境，受到硬件性能和计算资源的限制。处理大规模数据和实时分析需要大量的计算能力，传统部署模式无法满足处理高负荷任务的需求。
19、3，灵活的深度分析的缺陷。对于复杂的供应链关系和依赖项，传统的商业工具难以提供足够深度的分析，不提供灵活的定制分析需求。如果需要了解文件内容、层、文件、内容之间的关系、甚至是定制分析的关系等细节，商业工具无法满足这种需求。
20、4，扩展性的缺陷。商业产品提供了固定的分析模块，如果需求发生变化，需要依赖供应商提供新的功能或模块，而这不一定能够纳入供应商产品规划，不能及时满足具体要求。
21、5，高昂成本的缺陷。商业产品通常需要付费许可，这些工具本身也经常出现高危漏洞或成为重大安全事件的入口，也不满足高质量发展和信创的需求。
技术实现思路
1、以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
2、本专利技术的目的在于解决上述问题，提供了一种基于大数据和云计算的容器镜像血缘智能分析系统，运用大数据和云计算技术，构建一个开放的容器镜像血缘智能分析系统，从而实现从基础镜像、镜像层、文件、直到文件内容的深度追踪和动态分析。
3、本专利技术的技术方案为：
4、本专利技术提供一种基于大数据和云计算的容器镜像血缘智能分析系统，包括作业编排层、索引作业层、血缘作业层和应用层；其中，
5、作业编排层用于接收镜像分析任务请求，根据镜像分析任务请求创建对应的镜像索引作业和血缘分析作业，并将创建得到的镜像索引作业和血缘分析作业分发给索引作业层以及血缘作业层；
6、索引作业层用于执行获取到的镜像索引作业，并将生成的索引信息传输给血缘作业层进行参考；
7、血缘作业层用于执行获取到的血缘分析作业，并将生成的血缘分析数据传输给应用层；
8、应用层用于对接收到的血缘分析数据进行分析和应用。
9、根据本专利技术的基于大数据和云计算的容器镜像血缘智能分析系统的一实施例，所述作业编排层设有多个作业服务器，分别用于存储创建的镜像索引作业和血缘分析作业；其中，所述作业编排层接收镜像分析任务请求后，基于接收镜像分析任务请求中的新容器镜像信息来创建对应的镜像索引作业，并根据容器镜像粒度来创建多维度的血缘分析作业，然后将创建的镜像索引作业和血缘分析作业存储到作业服务器，通过作业服务器对存储的镜像索引作业和血缘分析作业进行分发。
10、根据本专利技术的基于大数据和云计算的容器镜像血缘智能分析系统的一实施例，所述索引层采用云计算模式，设有多个索引工作节点，通过不同的索引工作节点从作业编排层的作业服务器中拉取对应的镜像索引作业；其中，所述索引工作节点获取到镜像索引作业后，通过执行获取到的镜像索引作业生成对应本文档来自技高网...
【技术保护点】
1.一种基于大数据和云计算的容器镜像血缘智能分析系统，其特征在于，包括作业编排层、索引作业层、血缘作业层和应用层；其中，
2.根据权利要求1所述的基于大数据和云计算的容器镜像血缘智能分析系统，其特征在于，所述作业编排层设有多个作业服务器，分别用于存储创建的镜像索引作业和血缘分析作业；其中，所述作业编排层接收镜像分析任务请求后，基于接收镜像分析任务请求中的新容器镜像信息来创建对应的镜像索引作业，并根据容器镜像粒度来创建多维度的血缘分析作业，然后将创建的镜像索引作业和血缘分析作业存储到作业服务器，通过作业服务器对存储的镜像索引作业和血缘分析作业进行分发。
3.根据权利要求1所述的基于大数据和云计算的容器镜像血缘智能分析系统，其特征在于，所述索引层采用云计算模式，设有多个索引工作节点，通过不同的索引工作节点从作业编排层的作业服务器中拉取对应的镜像索引作业；其中，所述索引工作节点获取到镜像索引作业后，通过执行获取到的镜像索引作业生成对应的镜像索引信息，并将生成的镜像索引信息存储到索引数据库中。
4.根据权利要求3所述的基于大数据和云计算的容器镜像血缘智
5.根据权利要求4所述的基于大数据和云计算的容器镜像血缘智能分析系统，其特征在于，所述镜像索引信息包括镜像索引和反向索引、以及文件索引和反向索引，所述索引工作节点执行镜像索引和反向索引作业、以及文件索引和反向索引作业后，将生成的镜像索引和反向索引、以及文件索引和反向索引存储到索引大数据库中，通过索引大数据库向血缘作业层提供镜像索引信息参考。
6.根据权利要求1所述的基于大数据和云计算的容器镜像血缘智能分析系统，其特征在于，所述血缘作业层采用云计算模式，设有多个血缘工作节点，通过血缘工作节点从作业编排层的作业服务器中拉取血缘分析作业；其中，所述索引工作节点获取到血缘分析作业后，通过执行获取到的血缘分析作业生成对应的血缘分析数据，并将生成的血缘分析数据存储到血缘数据库中。
7.根据权利要求6所述的基于大数据和云计算的容器镜像血缘智能分析系统，其特征在于，所述血缘分析作业包括镜像血缘分析作业、镜像层血缘分析作业、文件血缘分析作业以及文件内容血缘分析作业；其中，所述作业编排层根据镜像、镜像层、文件、文件内容这四种容器镜像粒度来创建对应镜像血缘分析作业、镜像层血缘分析作业、文件血缘分析作业以及文件内容血缘分析作业，从而实现多维度交叉关联血缘分析。
8.根据权利要求7所述的基于大数据和云计算的容器镜像血缘智能分析系统，其特征在于，所述血缘分析数据包括镜像血缘信息、镜像层血缘信息、文件血缘信息以及文件内容血缘信息，所述血缘工作节点执行镜像血缘分析作业、镜像层血缘分析作业、文件血缘分析作业以及文件内容血缘分析作业后，将生成的镜像血缘信息、镜像层血缘信息、文件血缘信息以及文件内容血缘信息存储到血缘数据库中，通过血缘大数据库向应用层提供血缘分析数据参考。
9.根据权利要求1所述的基于大数据和云计算的容器镜像血缘智能分析系统，其特征在于，所述应用层采用多种应用分析方式来对血缘大数据库中的血缘分析数据进行分析和应用；其中，应用分析方式包括容器安全合规分析、开源漏洞扫描分析、自研缺陷溯源和影响分析、容器安全运营以及其他血缘分析数据应用。
10.一种存储有基于大数据和云计算的容器镜像血缘智能分析系统的计算机可读介质，其特征在于，所述计算机可读介质用于实现如权利要求1-9任一项所述的基于大数据和云计算的容器镜像血缘智能分析系统。
...【技术特征摘要】
1.一种基于大数据和云计算的容器镜像血缘智能分析系统，其特征在于，包括作业编排层、索引作业层、血缘作业层和应用层；其中，
2.根据权利要求1所述的基于大数据和云计算的容器镜像血缘智能分析系统，其特征在于，所述作业编排层设有多个作业服务器，分别用于存储创建的镜像索引作业和血缘分析作业；其中，所述作业编排层接收镜像分析任务请求后，基于接收镜像分析任务请求中的新容器镜像信息来创建对应的镜像索引作业，并根据容器镜像粒度来创建多维度的血缘分析作业，然后将创建的镜像索引作业和血缘分析作业存储到作业服务器，通过作业服务器对存储的镜像索引作业和血缘分析作业进行分发。
3.根据权利要求1所述的基于大数据和云计算的容器镜像血缘智能分析系统，其特征在于，所述索引层采用云计算模式，设有多个索引工作节点，通过不同的索引工作节点从作业编排层的作业服务器中拉取对应的镜像索引作业；其中，所述索引工作节点获取到镜像索引作业后，通过执行获取到的镜像索引作业生成对应的镜像索引信息，并将生成的镜像索引信息存储到索引数据库中。
4.根据权利要求3所述的基于大数据和云计算的容器镜像血缘智能分析系统，其特征在于，所述镜像索引作业包括镜像索引和反向索引作业、以及文件索引和反向索引作业，所述作业编排层判断接收镜像分析任务请求中存在新的容器镜像时，则根据新容器镜像信息来创建镜像索引和反向索引作业、以及文件索引和反向索引作业。
5.根据权利要求4所述的基于大数据和云计算的容器镜像血缘智能分析系统，其特征在于，所述镜像索引信息包括镜像索引和反向索引、以及文件索引和反向索引，所述索引工作节点执行镜像索引和反向索引作业、以及文件索引和反向索引作业后，将生成的镜像索引和反向索引、以及文件索引和反向索引存储到索引大数据库中，通过索引大数据库向血缘作业层提供镜像索引信息参考。
6.根据权利要求1所...
【专利技术属性】
技术研发人员：张千里，刘智勇，应大卫，
申请(专利权)人：上海金融期货信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。