基于数据分片的知识库部署方法、装置、电子设备及介质制造方法及图纸

本发明专利技术涉及数据分片领域，揭露一种基于数据分片的知识库部署方法、装置、电子设备以及介质，所述方法包括：获取知识库，查询所述知识库的知识数据与知识结构，构建所述知识结构的结构文件；对所述知识数据进行数据分片，得到分片知识，对所述分片知识进行周期存储，得到周期存储知识，根据所述周期存储知识，构建所述知识数据的升级校验文件；利用所述结构文件在预构建的用户私有服务中进行结构部署，得到结构部署服务，利用所述升级校验文件在所述结构部署服务中对所述知识数据进行部署升级，得到所述知识库的部署结果。本发明专利技术可以提升知识库部署效率。库部署效率。库部署效率。

【技术实现步骤摘要】
基于数据分片的知识库部署方法、装置、电子设备及介质


[0001]本专利技术涉及数据分片领域，尤其涉及一种基于数据分片的知识库部署方法、装置、电子设备及介质。

技术介绍

[0002]基于数据分片的知识库部署是指将知识库中的数据分片之后在服务器的不同位置部署的过程。
[0003]目前，开源检测工具私有化部署时，现有的知识库部署是将整个知识库数据整体打包到用户服务器进行部署，这样的方式存在整个包数据特别大、部署慢的问题，而且用户往往只需要知识库中的一个或者部分开发语言组件、组件下关联的漏洞、组件下关联的许可数据(以下以开发语言数据代替)，而不需要全量的开发语言数据。因此，由于将整个知识库数据整体打包到用户服务器进行部署，导致知识库部署的效率较低。

技术实现思路

[0004]为了解决上述问题，本专利技术提供了一种基于数据分片的知识库部署方法、装置、电子设备及介质，其主要目的在于对用户筛选所需要的开发语言数据的知识库进行部署，提升知识库部署效率。
[0005]为实现上述目的，本专利技术提供了一种基于数据分片的知识库部署方法，包括：获取知识库，查询所述知识库的知识数据与知识结构，构建所述知识结构的结构文件；对所述知识数据进行数据分片，得到分片知识，对所述分片知识进行周期存储，得到周期存储知识，根据所述周期存储知识，构建所述知识数据的升级校验文件；利用所述结构文件在预构建的用户私有服务中进行结构部署，得到结构部署服务，利用所述升级校验文件在所述结构部署服务中对所述知识数据进行部署升级，得到所述知识库的部署结果。
[0006]为了解决上述问题，本专利技术提供了一种基于数据分片的知识库部署装置，所述装置包括：结构构建模块，用于获取知识库，查询所述知识库的知识数据与知识结构，构建所述知识结构的结构文件；校验构建模块，用于对所述知识数据进行数据分片，得到分片知识，对所述分片知识进行周期存储，得到周期存储知识，根据所述周期存储知识，构建所述知识数据的升级校验文件；数据升级模块，用于利用所述结构文件在预构建的用户私有服务中进行结构部署，得到结构部署服务，利用所述升级校验文件在所述结构部署服务中对所述知识数据进行部署升级，得到所述知识库的部署结果。
[0007]为了解决上述问题，本专利技术提供一种电子设备，包括：
[0008]至少一个处理器；以及与所述至少一个处理器通信连接的存储器；
[0009]其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，以使所述至少一个处理器能够执行如上述第一方面中任意一项所述的基于数据分片的知识库部署方法。
[0010]为了解决上述问题，本专利技术提供一种计算机可读存储介质，存储有计算机程序，所
述计算机程序被处理器执行时实现如上述第一方面中任意一项所述的基于数据分片的知识库部署方法。
[0011]与现有技术相比，本方案的技术原理及有益效果在于：
[0012]本专利技术实施例首先通过获取知识库，以用于将知识库中的数据进行分片存储，进一步地，本专利技术实施例通过查询所述知识库的知识数据与知识结构，以用于在后续部署分片的知识库时，可以通过预先确定好的结构快速部署数据，进一步地，本专利技术实施例通过构建所述知识结构的结构文件，以用于在后续将分片的知识库部署时可以根据未分片之前的知识库的结构来有序部署，一方面将知识库分批次部署，便于管控，另一方面提升部署速度，进一步地，本专利技术实施例通过对所述知识数据进行数据分片，以用于将知识库分批次、分开发语言进行部署，便于管控，且知识库的开发语言数据可控，减少服务器成本，进一步地，本专利技术实施例通过对所述分片知识进行周期存储，以用于分时段将所述分片知识进行存储，降低了一次性存储内容过多的压力，进一步地，本专利技术实施例通过根据所述周期存储知识，构建所述知识数据的升级校验文件，以用于利用所述升级校验文件记录周期内打包的所有信息，保障后续对已经打包好的数据升级时，可以按照所述升级校验文件中所记录的打包信息及其打包的周期时间对数据包进行顺序升级，进一步地，本专利技术实施例通过利用所述结构文件在预构建的用户私有服务中进行结构部署，以用于为后续的知识库数据在用户私有服务中的部署做准备，进一步地，本专利技术实施例通过利用所述升级校验文件在所述结构部署服务中对所述知识数据进行部署升级，以用于在部署好结构的前提下将知识库的数据部署在用户私有服务中，并升级成最新版本，保障用户获取数据包时会自动获取离当前时间最近的数据包。因此，本专利技术实施例提出的一种基于数据分片的知识库部署方法、装置、电子设备及介质，可以对用户筛选所需要的开发语言数据的知识库进行部署，提升知识库部署效率。
附图说明
[0013]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。
[0014]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0015]图1为本专利技术一实施例提供的一种基于数据分片的知识库部署方法的流程示意图；
[0016]图2为本专利技术一实施例中图1提供的一种基于数据分片的知识库部署方法中所述升级校验文件的存储内容示意图；
[0017]图3为本专利技术一实施例提供的一种基于数据分片的知识库部署装置的模块示意图；
[0018]图4为本专利技术一实施例提供的实现基于数据分片的知识库部署方法的电子设备的内部结构示意图。
具体实施方式
[0019]应当理解，此处所描述的具体实施方式仅仅用以解释本专利技术，并不用于限定本专利技术。
[0020]本专利技术实施例提供一种基于数据分片的知识库部署方法，基于数据分片的知识库部署方法的执行主体包括但不限于服务端、终端等能够被配置为执行本专利技术实施例提供的该方法的电子设备中的至少一种。换言之，基于数据分片的知识库部署方法可以由安装在终端设备或服务端设备的软件或硬件来执行，软件可以是区块链平台。服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
[0021]参阅图1所示，是本专利技术一实施例提供的基于数据分片的知识库部署方法的流程示意图。其中，图1中描述的基于数据分片的知识库部署方法包括：
[0022]S1、获取知识库，查询知识库的知识数据与知识结构，构建知识结构的结构文件。
[0023]本专利技术实施例通过获取知识库，以用于将知识库中的数据进行分片存储。其中，知识库是指用于知识管理的一种特殊的数据库，一般采用概念—事实—规则的知识表示体系，概念给出了知识最基本的内容，它处在知识的最底层；事实由概念组成，它本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据分片的知识库部署方法，其特征在于，所述方法包括：获取知识库，查询所述知识库的知识数据与知识结构，构建所述知识结构的结构文件；对所述知识数据进行数据分片，得到分片知识，对所述分片知识进行周期存储，得到周期存储知识，根据所述周期存储知识，构建所述知识数据的升级校验文件；利用所述结构文件在预构建的用户私有服务中进行结构部署，得到结构部署服务，利用所述升级校验文件在所述结构部署服务中对所述知识数据进行部署升级，得到所述知识库的部署结果。2.根据权利要求1所述的方法，其特征在于，所述查询所述知识库的知识数据与知识结构，包括：在所述知识库中获取知识，并将所述知识作为所述知识数据；查询所述知识数据中数据之间的数据关联及所述知识数据的存储位置；根据所述数据关联与所述存储位置，确定所述知识库的知识结构。3.根据权利要求1所述的方法，其特征在于，所述构建所述知识结构的结构文件，包括：在预构建的初始文件中确定所述知识结构的描述方法；利用所述描述方法构建所述知识结构的结构文件。4.根据权利要求1所述的方法，其特征在于，所述对所述知识数据进行数据分片，得到分片知识，包括：识别所述知识数据的水平特征；基于所述水平特征，确定所述知识数据的分片规则；基于所述分片规则，对所述知识数据进行水平分片，得到所述分片知识。5.根据权利要求1所述的方法，其特征在于，所述对所述分片知识进行周期存储，得到周期存储知识，包括：基于所述分片知识的分片类型，构建所述分片知识的周期存储分包；确定所述分片知识的存储周期；根据所述存储周期，利用所述周期存储分包对所述分片知识进行周期存储，得到周期存储知识。6.根据权利要求1所述的方法，其特征在于，所述根据所述周期存储知识，构建所述知识数据的升级校验文件，包括：查询所述周期存储知识的分包哈希值、类型信息与版本信息；根据所述分...

【专利技术属性】
技术研发人员：万振华，
申请(专利权)人：深圳开源互联网安全技术有限公司，
类型：发明
国别省市：