本申请的实施例揭示了特征数据库构建方法及装置、设备、存储介质。该方法包括：通过部署在不同数据域的数据抽取分片节点对各域数据进行抽取分片，获得各域数据对应的数据分片；将所述各域数据对应的数据分片交叉传输至部署在不同数据域的特征计算节点；通过所述特征计算节点对接收到的数据分片进行特征计算，获得对应的分片数据特征，以根据所述分片数据特征构建数据特征库，根据不同数据域中的数据状态信息和所述特征计算节点的节点状态信息对所述数据抽取分片节点进行分片调度。本申请的实施例以小数据分片替代大数据的汇聚传输和特征计算，实现了分散数据的数据特征库构建。建。建。
【技术实现步骤摘要】
特征数据库构建方法及装置、设备、存储介质
[0001]本申请涉及数据安全
，具体涉及一种特征数据库构建方法及装置、设备、计算机可读存储介质。
技术介绍
[0002]对数据资产进行识别是数据安全管理的首要步骤，构建数据特征库则是数据识别的基础。
[0003]传统的数据特征库构建方式可分为单独式和集中式。单独式为通过各数据资产单独对各自数据进行特征提取计算和汇总形成数据特征库，集中式为各域的数据汇聚在一处进行特征特区计算形成数据特征库。单独式由于数据资产分散所限无法协同进行特征计算，在特征库中存在特征重复多和唯一性不足等问题。集中式由于需汇聚的数据量庞大，在数据传输、存储、算力开销等方面存在巨大的挑战。
[0004]因此，如何寻找更加简便的数据特征库构建方式是本领域技术人员亟待解决的技术问题。
技术实现思路
[0005]为解决上述技术问题，本申请的实施例分别提供了一种特征数据库构建方法、装置、设备和计算机可读存储介质。
[0006]根据本申请实施例的一个方面，提供了一种特征数据库构建方法，包括：通过部署在不同数据域的数据抽取分片节点对各域数据进行抽取分片，获得各域数据对应的数据分片；将所述各域数据对应的数据分片交叉传输至部署在不同数据域的特征计算节点；通过所述特征计算节点对接收到的数据分片进行特征计算，获得对应的分片数据特征，以根据所述分片数据特征构建数据特征库；根据不同数据域中的数据状态信息和所述特征计算节点的节点状态信息对所述数据抽取分片节点进行分片调度。
[0007]在另一示例性的实施例中，所述根据不同数据域中的数据状态信息和所述特征计算节点的节点状态信息对所述数据抽取分片节点进行分片调度，包括：采集不同数据域中的数据状态信息和所述特征计算节点的节点状态信息；根据所述数据状态信息和所述节点状态信息计算分片调度指标；根据所述分片调度指标对所述数据抽取分片节点针对各域数据进行抽取分片的过程进行动态调整。
[0008]在另一示例性的实施例中，所述根据所述数据状态信息和所述节点状态信息计算分片调度指标，包括：根据所述数据状态信息和所述节点状态信息确定各数据域部署的特征计算节点的负荷因子、各域数据在不同数据类型下的数据类型权重因子和数据关键性权重因子；根据所述负荷因子、所述数据类型权重因子和所述数据关键性权重因子计算所述分片调度指标。
[0009]在另一示例性的实施例中，所述根据所述负荷因子、所述数据类型权重因子和所述数据关键性权重因子计算所述分片调度指标，包括：计算各数据域对应的子调度指标，其
中，所述子调度指标为各数据域对应的负荷因子与数据类型因子之积，所述数据类型因子为不同数据类型对应的数据类型权重因子和数据关键性权重因子之积的和值；计算所述各数据域对应的子调度指标之和，以得到所述分片调度指标。
[0010]在另一示例性的实施例中，所述根据所述分片调度指标对所述数据抽取分片节点针对各域数据进行抽取分片的过程进行动态调整，包括：根据所述分片调度指标的数值确定对应的调度等级；根据确定出的调度等级向各数据域部署的数据抽取分片节点发送指示收缩数据分片的请求或者指示扩展数据分片的请求，以对各域数据进行抽取分片的过程进行动态调整。
[0011]在另一示例性的实施例中，所述通过部署在不同数据域的数据抽取分片节点对各域数据进行抽取分片，获得各域数据对应的数据分片，包括：通过所述数据抽取分片节点抽取各自所在数据域中的原始数据；在所述数据抽取分片节点中根据所述特征计算节点的数量对所述原始数据进行分片，以获得与所述特征计算节点的数量相应的数据分片。
[0012]在另一示例性的实施例中，所述通过所述数据抽取分片节点抽取各自所在数据域中的原始数据，包括：通过所述数据抽取分片节点扫描并获取对应数据域的指定存储区域中的原始数据；或者，获取由对应数据域推送到所述数据抽取分片节点的指定存储位置的原始数据。
[0013]根据本申请实施例的一个方面，提供了一种特征数据库构建装置，包括：抽取分片模块，配置为通过部署在不同数据域的数据抽取分片节点对各域数据进行抽取分片，获得各域数据对应的数据分片；分片传输模块，配置为将所述各域数据对应的数据分片交叉传输至部署在不同数据域的特征计算节点；特征计算模块，配置为通过所述特征计算节点对接收到的数据分片进行特征计算，获得对应的分片数据特征，以根据所述分片数据特征构建数据特征库。
[0014]根据本申请实施例的一个方面，提供了一种特征数据库构建设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述特征数据库构建设备实现如前所述的特征数据库构建方法。
[0015]根据本申请实施例的一个方面，提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行如上所述的特征数据库构建方法。
[0016]根据本申请实施例的一个方面，还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上所述的特征数据库构建方法。
[0017]在本申请的实施例所提供的技术方案中，一方面，通过在不同数据域部署数据抽取分片节点和特征计算节点，由数据抽取分片节点对各域数据进行抽取分片，并将各域数据对应的数据分片交叉传输至部署各特征计算节点进行特征计算，以小数据分片替代大数据的汇聚传输和特征计算，实现了分散数据的数据特征库构建，能够同时避免传统单独式和集中式所存在的问题，从而得到更加简便的数据特征库构建方式；另一方面，还根据不同数据域中的数据状态信息和特征计算节点的节点状态信息对数据抽取分片节点进行分片调度，能够提升数据特征库构建过程的整体性能。
[0018]应理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0019]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0020]图1是本申请的一示例性实施环境示出的数据特征库构建系统的结构示意图；
[0021]图2是在图1所示实施例的基础上提出的另一数据特征库构建系统的结构示意图；
[0022]图3是本申请的一示例性实施例示出的数据特征库构建方法的流程图；
[0023]图4是在图3所示实施例的基础上提出的另一数据特征库构建方法的流程图；
[0024]图5是本申请的一示例性实施例示出的一种数据特征库构建装置的框图；
[0025]图6示出了适于用来实现本申请实施例的特征数据库构建设备的计算机系统的结构示意图。
具体实施方式
[0026]这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据特征库构建方法，其特征在于，包括：通过部署在不同数据域的数据抽取分片节点对各域数据进行抽取分片，获得各域数据对应的数据分片；将所述各域数据对应的数据分片交叉传输至部署在不同数据域的特征计算节点；通过所述特征计算节点对接收到的数据分片进行特征计算，获得对应的分片数据特征，以根据所述分片数据特征构建数据特征库；根据不同数据域中的数据状态信息和所述特征计算节点的节点状态信息对所述数据抽取分片节点进行分片调度。2.根据权利要求1所述的方法，其特征在于，所述根据不同数据域中的数据状态信息和所述特征计算节点的节点状态信息对所述数据抽取分片节点进行分片调度，包括：采集不同数据域中的数据状态信息和所述特征计算节点的节点状态信息；根据所述数据状态信息和所述节点状态信息计算分片调度指标；根据所述分片调度指标对所述数据抽取分片节点针对各域数据进行抽取分片的过程进行动态调整。3.根据权利要求2所述的方法，其特征在于，所述根据所述数据状态信息和所述节点状态信息计算分片调度指标，包括：根据所述数据状态信息和所述节点状态信息确定各数据域部署的特征计算节点的负荷因子、各域数据在不同数据类型下的数据类型权重因子和数据关键性权重因子；根据所述负荷因子、所述数据类型权重因子和所述数据关键性权重因子计算所述分片调度指标。4.根据权利要求3所述的方法，其特征在于，所述根据所述负荷因子、所述数据类型权重因子和所述数据关键性权重因子计算所述分片调度指标，包括：计算各数据域对应的子调度指标，其中，所述子调度指标为各数据域对应的负荷因子与数据类型因子之积，所述数据类型因子为不同数据类型对应的数据类型权重因子和数据关键性权重因子之积的和值；计算所述各数据域对应的子调度指标之和，以得到所述分片调度指标。5.根据权利要求2所述的方法，其特征在于，所述根据所述分片调度指标对所述数据抽取分片节点针对各域数据进行抽取分片的过程进行动态调整，包括：根据所述分片调度指标的数值确定对应...
【专利技术属性】
技术研发人员：杨迪，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。