本发明专利技术涉及数据分析技术，揭露了一种基于数据指标的数据质量评估方法，包括：利用分段符将获取的待评估数据分段为分段数据段，提取每个分段数据段的关键语义；根据关键语义对分段数据段进行数据相关段落合并，得到合并数据段；提取每一个合并数据段的关键词，利用关键词确定每一个合并数据段的数据领域；利用数据领域获取数据指标，计算每一个数据指标的指标数值；利用预设的权重算法根据每个合并数据段的占比和指标数值计算待评估数据的数据质量评分。此外，本发明专利技术还涉及区块链技术，产品画像及用户画像可存储于区块链的节点。本发明专利技术还提出一种基于数据指标的数据质量评估装置、设备及介质。本发明专利技术可以提高数据质量评估的精确度。度。度。
【技术实现步骤摘要】
基于数据指标的数据质量评估方法、装置、设备及介质
[0001]本专利技术涉及数据分析
，尤其涉及一种基于数据指标的数据质量评估方法、装置、电子设备及计算机可读存储介质。
技术介绍
[0002]随着数据呈爆发式地增长，多数传统企业也开始走上了数字化转型的道路。在企业数字化转型过程产生的数据中蕴藏的商业价值也逐渐被人们挖掘出来，数据已被作为产生业务价值和实现业务目标的基石，因此，数据的质量，成为了人们关注的重点。
[0003]现有的对于数据质量进行评估的方法多为基于固定的规则对数据的质量进行评估，但由于数据中，往往存在着多个不同来源或不同领域的数据，而不同的数据的质量评价标准往往不一致，因此，该方法利用固定的规则对数据的质量进行评估，会导致数据质量评估的精确度较低。
技术实现思路
[0004]本专利技术提供一种基于数据指标的数据质量评估方法、装置及计算机可读存储介质，其主要目的在于解决进行数据质量评估的精确度较低的问题。
[0005]为实现上述目的，本专利技术提供的一种基于数据指标的数据质量评估方法，包括：
[0006]获取待评估数据，按照预设的分段符对所述待评估数据进行分段处理，得到分段数据段，提取每个所述分段数据段的关键语义；
[0007]根据所述关键语义对所述分段数据段进行数据相关段落合并，得到合并数据段；
[0008]提取每一个所述合并数据段的关键词，利用所述关键词确定每一个所述合并数据段的数据领域；
[0009]利用所述数据领域在预设指标列表中检索得到每一个所述合并数据段对应的数据指标，计算每一个所述合并数据段对应的数据指标的指标数值；
[0010]统计所述合并数据段中每个数据段在所述待评估数据中的占比，利用预设的权重算法，根据所述占比及所述指标数值，计算所述待评估数据的数据质量评分。
[0011]可选地，所述提取每个所述分段数据段的关键语义，包括：
[0012]逐个从所述分段数据段中选取其中一个分段数据段作为目标分段数据段，对所述目标分段数据段进行分词处理，得到数据分词；
[0013]对所述数据分词进行向量转换，得到分词向量；
[0014]构建所述分词向量的向量子集集合，利用预先构建的语义分析模型对所述向量子集集合进行特征提取，得到特征子集；
[0015]利用预设的激活函数计算所述特征子集中的每个特征向量的输出值，选取所述输出值大于预设输出阈值的特征向量为所述目标分段数据段的关键语义。
[0016]可选地，所述根据所述关键语义对所述分段数据段进行数据相关段落合并，得到合并数据段，包括：
[0017]分别计算所述关键语义中每个语义之间的相似度；
[0018]将所述相似度大于预设相似度阈值的关键语义对应的分段数据段进行合并，得到合并数据段。
[0019]可选地，所述提取每一个所述合并数据段的关键词，包括：
[0020]从所述合并数据段中选取其中一个合并数据段作为目标合并数据段，并从所述目标合并数据段的数据分词中选取其中一个目标分词；
[0021]统计所述目标分词在所述目标合并数据段中出现的第一频率，以及统计所述目标分词在所有所述合并数据段中出现的第二频率；
[0022]利用所述第一频率与所述第二频率计算所述目标分词的关键值，并返回从所述目标合并数据段的数据分词中选取其中一个目标分词的步骤，直至计算得出所述目标合并数据段中所有目标分词的关键值；
[0023]选取所述关键值大于预设关键值的目标分词为所述目标合并数据段的关键词，并返回从所述合并数据段中选取其中一个合并数据段作为目标合并数据段的步骤，直至获取所述合并数据段中所有数据段的关键词。
[0024]可选地，所述利用所述关键词确定每一个所述合并数据段的数据领域，包括：
[0025]将所述合并数据段中的关键词进行向量转换，得到关键词向量；
[0026]计算所述关键词向量与预设的标准数据领域之间的匹配值；
[0027]选取所述匹配值大于预设的匹配阈值的标准数据领域为所述关键词对应的合并数据段的数据领域。
[0028]可选地，所述利用所述数据领域在预设指标列表中检索得到每一个所述合并数据段对应的数据指标，包括：
[0029]构建预设指标列表的索引；
[0030]根据所述数据领域和所述索引在所述预设指标列表中进行检索，得到与所述数据领域对应的数据指标。
[0031]可选地，所述计算每一个所述合并数据段对应的数据指标的指标数值之后，所述方法还包括：
[0032]从所述合并数据段的数据指标中，选取指标数值不在预设的阈值区间内的数据指标；
[0033]将被选取的所述数据指标对应的合并数据段汇集为数据段集；
[0034]利用所述数据段集向预设用户进行数据质量定位预警。
[0035]为了解决上述问题，本专利技术还提供一种基于数据指标的数据质量评估装置，所述装置包括：
[0036]语义提取模块，用于获取待评估数据，按照预设的分段符对所述待评估数据进行分段处理，得到分段数据段，提取每个所述分段数据段的关键语义；
[0037]段落合并模块，用于根据所述关键语义对所述分段数据段进行数据相关段落合并，得到合并数据段；
[0038]数据领域确定模块，用于提取每一个所述合并数据段的关键词，利用所述关键词确定每一个所述合并数据段的数据领域；
[0039]指标计算模块，用于利用所述数据领域在预设指标列表中检索得到每一个所述合
并数据段对应的数据指标，计算每一个所述合并数据段对应的数据指标的指标数值；
[0040]质量评估模块，用于统计所述合并数据段中每个数据段在所述待评估数据中的占比，利用预设的权重算法，根据所述占比及所述指标数值计算所述待评估数据的数据质量评分。
[0041]为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：
[0042]存储器，存储至少一个指令；及
[0043]处理器，执行所述存储器中存储的指令以实现上述所述的基于数据指标的数据质量评估方法。
[0044]为了解决上述问题，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的基于数据指标的数据质量评估方法。
[0045]本专利技术实施例将待评估数据按照不同的数据领域进行划分，并根据待评估数据中每个部分数据的数据领域针对性的选取数据指标，利用数据指标对该部分数据进行评估，并利用每一部分数据的评估结果进行权重计算，得到待评估数据的数据质量评分，避免了利用统一的规则对所有的数据进行评估，提高了数据指标与数据的匹配性，进而提高了数据质量评估的精确性。因此本专利技术提出的基于数据指标的数据质量评估方法、装置、电子设备及计算机可读存储介质，可以解决进行产品推荐时的精确度较低的问题。
附图说明
[0046]图1为本专利技术一实施例提供本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于数据指标的数据质量评估方法，其特征在于，所述方法包括：获取待评估数据，按照预设的分段符对所述待评估数据进行分段处理，得到分段数据段，提取每个所述分段数据段的关键语义；根据所述关键语义对所述分段数据段进行数据相关段落合并，得到合并数据段；提取每一个所述合并数据段的关键词，利用所述关键词确定每一个所述合并数据段的数据领域；利用所述数据领域在预设指标列表中检索得到每一个所述合并数据段对应的数据指标，计算每一个所述合并数据段对应的数据指标的指标数值；统计所述合并数据段中每个数据段在所述待评估数据中的占比，利用预设的权重算法，根据所述占比及所述指标数值，计算所述待评估数据的数据质量评分。2.如权利要求1所述的基于数据指标的数据质量评估方法，其特征在于，所述提取每个所述分段数据段的关键语义，包括：逐个从所述分段数据段中选取其中一个分段数据段作为目标分段数据段，对所述目标分段数据段进行分词处理，得到数据分词；对所述数据分词进行向量转换，得到分词向量；构建所述分词向量的向量子集集合，利用预先构建的语义分析模型对所述向量子集集合进行特征提取，得到特征子集；利用预设的激活函数计算所述特征子集中的每个特征向量的输出值，选取所述输出值大于预设输出阈值的特征向量为所述目标分段数据段的关键语义。3.如权利要求1所述的基于数据指标的数据质量评估方法，其特征在于，所述根据所述关键语义对所述分段数据段进行数据相关段落合并，得到合并数据段，包括：分别计算所述关键语义中每个语义之间的相似度；将所述相似度大于预设相似度阈值的关键语义对应的分段数据段进行合并，得到合并数据段。4.如权利要求1所述的基于数据指标的数据质量评估方法，其特征在于，所述提取每一个所述合并数据段的关键词，包括：从所述合并数据段中选取其中一个合并数据段作为目标合并数据段，并从所述目标合并数据段的数据分词中选取其中一个目标分词；统计所述目标分词在所述目标合并数据段中出现的第一频率，以及统计所述目标分词在所有所述合并数据段中出现的第二频率；利用所述第一频率与所述第二频率计算所述目标分词的关键值，并返回从所述目标合并数据段的数据分词中选取其中一个目标分词的步骤，直至计算得出所述目标合并数据段中所有目标分词的关键值；选取所述关键值大于预设关键值的目标分词为所述目标合并数据段的关键词，并返回从所述合并数据段中选取其中一个合并数据段作为目标合并数据段的步骤，直至获取所述合并数据段中所有数据段的关键词。5.如权利要...
【专利技术属性】
技术研发人员：陈丹丽，
申请(专利权)人：平安信托有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。