数据去重查询方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种数据去重查询方法、装置、设备及存储介质，通过获取基于维度过滤条件查询到的多版本数据集，向第一预设数据结构添加与版本数据对应的短编码组合值，短编码组合值基于版本数据的多个数据维度编码得到，将成功添加至第一预设数据结构的短编码组合值对应的目标版本数据进行展示。本申请在计算机中，利用第一预设数据结构中存放的短编码组合值不重复的特点，对具有相同数据维度的多个版本数据进行去重，从而直接筛选出相同数据维度下的一个版本数据，实现多版本数据集的高效去重查询，提高去重查询效率。提高去重查询效率。提高去重查询效率。

【技术实现步骤摘要】
数据去重查询方法、装置、设备及存储介质


[0001]本申请涉及数据处理
，尤其涉及一种数据去重查询方法、装置、设备及存储介质。

技术介绍

[0002]对于多版本数据查询，当用户希望仅展示最新版本数据时，需要对查询到的多个数据版本进行去重。目前，多版本数据查询方式主要在数据库中对按版本号排列后的多版本数据，以维度组合值进行分组去重。但是当维度字段较多时，数据库将因维度组合值分组去重耗时过长而使得数据展示超时。可见当前数据去重查询方式的去重查询效率非常低。

技术实现思路

[0003]本申请提供了一种数据去重查询方法、装置、设备及存储介质，以解决当前数据去重查询方法存在效率低的技术问题。
[0004]为了解决上述技术问题，第一方面，本申请提供了一种数据去重查询方法，包括：
[0005]获取基于维度过滤条件查询到的多版本数据集，多版本数据集包括具有排列顺序的多个版本数据；
[0006]基于所述排列顺序，向第一预设数据结构添加与版本数据对应的短编码组合值，短编码组合值基于版本数据的多个数据维度编码得到，第一预设数据结构中存放的短编码组合值不重复；
[0007]展示目标版本数据，目标版本数据为成功添加至第一预设数据结构的短编码组合值对应的版本数据。
[0008]本申请通过获取基于维度过滤条件查询到的多版本数据集，以得到待去重的多个版本数据；再按照版本数据的排列顺序，向第一预设数据结构添加与版本数据对应的短编码组合值，短编码组合值基于版本数据的多个数据维度编码得到，以利用第一预设数据结构中存放的短编码组合值不重复的特点，对具有相同数据维度的多个版本数据进行去重，从而直接筛选出相同数据维度下的一个版本数据，实现多版本数据集的高效去重查询，提高去重查询效率；最后展示目标版本数据，以将成功添加至第一预设数据结构的短编码组合值对应的目标版本数据进行展示，提高展示效率。同时，本申请去重逻辑不依赖数据库，可以从数据库取数(获取多版本数据集)，而无需在数据库预设字典表，减少预置操作，再在计算机中对多版本数据集进行去重，减少因数据库层去重查询耗时而导致的效率低问题，以及本申请以短编码组合值结合第一预设数据结构的方式，极大程度上减少了计算机内存空间的占用。
[0009]在第一方面的一些实现方式中，基于排列顺序，向第一预设数据结构添加与版本数据对应的短编码组合值，包括：
[0010]对于每个版本数据的短编码组合值，按照排列顺序，依次在第一预设数据结构中对短编码组合值进行匹配，以确定短编码组合值在第一预设数据结构中的不重复性，其中
下一次用于添加短编码组合值的第一预设数据结构为上一次得到的最新的第一预设数据结构；
[0011]若短编码组合值在第一预设数据结构中不重复，则在第一预设数据结构中存放短编码组合值，并判定短编码组合值成功添加至第一预设数据结构。
[0012]本实现方式利用第一预设数据结构所添加的数据不重复的特点，在第一预设数据结构仅存放不重复的短编码组合值，从而以一个第一预设数据结构，实现所有版本数据的去重，降低去重逻辑的复杂度，提高去重效率。
[0013]在第一方面的一些实现方式中，对于每个短编码组合值，按照排列顺序，依次在第一预设数据结构中对短编码组合值进行匹配，以确定短编码组合值在第一预设数据结构中的不重复性，包括：
[0014]对于每个版本数据的短编码组合值，依次将短编码组合值添加至第一预设数据结构中，以确定短编码组合值与第一预设数据结构中已存放的目标短编码组合值是否相同；
[0015]若短编码组合值与目标短编码组合值不相同，则判定短编码组合值在第一预设数据结构中不重复。
[0016]本实现方式利用第一预设数据结构所添加的数据不重复的特点，以第一预设数据结构自动实现短编码组合值是否相同的判断，而无需额外的判断逻辑，进一步提高去重效率。
[0017]在第一方面的一些实现方式中，对于每个版本数据的短编码组合值，按照排列顺序，依次在第一预设数据结构中对短编码组合值进行匹配，以确定短编码组合值在第一预设数据结构中的不重复性之前，还包括：
[0018]遍历版本数据集中的每个版本数据，获取版本数据的多个数据维度对应的成员组合值，其中成员组合值为多个成员值组合得到，一个版本数据的每个数据维度均对应有一个成员值；
[0019]基于预设编码策略，将成员组合值编码为短编码组合值，预设编码策略包括多个成员值与多个短编码之间的映射关系。
[0020]本实现方式以成员值与短编码之间的映射关系，实现版本数据的编码，而可以无需额外对每个版本数据预先设置短编码组合值，能够有效针对各种各样的实时数据，避免因版本数据未预先编码而无法去重，提高去重查询的稳定性。
[0021]在第一方面的一些实现方式中，方法还包括：
[0022]若版本数据的数据维度和成员组合值中的至少一种发生变更，对预设编码策略进行更新。
[0023]本实现方式对预设编码策略进行更新，以能够满足不同去重查询场景的需求。
[0024]在第一方面的一些实现方式中，展示目标版本数据，包括：
[0025]将目标版本数据集中所有版本数据的数据标识信息添加至第二预设数据结构，目标版本数据集为成功添加至第一预设数据结构的所有短编码组合值对应的版本数据集合；
[0026]基于第二预设数据结构，展示目标版本数据。
[0027]本实现方式通过生成第二预设数据结构，以将当前技术从数据库进行条件查询转换为第二预设数据结构基于数据标识信息的主键查询，从而有效提高查询效率。
[0028]在第一方面的一些实现方式中，基于第二预设数据结构，展示目标版本数据，包
括：
[0029]基于所述第二预设数据结构中的目标数据标识信息，生成数据查询指令；
[0030]根据所述数据查询指令，查询与所述目标数据标识信息对应的目标版本数据，并展示所述目标版本数据。本实现方式以目标数据标识信息在第二预设数据结构中进行主键查询，以满足用户需要更有针对性地查询目标版本数据的需求。
[0031]在第一方面的一些实现方式中，获取基于维度过滤条件查询到的多版本数据集，包括：
[0032]获取基于维度过滤条件查询到的多个版本数据；
[0033]以版本号顺序，对多个版本数据进行排序，生成多版本数据集。
[0034]本实现方式以版本号对版本数据进行排序，以能够向第一预设数据结构添加短编码组合值时，保证目标版本号(例如最新版本号)对应的版本数据最先添加至第一预设数据结构，从而筛选出目标版本号的版本数据。
[0035]第二方面，本申请还提供一种数据去重查询装置，包括：
[0036]获取模块，用于获取基于维度过滤条件查询到的多版本数据集，多版本数据集包括具有排列顺序的多个版本数据；
[0037]添加模块，用于基于排列顺序，向第一预设数据结构添加与版本数据对应的短编码组合值，短编码组合值基于版本数据的多个数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据去重查询方法，其特征在于，包括：获取基于维度过滤条件查询到的多版本数据集，所述多版本数据集包括具有排列顺序的多个版本数据；基于所述排列顺序，向第一预设数据结构添加与所述版本数据对应的短编码组合值，所述短编码组合值基于所述版本数据的多个数据维度编码得到，所述第一预设数据结构中存放的短编码组合值不重复；展示目标版本数据，所述目标版本数据为成功添加至所述第一预设数据结构的短编码组合值对应的版本数据。2.如权利要求1所述的数据去重查询方法，其特征在于，所述基于所述排列顺序，向第一预设数据结构添加与所述版本数据对应的短编码组合值，包括：对于每个所述版本数据的短编码组合值，按照所述排列顺序，依次在所述第一预设数据结构中对所述短编码组合值进行匹配，以确定所述短编码组合值在所述第一预设数据结构中的不重复性，其中下一次用于添加短编码组合值的第一预设数据结构为上一次得到的最新的第一预设数据结构；若所述短编码组合值在所述第一预设数据结构中不重复，则在所述第一预设数据结构中存放所述短编码组合值，并判定所述短编码组合值成功添加至所述第一预设数据结构。3.如权利要求2所述的数据去重查询方法，其特征在于，所述对于每个所述短编码组合值，按照所述排列顺序，依次在所述第一预设数据结构中对所述短编码组合值进行匹配，以确定所述短编码组合值在所述第一预设数据结构中的不重复性，包括：对于每个所述版本数据的短编码组合值，依次将所述短编码组合值添加至所述第一预设数据结构中，以确定所述短编码组合值与所述第一预设数据结构中已存放的目标短编码组合值是否相同；若所述短编码组合值与所述目标短编码组合值不相同，则判定所述短编码组合值在所述第一预设数据结构中不重复。4.如权利要求2所述的数据去重查询方法，其特征在于，所述对于每个所述版本数据的短编码组合值，按照所述排列顺序，依次在所述第一预设数据结构中对所述短编码组合值进行匹配，以确定所述短编码组合值在所述第一预设数据结构中的不重复性之前，还包括：遍历所述版本数据集中的每个所述版本数据，获取所述版本数据的多个数据维度对应的成员组合值，其中所述成员组合值为多个成员值组合得到，一个所述版本数据的每个所述数据维度均对...

【专利技术属性】
技术研发人员：吴华瑜，高巍峰，李诚华，汪志，林文涛，
申请(专利权)人：金蝶软件中国有限公司，
类型：发明
国别省市：