【技术实现步骤摘要】
本申请涉及大数据，特别是涉及一种数据聚合方法、系统、设备以及存储介质。
技术介绍
1、随着大数据技术的迅速发展，如何对数据进行管理已成为当下重点研究的技术之一，其中包括数据聚合。
2、数据聚合是将获取到的数据按照其数据特征分别进行聚合，得到各自对应的数据集合，以便于通过集合对各数据进行管理。例如对图像中的对象进行聚合处理，则是通过聚合算法分别根据图像中各对象的特征生成各对象的集合信息。
3、但目前的聚合方法有较高的实时性要求，快速的处理过程容易造成错档、多档等问题，因此亟需一种准确的数据聚合方法。
技术实现思路
1、本申请至少提供一种数据聚合方法、系统、装置、设备以及计算机可读存储介质。
2、本申请第一方面提供了一种数据聚合方法，包括：获取待聚合图像，所述待聚合图像包括高质量图像和低质量图像；对所述高质量图像进行聚类处理，得到初始集合，所述初始集合中包括所述高质量图像的初始集合标签信息；将所述低质量图像和所述高质量图像进行聚类处理，得到目标集合，所述目标集合中包括所述高质量图像的目标集合标签信息和所述低质量图像的目标集合标签信息；若所述高质量图像的目标集合标签信息与对应的初始集合标签信息不一致，则基于所述目标集合对所述初始集合进行更新。
3、在一实施例中，所述将所述低质量图像和所述高质量图像进行聚类处理，得到目标集合的步骤，包括：获取所述低质量图像的特征信息和所述高质量图像的特征信息；基于各特征信息之间的特征相似度，对所述低质量图像和
4、在一实施例中，所述基于各特征信息之间的特征相似度，对所述低质量图像和所述高质量图像进行聚类，得到目标集合以及所述目标集合标签信息的步骤，包括：将所述特征相似度大于预设相似度阈值的低质量图像和高质量图像进行聚类，得到所述目标集合；基于同一目标集合中低质量图像和/或高质量图像的特征信息生成相同的目标集合标签信息。
5、在一实施例中，所述若所述高质量图像的目标集合标签信息与对应的初始集合标签信息不一致，则基于所述目标集合对所述初始集合进行更新的步骤，包括：基于不一致的目标集合标签信息和初始集合标签信息确定不一致的目标集合和初始集合；基于不一致的目标集合将对应的初始集合进行更新。
6、在一实施例中，所述将所述低质量图像和所述高质量图像进行聚类处理，得到目标集合的步骤，包括：若所述高质量图像的目标集合标签信息与对应的初始集合标签信息一致，且所述低质量图像中存在和所述高质量图像的目标集合标签信息不同的目标低质量图像，则基于所述目标低质量图像的特征信息进行集合新增处理，得到所述目标集合并存储。
7、在一实施例中，在所述获取待聚合图像的步骤之前，所述方法还包括：基于预设的分类规则对获取到的初始图像进行质量分类处理，得到所述高质量图像和/或所述低质量图像。
8、本申请第二方面提供了一种数据聚合系统，所述系统包括：实时聚类系统，用于对获取到的高质量图像进行实时聚类处理，得到初始集合，所述初始集合中包括所述高质量图像的初始集合标签信息；离线聚类系统，用于将获取到的低质量图像和所述高质量图像进行离线聚类处理，得到目标集合，所述目标集合中包括所述高质量图像的目标集合标签信息和所述低质量图像的目标集合标签信息；若所述高质量图像的目标集合标签信息与对应的初始集合标签信息不一致，则基于所述目标集合对所述初始集合进行更新。
9、在一实施例中，所述系统还包括：质量分类系统，用于基于预设的分类规则对获取到的初始图像进行质量分类处理，得到所述高质量图像和/或所述低质量图像。
10、本申请第三方面提供了一种数据聚合装置，包括：获取模块，用于获取待聚合图像，所述待聚合图像包括高质量图像和低质量图像；第一聚类模块，用于对所述高质量图像进行聚类处理，得到初始集合，所述初始集合中包括所述高质量图像的初始集合标签信息；第二聚类模块，用于将所述低质量图像和所述高质量图像进行聚类处理，得到目标集合，所述目标集合中包括所述高质量图像的目标集合标签信息和所述低质量图像的目标集合标签信息；更新模块，用于若所述高质量图像的目标集合标签信息与对应的初始集合标签信息不一致，则基于所述目标集合对所述初始集合进行更新。
11、本申请第四方面提供了一种电子设备，包括存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述数据聚合方法。
12、本申请第五方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述数据聚合方法。
13、上述方案，通过获取待聚合的高质量图像和低质量图像，对高质量图像进行聚合得到高质量图像的初始集合和初始集合标签信息，将带有初始集合标签信息的高质量图像和低质量图像进行聚类，得到目标集合以及各图像的目标集合标签信息；若高质量图像的目标集合标签信息与对应的初始集合标签信息不一致，则表征初始集合存在异常，基于目标集合对初始集合进行更新，由此能够实现准确地数据聚合。
14、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
本文档来自技高网...【技术保护点】
1.一种数据聚合方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述低质量图像和所述高质量图像进行聚类处理，得到目标集合的步骤，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于各特征信息之间的特征相似度，对所述低质量图像和所述高质量图像进行聚类，得到目标集合以及所述目标集合标签信息的步骤，包括：
4.根据权利要求1所述的方法，其特征在于，所述若所述高质量图像的目标集合标签信息与对应的初始集合标签信息不一致，则基于所述目标集合对所述初始集合进行更新的步骤，包括：
5.根据权利要求1所述的方法，其特征在于，所述将所述低质量图像和所述高质量图像进行聚类处理，得到目标集合的步骤，包括：
6.根据权利要求1所述的方法，其特征在于，在所述获取待聚合图像的步骤之前，所述方法还包括：
7.一种数据聚合系统，其特征在于，所述系统包括：
8.根据权利要求7所述的系统，其特征在于，所述系统还包括：
9.一种电子设备，其特征在于，包括存储器和处理器，所述处理器用于执
10.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至6任一项所述的方法。
...【技术特征摘要】
1.一种数据聚合方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述低质量图像和所述高质量图像进行聚类处理，得到目标集合的步骤，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于各特征信息之间的特征相似度，对所述低质量图像和所述高质量图像进行聚类，得到目标集合以及所述目标集合标签信息的步骤，包括：
4.根据权利要求1所述的方法，其特征在于，所述若所述高质量图像的目标集合标签信息与对应的初始集合标签信息不一致，则基于所述目标集合对所述初始集合进行更新的步骤，包括：
5.根据权利要求1所述的方法，其特征在于，...
【专利技术属性】
技术研发人员：杜伟，沈佳，张哲，胡典荣，陈伟，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。