图片数据清洗方法、装置、计算机设备和存储介质制造方法及图纸

本申请揭示了一种图片数据清洗方法、装置、计算机设备和存储介质，所述方法包括：接收数据清洗指令；在第一虚拟三维空间中引入第一组图片，将所述第一组图片组合成第一立体结构；在第二虚拟三维空间中引入第二组图片，将所述第二组图片组合成第二立体结构；在所述第一虚拟三维空间中对所述第一立体结构进行图像采集，从而得到第一平面图像；在所述第二虚拟三维空间中对所述第二立体结构进行图像采集，从而得到第二平面图像；计算第一平面图像和所述第二平面图像之间的清洗指数；若清洗指数大于预设的清洗阈值，则执行数据清洗操作，所述数据清洗操作用于将所述第一组图片和所述第二组图片中的一者删除。从而提高数据清洗的效率。

Image data cleaning method, device, computer equipment and storage medium

【技术实现步骤摘要】
图片数据清洗方法、装置、计算机设备和存储介质
本申请涉及到计算机领域，特别是涉及到一种图片数据清洗方法、装置、计算机设备和存储介质。
技术介绍
数据清洗是对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。数据清洗一般包括不完整的数据、错误的数据、重复的数据等。其中，不完整的数据和错误的数据容易被识别(因为格式或数值等具有明显差异)，因此容易进行清洗。而对于重复的数据，当该数据为图片数据时，要识别出重复的图片，传统技术需要耗费大量的计算资源，以进行图片的像素点的对比。因此，传统方法在对图片数据进行数据清洗时，尤其在处理大批量的图片数据的重复性检测并清洗时，耗时长效率低。
技术实现思路
本申请的主要目的为提供一种图片数据清洗方法、装置、计算机设备和存储介质，旨在提高数据清洗的效率。为了实现上述专利技术目的，本申请提出一种图片数据清洗方法，包括以下步骤：接收数据清洗指令，所述数据清洗指令用于对第一组图片和第二组图片进行数据清洗，其中所述第一组图片的图片数量和所述第二组图片的图片数量相同；在预设的第一虚拟三维空间中引入所述第一组图片，并根据预设的第一图片组合方法，将所述第一组图片组合成第一立体结构，所述第一虚拟三维空间符合光线传播原理；以及，在预设的第二虚拟三维空间中引入所述第二组图片，并根据预设的第二图片组合方法，将所述第二组图片组合成第二立体结构；其中所述第一虚拟三维空间与所述第二虚拟三维空间相同，所述第一图片组合方法与所述第二图片组合方法相同，所述第一立体结构与所述第二立体结构相同，所述第二虚拟三维空间符合光线传播原理；根据预设的第一位置生成方法，在所述第一虚拟三维空间中生成第一位置，并在所述第一位置上对所述第一立体结构进行图像采集，从而得到第一平面图像；以及，根据预设的第二位置生成方法，在所述第二虚拟三维空间中生成第二位置，并在所述第二位置上对所述第二立体结构进行图像采集，从而得到第二平面图像，其中所述第一位置生成方法与所述第二位置生成方法相同，所述第一位置与所述第二位置相同；根据预设的清洗指数生成方法，计算所述第一平面图像和所述第二平面图像之间的清洗指数，并判断所述清洗指数是否大于预设的清洗阈值；若所述清洗指数大于预设的清洗阈值，则执行数据清洗操作，所述数据清洗操作用于将所述第一组图片和所述第二组图片中的一者删除。进一步地，所述根据预设的第一图片组合方法，将所述第一组图片组合成第一立体结构的步骤,包括：在所述第一虚拟三维空间中调用预设的第一立体形状，所述第一立体形状是由一个底面、一个顶面和n个侧面构成的闭合形状，所述底面和所述顶面均为正n边形，所述底面的正n边形的边长大于所述顶面的正n边形的边长，所述n个侧面均为相同形状的等腰梯形；根据预设的图片修改方法，将所述第一组图片中的所有图片分别进行修改，从而得到n张形状相同的梯形形状图片，其中所述第一组图片中共有n张图片，所述梯形形状图片与所述侧面的形状相同；根据预设的填充顺序，将所述n张图片对应填入所述第一立体形状的n个侧面中，从而得到第一立体结构。进一步地，所述根据预设的图片修改方法，将所述第一组图片中的所有图片分别进行修改，从而得到n张形状相同的梯形形状图片的步骤,包括：获取所述等腰梯形的底边长度和梯形高度，并判断所述第一组图片中的所有图片的宽度是否均小于所述底边长度，以及判断所述第一组图片中的所有图片的高度是否均小于所述梯形高度；若所述第一组图片中的所有图片的宽度均不小于所述底边长度，并且所述第一组图片中的所有图片的高度均不小于所述梯形高度，则对所述第一组图片中的所有图片分别进行裁剪处理，从而得到n张形状相同的梯形形状图片。进一步地，所述根据预设的填充顺序，将所述n张图片对应填入所述第一立体形状的n个侧面中，从而得到第一立体结构的步骤,包括：获取所述第一组图片中的所有图片的数据大小，并根据数据大小降序排列的原则，生成所述第一组图片对应的图片排序表；从所述第一立体形状的n个侧面中选出指定侧面，并将所述图片排序表中排名第一的图片填入所述指定侧面中；将所述图片排序表中排名第二、第三、...、第n张图片对应填入所述指定侧面右侧第一、第二、...、第n-1个侧面中，从而得到第一立体结构。进一步地，所述根据预设的第一位置生成方法，在所述第一虚拟三维空间中生成第一位置的步骤，包括：对所述第一立体结构的n个侧面进行延长处理，从而使所述n个侧面交汇于所述第一立体结构上方的交汇点；在所述第一立体结构的轴线上生成参考点，其中所述交汇点和所述第一立体结构的顶面中心位于所述第一立体结构的轴线上，并且所述参考点与所述第一立体结构的顶面中心分别位于所述交汇点的两侧；在所述参考点上生成虚拟平面，所述虚拟平面与所述第一立体结构的顶面平行；在所述虚拟平面中生成暂时位置，并分别连接所述暂时位置与n个指定点，从而得到n条连线，并判断所述n条连线与所述第一立体结构是否相交，其中所述n个指定点分别位于所述第一立体结构的n条底边；若所述n条连线与所述第一立体结构均不相交，则将所述暂时位置记为所述第一位置。进一步地，所述根据预设的清洗指数生成方法，计算所述第一平面图像和所述第二平面图像之间的清洗指数的步骤,包括：将所述第一平面图像划分为n个第一区域，所述n个第一区域以所述第一立体结构的n个侧面的交界线为分界线；以及，将所述第二平面图像划分为n个第二区域，所述n个第二区域以所述第二立体结构的n个侧面的交界线为分界线；检测所述n个第一区域，以从每个第一区域中分别提取出第一特征数据，并生成第一特征向量，所述第一特征向量由n个分向量构成，所述n个分向量分别等于所述n个第一区域的第一特征数据；以及，检测所述n个第二区域，以从每个第二区域中分别提取出第二特征数据，并生成第二特征向量，所述第二特征向量由n个分向量构成，所述n个分向量分别等于所述n个第二区域的第一特征数据；其中所述第一特征数据与所述第二特征数据的类型相同；根据预设的相似度计算方法，计算所述第一特征向量和所述第二特征向量的相似程度值，并将所述相似程度值记为所述清洗指数。进一步地，所述根据预设的相似度计算方法，计算所述第一特征向量和所述第二特征向量的相似程度值的步骤，包括：根据公式：计算得到所述第一特征向量和所述第二特征向量的相似程度值S，其中A为所述第一特征向量，B为所述第二特征向量，Ai为所述第一特征向量的第i个分向量，Bi为所述第二特征向量的第i个分向量，所述第一特征向量和所述第一特征向量均具有n个分向量。本申请提供一种图片数据清洗装置，包括：数据清洗指令接收单元，用于接收数据清洗指令，所述数据清洗指令用于对第一组图片和第二组图片进行数据清洗，其中所述第一组图片的图片数量和所述第二组图片的图片数量相同；第一立体结构组合单元，用于在预设的第一虚拟三本文档来自技高网...

【技术保护点】
1.一种图片数据清洗方法，其特征在于，包括：/n接收数据清洗指令，所述数据清洗指令用于对第一组图片和第二组图片进行数据清洗，其中所述第一组图片的图片数量和所述第二组图片的图片数量相同；/n在预设的第一虚拟三维空间中引入所述第一组图片，并根据预设的第一图片组合方法，将所述第一组图片组合成第一立体结构，所述第一虚拟三维空间符合光线传播原理；/n以及，在预设的第二虚拟三维空间中引入所述第二组图片，并根据预设的第二图片组合方法，将所述第二组图片组合成第二立体结构；其中所述第一虚拟三维空间与所述第二虚拟三维空间相同，所述第一图片组合方法与所述第二图片组合方法相同，所述第一立体结构与所述第二立体结构相同，所述第二虚拟三维空间符合光线传播原理；/n根据预设的第一位置生成方法，在所述第一虚拟三维空间中生成第一位置，并在所述第一位置上对所述第一立体结构进行图像采集，从而得到第一平面图像；/n以及，根据预设的第二位置生成方法，在所述第二虚拟三维空间中生成第二位置，并在所述第二位置上对所述第二立体结构进行图像采集，从而得到第二平面图像，其中所述第一位置生成方法与所述第二位置生成方法相同，所述第一位置与所述第二位置相同；/n根据预设的清洗指数生成方法，计算所述第一平面图像和所述第二平面图像之间的清洗指数，并判断所述清洗指数是否大于预设的清洗阈值；/n若所述清洗指数大于预设的清洗阈值，则执行数据清洗操作，所述数据清洗操作用于将所述第一组图片和所述第二组图片中的一者删除。/n...

【技术特征摘要】
1.一种图片数据清洗方法，其特征在于，包括：
接收数据清洗指令，所述数据清洗指令用于对第一组图片和第二组图片进行数据清洗，其中所述第一组图片的图片数量和所述第二组图片的图片数量相同；
在预设的第一虚拟三维空间中引入所述第一组图片，并根据预设的第一图片组合方法，将所述第一组图片组合成第一立体结构，所述第一虚拟三维空间符合光线传播原理；
以及，在预设的第二虚拟三维空间中引入所述第二组图片，并根据预设的第二图片组合方法，将所述第二组图片组合成第二立体结构；其中所述第一虚拟三维空间与所述第二虚拟三维空间相同，所述第一图片组合方法与所述第二图片组合方法相同，所述第一立体结构与所述第二立体结构相同，所述第二虚拟三维空间符合光线传播原理；
根据预设的第一位置生成方法，在所述第一虚拟三维空间中生成第一位置，并在所述第一位置上对所述第一立体结构进行图像采集，从而得到第一平面图像；
以及，根据预设的第二位置生成方法，在所述第二虚拟三维空间中生成第二位置，并在所述第二位置上对所述第二立体结构进行图像采集，从而得到第二平面图像，其中所述第一位置生成方法与所述第二位置生成方法相同，所述第一位置与所述第二位置相同；
根据预设的清洗指数生成方法，计算所述第一平面图像和所述第二平面图像之间的清洗指数，并判断所述清洗指数是否大于预设的清洗阈值；
若所述清洗指数大于预设的清洗阈值，则执行数据清洗操作，所述数据清洗操作用于将所述第一组图片和所述第二组图片中的一者删除。


2.根据权利要求1所述的图片数据清洗方法，其特征在于，所述根据预设的第一图片组合方法，将所述第一组图片组合成第一立体结构的步骤,包括：
在所述第一虚拟三维空间中调用预设的第一立体形状，所述第一立体形状是由一个底面、一个顶面和n个侧面构成的闭合形状，所述底面和所述顶面均为正n边形，所述底面的正n边形的边长大于所述顶面的正n边形的边长，所述n个侧面均为相同形状的等腰梯形；
根据预设的图片修改方法，将所述第一组图片中的所有图片分别进行修改，从而得到n张形状相同的梯形形状图片，其中所述第一组图片中共有n张图片，所述梯形形状图片与所述侧面的形状相同；
根据预设的填充顺序，将所述n张图片对应填入所述第一立体形状的n个侧面中，从而得到第一立体结构。


3.根据权利要求2所述的图片数据清洗方法，其特征在于，所述根据预设的图片修改方法，将所述第一组图片中的所有图片分别进行修改，从而得到n张形状相同的梯形形状图片的步骤,包括：
获取所述等腰梯形的底边长度和梯形高度，并判断所述第一组图片中的所有图片的宽度是否均小于所述底边长度，以及判断所述第一组图片中的所有图片的高度是否均小于所述梯形高度；
若所述第一组图片中的所有图片的宽度均不小于所述底边长度，并且所述第一组图片中的所有图片的高度均不小于所述梯形高度，则对所述第一组图片中的所有图片分别进行裁剪处理，从而得到n张形状相同的梯形形状图片。


4.根据权利要求2所述的图片数据清洗方法，其特征在于，所述根据预设的填充顺序，将所述n张图片对应填入所述第一立体形状的n个侧面中，从而得到第一立体结构的步骤,包括：
获取所述第一组图片中的所有图片的数据大小，并根据数据大小降序排列的原则，生成所述第一组图片对应的图片排序表；
从所述第一立体形状的n个侧面中选出指定侧面，并将所述图片排序表中排名第一的图片填入所述指定侧面中；
将所述图片排序表中排名第二、第三、...、第n张图片对应填入所述指定侧面右侧第一、第二、...、第n-1个侧面中，从而得到第一立体结构。


5.根据权利要求2所述的图片数据清洗方法，其特征在于，所述根据预设的第一位置生成方法，在所述第一虚拟三维空间中生成第一位置的步骤，包括：
对所述第一立体结构的n个侧面进行延长处理，从而使所述n个侧面交汇于所述第一立体结构上方的交汇点；
在所述第一立体结构的轴线上生成参考点，其中所述交汇点和所述第一立体结构的顶面中心位于所述第一立体结构的轴线上，并且所述参考点与所述第一立体结构的顶面中心分别位于所述交汇点...

【专利技术属性】
技术研发人员：胡晨婷，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44