高维特征的处理方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术提供一种高维特征的处理方法、装置、设备及计算机可读存储介质，方法包括合成超链图构造过程和合成超链图搜索过程；合成超链图搜索过程包括索引图层搜索阶段和全量图层搜索阶段。装置包括接收单元、合成超链图构造单元、合成超链图搜索单元和输出单元；合成超链图构造单元包括索引图层构造模块、全量图层构造模块和合成超链图插入模块；合成超链图搜索单元包括索引图层搜索模块和全量图层搜索模块。本发明专利技术的技术方案搜索过程从索引图层的上层往下不断切换，直到在全量图层完成数据搜索任务，大幅降低了搜索索引图层中近似近邻点的计算量，在各层中往下不断逼近最近邻点。

【技术实现步骤摘要】
高维特征的处理方法、装置、设备及计算机可读存储介质
本专利技术涉及图像处理领域，具体涉及一种高维特征的处理方法、装置、设备及计算机可读存储介质。
技术介绍
深度学习已经在许多领域得到深入的应用，例如在人脸识别相关的应用场景中，监控系统采集实时视频或图像，再经过人脸识别系统提取的人脸高维特征的数量级极大，例如每年多达几十亿。在人脸图像特征库中进行相似度的搜索是最重要的功能需求。目前人脸特征库进行海量图像特征的搜索效果极差，由于海量人脸特征在高维空间中的分布特点难以估计，故无法在完成秒级查询的同时达到很高的召回率。对于海量的十亿级或者百亿级高维特征(例如512维及以上)的相似度搜索不可能使用暴力方法比对计算每一个特征向量的相似度，暴力比对搜索消耗的时间和空间难以承受。目前的搜索方法将人脸这种空间分布情况比较复杂的特征向量进行子空间切分以后，各个子空间中特征数目差别很大，相交子空间边缘特征向量的子空间划分往往不合理；另外，从算法逻辑上也不能够保证相似性搜索的应搜尽搜，存在死角的可能性。
技术实现思路
本专利技术提供一种高维特征的处理方法，其包括合成超链图构造过程和合成超链图搜索过程。合成超链图构造过程包括：依次对所有的特征向量点，通过预设赋值方案确定当前特征向量点的插入图层并利用当前特征向量点参与构造M个索引图层；利用所有特征向量点参与构造全量图层；其中，M个索引图层为第M索引图层、第M-1索引图层…第1索引图层；当预设赋值方案进行操作得到结果值为T，则所确定的当前特征向量点的插入图层为第T索引图层、第T-1索引图层…第1索引图层。合成超链图搜索过程包括：索引图层搜索阶段：依次从第M索引图层至第1索引图层，将目标特征向量点插入当前索引图层并进行索引图层筛选操作，直至该层中目标特征向量点与其最近邻点的距离不再缩小，再在下一索引图层进行索引图层筛选操作；全量图层搜索阶段：将目标特征向量点插入全量图层并进行全量图层筛选操作，直至目标特征向量点与其最近邻点的距离不再缩小；其中，M为预设的大于等于1的整数，T为大于等于1且小于等于M的整数。在一种改进的方案中，预设赋值方案为公式floor(-ln(uniform(0,1))×M)；其中，floor()表示向下取整，ln()表示取对数，uniform(0,1)表示在0到1的均匀分布数值中随机取出一个实数。在一种改进的方案中，利用当前特征向量点参与构造M个索引图层的过程中，第t索引图层的构造方式为：将当前特征向量点插入第t索引图层，将已插入的特征向量点按照由近至远的顺序与当前特征向量点进行连线，且与当前特征向量点进行连线的点的个数以m为限；其中，t为大于等于1且小于等于T的整数，m为大于等于1的整数。在一种改进的方案中，利用当前特征向量点参与构造全量图层的过程中，将当前特征向量点插入全量图层，将已插入的特征向量点按照由近至远的顺序与当前特征向量点进行连线，且与当前特征向量点进行连线的点的个数以m为限；从当前特征向量点所连接的点中查找出当前特征向量点的最近邻点，将当前特征向量点到该最近邻点的距离与距离阈值做比较；若判断当前特征向量点到该最近邻点的距离小于等于距离阈值，则将当前特征向量点归入到该最近邻点所在的子图中；若判断当前特征向量点到该最近邻点的距离大于距离阈值，则以当前特征向量点为基准开设一个新的子图；其中，m为大于等于1的整数。在一种改进的方案中，索引图层搜索阶段中，在第n索引图层中，第1次索引图层筛选操作为：将与开始点由近至远相连接的m个点加入排序队列并加入出发队列，计算排序队列中目标特征向量点与其最近邻点的距离；当第n索引图层为第M索引图层时，开始点为第M索引图层中的第一个插入点或某一点；当第n索引图层为非第M索引图层时，开始点为第n+1索引图层中目标特征向量点的最近邻点；第k+1次索引图层筛选操作为：对第k次索引图层筛选操作所形成的出发队列中的每个点，将与这些点由近至远相连接的m个点加入排序队列并加入出发队列，计算排序队列中目标特征向量点与其最近邻点的距离，去除出发队列中已经被查找过的点；n为大于等于1且小于等于M的整数，k为大于等于1的整数。在一种改进的方案中，全量图层搜索阶段中，第1次全量图层筛选操作为：以第1索引图层中目标特征向量点的最近邻点为开始点，将与开始点由近至远相连接的m个点加入排序队列并加入出发队列，从排序队列中查找出与目标特征向量点的距离小于等于距离阈值的点，并计算排序队列中目标特征向量点与其最近邻点的距离；第k+1次全量图层筛选操作为：对第k次全量图层筛选操作所形成的出发队列中的每个点，将与这些点由近至远相连接的m个点加入排序队列并加入出发队列，从排序队列中查找出与目标特征向量点的距离小于等于距离阈值的点，并计算排序队列中目标特征向量点与其最近邻点的距离，去除出发队列中已经被查找过的点；对各次全量图层筛选操作的排序队列中查找出的与目标特征向量点的距离小于等于距离阈值的点以及这些点所在子图中的点，将这些点按照与目标特征向量点的距离由近至远排序，并作为搜索结果；k为大于等于1的整数。在一种改进的方案中，合成超链图构造过程中，构造第n索引图层的特征向量点的数量多于构造第n+1索引图层的特征向量点的数量，且第n索引图层中包括第n+1索引图层中的所有特征向量点；合成超链图构造过程中，利用当前特征向量点先后参与构造M个索引图层和参与构造全量图层，或者，利用当前特征向量点先后参与构造全量图层和参与构造M个索引图层，或者，利用当前特征向量点同时参与构造M个索引图层和参与构造全量图层；其中，n为大于等于1且小于等于M的整数；处理方法还包括输出搜索结果过程。本专利技术还提供一种高维特征的处理装置，其包括接收单元、合成超链图构造单元、合成超链图搜索单元和输出单元；合成超链图构造单元包括索引图层构造模块、全量图层构造模块和合成超链图插入模块；合成超链图搜索单元包括索引图层搜索模块和全量图层搜索模块。接收单元分别连接至合成超链图插入模块、全量图层构造模块和索引图层搜索模块；合成超链图插入模块、索引图层构造模块和索引图层搜索模块依次连接；全量图层构造模块连接、全量图层搜索模块和输出单元依次连接。接收单元用于接收特征向量点；合成超链图插入模块用于通过预设赋值方案确定当前特征向量点的插入图层；索引图层构造模块用于利用当前特征向量点参与构造M个索引图层；全量图层构造模块用于利用所有特征向量点参与构造全量图层；其中，M个索引图层为第M索引图层、第M-1索引图层…第1索引图层；当预设赋值方案进行操作得到结果值为T，则所确定的当前特征向量点的插入图层为第T索引图层、第T-1索引图层…第1索引图层。接收单元还用于接收目标特征向量点；索引图层搜索模块用于依次从第M索引图层至第1索引图层，将目标特征向量点插入当前索引图层并进行索引图层筛选操作，直至该层中目标特征向量点与其最近邻点的距离不再缩小，再在下一索引图层进行索引图层筛选操作；全量图层搜索模块用于将目标特征向量点插入全量图层并进行全量图层筛选操作，直至目标特征向本文档来自技高网...

【技术保护点】
1.一种高维特征的处理方法，其特征在于，/n包括合成超链图构造过程和合成超链图搜索过程；/n所述合成超链图构造过程包括：/n依次对所有的特征向量点，通过预设赋值方案确定当前特征向量点的插入图层并利用所述当前特征向量点参与构造M个索引图层；利用所有特征向量点参与构造全量图层；/n其中，所述M个索引图层为第M索引图层、第M-1索引图层…第1索引图层；当所述预设赋值方案进行操作得到结果值为T，则所确定的所述当前特征向量点的插入图层为第T索引图层、第T-1索引图层…第1索引图层；/n所述合成超链图搜索过程包括：/n索引图层搜索阶段：依次从第M索引图层至第1索引图层，将目标特征向量点插入当前索引图层并进行索引图层筛选操作，直至该层中所述目标特征向量点与其最近邻点的距离不再缩小，再在下一索引图层进行索引图层筛选操作；/n全量图层搜索阶段：将所述目标特征向量点插入所述全量图层并进行全量图层筛选操作，直至所述目标特征向量点与其最近邻点的距离不再缩小；/n其中，M为预设的大于等于1的整数，T为大于等于1且小于等于M的整数。/n

【技术特征摘要】
1.一种高维特征的处理方法，其特征在于，
包括合成超链图构造过程和合成超链图搜索过程；
所述合成超链图构造过程包括：
依次对所有的特征向量点，通过预设赋值方案确定当前特征向量点的插入图层并利用所述当前特征向量点参与构造M个索引图层；利用所有特征向量点参与构造全量图层；
其中，所述M个索引图层为第M索引图层、第M-1索引图层…第1索引图层；当所述预设赋值方案进行操作得到结果值为T，则所确定的所述当前特征向量点的插入图层为第T索引图层、第T-1索引图层…第1索引图层；
所述合成超链图搜索过程包括：
索引图层搜索阶段：依次从第M索引图层至第1索引图层，将目标特征向量点插入当前索引图层并进行索引图层筛选操作，直至该层中所述目标特征向量点与其最近邻点的距离不再缩小，再在下一索引图层进行索引图层筛选操作；
全量图层搜索阶段：将所述目标特征向量点插入所述全量图层并进行全量图层筛选操作，直至所述目标特征向量点与其最近邻点的距离不再缩小；
其中，M为预设的大于等于1的整数，T为大于等于1且小于等于M的整数。


2.如权利要求1所述的方法，其特征在于，
所述预设赋值方案为公式floor(-ln(uniform(0,1))×M)；
其中，floor()表示向下取整，ln()表示取对数，uniform(0,1)表示在0到1的均匀分布数值中随机取出一个实数。


3.如权利要求1所述的方法，其特征在于，
利用所述当前特征向量点参与构造M个索引图层的过程中，第t索引图层的构造方式为：
将所述当前特征向量点插入第t索引图层，将已插入的特征向量点按照由近至远的顺序与所述当前特征向量点进行连线，且与所述当前特征向量点进行连线的点的个数以m为限；
其中，t为大于等于1且小于等于T的整数，m为大于等于1的整数。


4.如权利要求1所述的方法，其特征在于，
利用所述当前特征向量点参与构造全量图层的过程中，将所述当前特征向量点插入全量图层，将已插入的特征向量点按照由近至远的顺序与所述当前特征向量点进行连线，且与所述当前特征向量点进行连线的点的个数以m为限；
从所述当前特征向量点所连接的点中查找出所述当前特征向量点的最近邻点，将所述当前特征向量点到该最近邻点的距离与距离阈值做比较；
若判断所述当前特征向量点到该最近邻点的距离小于等于距离阈值，则将所述当前特征向量点归入到该最近邻点所在的子图中；
若判断所述当前特征向量点到该最近邻点的距离大于距离阈值，则以所述当前特征向量点为基准开设一个新的子图；
其中，m为大于等于1的整数。


5.如权利要求3所述的方法，其特征在于，
所述索引图层搜索阶段中，在第n索引图层中，
第1次索引图层筛选操作为：将与开始点由近至远相连接的m个点加入排序队列并加入出发队列，计算排序队列中所述目标特征向量点与其最近邻点的距离；当第n索引图层为第M索引图层时，开始点为第M索引图层中的第一个插入点或某一点；当第n索引图层为非第M索引图层时，开始点为第n+1索引图层中所述目标特征向量点的最近邻点；
第k+1次索引图层筛选操作为：对第k次索引图层筛选操作所形成的出发队列中的每个点，将与这些点由近至远相连接的m个点加入排序队列并加入出发队列，计算排序队列中所述目标特征向量点与其最近邻点的距离，去除出发队列中已经被查找过的点；
n为大于等于1且小于等于M的整数，k为大于等于1的整数。


6.如权利要求4所述的方法，其特征在于，
所述全量图层搜索阶段中，
第1次全量图层筛选操作为：以第1索引图层中所述目标特征向量点的最近邻点为开始点，将与开始点由近至远相连接的m个点加入排序队列并加入出发队列...

【专利技术属性】
技术研发人员：陈晓东，刘燕，赵梅玲，王强，熊凡，
申请(专利权)人：深圳力维智联技术有限公司，南京中兴力维软件有限公司，
类型：发明
国别省市：广东;44