采用深度学习的草图检索方法技术

本发明专利技术公开了一种采用深度学习的草图检索方法，步骤(1)、接收待检索草图提供的轮廓信息和利用相应文本提供的草图中所有颜色的文本信息作为“双索引”输入数据；步骤(2)、在待查询数据集中搜索轮廓特征相匹配的图片目标对象；步骤(3)、利用欧几里德距离公式在由轮廓信息进行排序的基础上根据文字控制的颜色信息进行重新排序。与现有技术相比，本发明专利技术通过判断待检索图像颜色是否落入输入颜色对应的基准范围或者度量其与范围边界的距离，进而对草图检索网络的排序结果进行调整，实现检索准确率的提升，相比其它方法能取得更好的搜索结果。

A method of sketch retrieval using deep learning

The invention discloses a method for adopting deep learning sketch retrieval method, step (1), receiving retrieval sketches contour information and use all the colors corresponding text provides sketches of the text information as a \double index\ input data; step (2) in the picture, the target object query search feature matching; step (3), reordering based on contour information by sorting the text according to the control of color information using Euclidean distance formula. Compared with the prior art, the invention by judging whether the input color images to be retrieved into the reference range corresponding to a color or measure the distance and range boundary, and retrieval network sketch of the ranking results, achieve the retrieval accuracy improvement, compared with other methods can achieve better search results.

【技术实现步骤摘要】
采用深度学习的草图检索方法
本专利技术涉及人工智能
、深度学习的图像特征提取、等技术，特别是涉及一种基于异构索引信息的图像检索方法。
技术介绍
随着互联网和多媒体信息技术的飞速发展，图像信息正变得越来越重要，而众多行业的需求对专业的图像搜索提出了新的要求。传统的“以文搜图”的方式往往过度依赖于输入检索关键字和备查图像标注的准确性和完备性，难以保证复杂场景下的检索质量；而近年商用的“以图搜图”的方法所依赖的索引图一般不适用人工绘制或随地拍摄，因此，基于手绘草图的图像检索需求应运而生。手绘草图是一种由稀疏的曲线构成的用于描述物体大致轮廓的简化图像，它具有获取方便、表现直接、信息冗余少等优点。基于手绘草图的图像检索(以下简称“草图检索”)是一种以不携带颜色信息的手绘轮廓图为索引信息的图像检索技术，其需要解决的关键问题是如何从语义与结构两个层面综合度量给定草图与待检图像轮廓之间的相似程度。经过初步探索，研究者提出一些基于机器学习的草图检索算法，这些算法在某些简单任务集上取得较为可靠的性能，但其处理能力仍受限于某些亟待解决的技术难题，包括：(i)索引信息(手绘草图)与待检索对象(彩图/灰度图)对物体的表示方式有较大差别；(ii)手绘草图的表示精度难以控制，即待训练草图与对应图像的相似程度将极大影响训练结果的鲁棒性；(iii)训练集数量有限：目前可获得的训练所需数据不足，使得机器学习的结果难以达到理想效果。
技术实现思路
基于上述现有技术，本专利技术提出一种基于手绘草图的图像检索方法，实现了一种“双索引协同检索”方法，基于图像轮廓和颜色信息，综合利用草图提供的轮廓信息和文本提供的颜色信息实现更加准确地图像检索。本专利技术的一种采用深度学习的草图检索方法，该方法包括以下步骤：步骤1、接收待检索草图提供的轮廓信息和利用相应文本提供的草图中所有颜色的文本信息作为“双索引”输入数据；步骤2、依据轮廓特征和颜色的文本信息“双索引”在数据库中搜索与之轮廓特征、颜色的文本信息相匹配的图片目标对象；步骤3、利用欧几里德距离公式在由轮廓信息进行排序的基础上根据文字控制的颜色信息进行重新排序。所述步骤2具体包括以下步骤：首先，依据轮廓特征进行搜索，具体包括以下处理：训练好三元组神经网络：所述神经网络模型为一个深度学习的三元组排名模型：三个输入分支分别对应草图s、彩图正样本p+、彩图负样本p-，通过训练使得草图分支神经网络的输出值fθ(s)接近彩图正样本神经网络的输出fθ(p+)，远离彩图负样本神经网络的输出fθ(p-)，对于给定的三元组t＝(s,p+,p-)，将其损失函数表示为下式：Lθ(t)＝max(0,Δ+D(fθ(s),fθ(p+))-D(fθ(s),fθ(p-)))其中，D(fθ(s),fθ(p+))，D(fθ(s),fθ(p-))分别表示草图s的特征分别与正样本p+和负样本p-特征之间的距离，Δ表示一个介于正样本—草图和负样本—草图距离之间的一个阈值度量；在两个候选图片中查询草图s到正样本p+的距离比负样本p-更小：D(fθ(s),fθ(p+))＜D(fθ(s),fθ(p-))；如果两张图片排序正确，之间的距离为大于Δ，表示这个三元组模型正确；否则，损失将是一个在0-1之间凸近似的排序损失，其测量违反了由三元组指定的期望排序顺序的程度，最终的目的是使得损失函数最小化，满足真正的排序顺序，损失函数的目标优化公式如下：其中，T表示三元组的训练集，θ表示从输入空间到映射空间fθ(·)深度模型的参数，并且R(·)表示l2正则项λ表示正则项参数；将用训练好的单支网络对数据库中的彩色图像一一进行特征提取并缓存，然后当输入草图时，经过单支网络的特征提取将对缓存的数据库特征进行匹配和排序，从而检索出与草图相似的彩色图片。所述步骤(3)具体包括以下步骤：首先，对待查询数据库中彩色图片进行去噪、去除待查询图片的背景区域，使用公式如下：其中，c(x,y)表示坐标(x,y)处像素的颜色，cwhite表示纯白色在RGB颜色空间中的值c(x,y)＝[255，255，255]，O(x,y)为待测物体的目标区域，ε为像素差阈值参数；当整张图片的各像素点的值与纯白色像素的值之差小于或等于某个值时，认为该部分为背景区域；当不在此范围时，该部分为目标区域；当目标物体颜色与背景颜色相似时，初步判断后会在目标轮廓的周围产生大量噪声点；根据草图中所有颜色的文字信息，从简笔画目标对象图片中搜索出对应颜色的物体，将文字信息转化为了颜色信息，实现了文字到颜色的跨域转换；具体作法包括：先将文字信息转换为对应的颜色信息，并给不同的颜色在RGB三个通道定义不同的范围值：首先定义了红、黄或橙黄、绿、蓝、紫、棕、黑、白、灰九个颜色作为实验颜色搜索的基准颜色；然后分别在每种颜色中选取同一类相似的五种颜色，一共45种颜色，在每种颜色中五个颜色里面分别找到其对应的RGB值，从而分别得到九种颜色的RGB基准范围；其次，依据候选图片与基准颜色在r通道上的距离dr进行轮廓特征的排序：输入查询草图的颜色时，当候选图片的RGB值位于查询图片规定的基准颜色范围内时，该RGB通道与基准颜色相同通道距离为0，若不在基准颜色范围内，将选取与基准颜色两端值距离最小的作为两颜色的距离；其公式如下：其中，R1为候选图片r通道最大概率的灰度值，Ar和Br分别为r通道基准颜色范围的左右边界，dr为候选图片与基准颜色在r通道上的距离；根据原有轮廓信息排序结果结合颜色信息重新定义距离公式，其中图片颜色信息越符合，原有排序图片位置越靠前，则与测试草图的距离越小，越相似，其距离公式如下：其中，i表示原有候选图片排序信息，分别表示候选图片颜色与基准颜色在r、g、b通道上的距离，ei表示考虑对原来特征信息进行排序而加入原有排序信息的正则项；将候选图片逐一进行距离计算后，根据距离按照从小到大的顺序实现重新排序。与现有技术相比，本专利技术具有以下效果：该方法首先根据经验划分了九种常见颜色在RGB通道灰度值的基准范围，在检索过程中，通过判断待检索图像颜色是否落入输入颜色对应的基准范围或者度量其与范围边界的距离，进而对草图检索网络的排序结果进行调整，实现检索准确率的提升，相比其它方法能取得更好的搜索结果。附图说明图1为本专利技术的采用深度学习的草图检索方法整体流程图；图2为深度学习的三元组排名模型结构示意图；图3为结果定性比较示意图；图4为结果定量比较示意图。具体实施方式下面将结合附图对本专利技术的实施方式作进一步的详细描述。本专利技术的采用深度学习的草图检索方法，整体技术方案为：接收待检索草图提供的轮廓信息和相应文本提供的颜色信息作为输入数据；依据输入数据在数据库中搜索与之轮廓匹配的草图目标对象；以及将所述草图目标对象提供给用户，然后根据输入文字所表示的颜色信息对检索结果进行微调。如图所示，本专利技术的采用深度学习的草图检索方法，具体流程详细描述如下：步骤1、接收待检索草图提供的轮廓信息和利用相应文本提供的草图中所有颜色的文字信息作为输入数据；步骤2、依据输入数据在数据库中搜索与之轮廓匹配的简笔画目标对象，具体处理包括：(1)利用训练好的神经网络模型分别对草图和图像进行轮廓特征提取，然后将提取的查询图像特征与数据库中的自然图片轮廓特征进行匹配和排序本文档来自技高网...

【技术保护点】
一种采用深度学习的草图检索方法，其特征在于，该方法包括以下步骤：步骤(1)、接收待检索草图提供的轮廓信息和利用相应文本提供的草图中所有颜色的文本信息作为“双索引”输入数据；步骤(2)、在待查询数据集中搜索轮廓特征相匹配的图片目标对象；步骤(3)、利用欧几里德距离公式在由轮廓信息进行排序的基础上根据文字控制的颜色信息进行重新排序。

【技术特征摘要】
1.一种采用深度学习的草图检索方法，其特征在于，该方法包括以下步骤：步骤(1)、接收待检索草图提供的轮廓信息和利用相应文本提供的草图中所有颜色的文本信息作为“双索引”输入数据；步骤(2)、在待查询数据集中搜索轮廓特征相匹配的图片目标对象；步骤(3)、利用欧几里德距离公式在由轮廓信息进行排序的基础上根据文字控制的颜色信息进行重新排序。2.如权利要求1所述的采用深度学习的草图检索方法，其特征在于，所述步骤(2)具体包括以下步骤：首先，依据轮廓特征进行搜索，具体包括以下处理：训练好三元组神经网络：所述神经网络模型为一个深度学习的三元组排名模型：三个输入分支分别对应草图s、彩图正样本p+、彩图负样本p-，通过训练使得草图分支神经网络的输出值fθ(s)接近彩图正样本神经网络的输出fθ(p+)，远离彩图负样本神经网络的输出fθ(p-)，对于给定的三元组t＝(s,p+,p-)，将其损失函数表示为下式：Lθ(t)＝max(0,Δ+D(fθ(s),fθ(p+))-D(fθ(s),fθ(p-)))其中，D(fθ(s),fθ(p+))，D(fθ(s),fθ(p-))分别表示草图s的特征分别与正样本p+和负样本p-特征之间的距离，Δ表示一个介于正样本—草图和负样本—草图距离之间的一个阈值度量；在两个候选图片中查询草图s到正样本p+的距离比负样本p-更小：D(fθ(s),fθ(p+))＜D(fθ(s),fθ(p-))；如果两张图片排序正确，之间的距离为大于Δ，表示这个三元组模型正确；否则，损失将是一个在0-1之间凸近似的排序损失，其测量违反了由三元组指定的期望排序顺序的程度，最终的目的是使得损失函数最小化，满足真正的排序顺序，损失函数的目标优化公式如下：其中，T表示三元组的训练集，θ表示从输入空间到映射空间fθ(·)深度模型的参数，并且R(·)表示l2正则项λ表示正则项参数；将用训练好的单支网络对数据库中的彩色图像一一进行特征提取并缓存，然后当输入草图时，经过单支网络的特征提取将对缓存的数据库特征进行匹配和排序，从而检索出与草图相似的彩色图片。3.如权利要求1所述的采用深度学习的草图检索方法，...

【专利技术属性】
技术研发人员：周圆，李绰，杨晶，霍树伟，毛爱玲，杨建兴，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12