一种针对水下作业场景的图片检索方法技术

一种针对水下作业场景的图片检索方法，包括以下步骤：数据存储；提取搜索事件主题；数据预处理；相关度计算。本发明专利技术针对ROV采集到的水下作业图片数量大，但可按作业存储，并有部分文字描述的特点，充分利用充分图片中包含的文本信息和图像信息，以更高效的方式得到图片检索结果。且检索结果按相关度高低降序排列，更便于查看结果。该技术方法的实现能够解决海量图片删选问题，为特定水下作业任务的高级应用分析提供精准参考数据，提高应用分析数据准确性，为更好地开展水下作业任务提供了有力的技术支撑。

An image retrieval method for underwater scene

A method of image retrieval for underwater scene includes the following steps: data storage; extraction of search event subject; data preprocessing; correlation calculation. The invention aims at the large number of underwater operation pictures collected by ROV, but can be stored according to the operation, and has the characteristics of partial text description, making full use of the text information and image information contained in the pictures, and obtaining the picture retrieval results in a more efficient way. And the retrieval results are arranged in descending order of correlation, which is more convenient to view the results. The implementation of this technology can solve the problem of mass image deletion and selection, provide accurate reference data for advanced application analysis of specific underwater operation tasks, improve the accuracy of application analysis data, and provide strong technical support for better underwater operation tasks.

【技术实现步骤摘要】
一种针对水下作业场景的图片检索方法
本专利技术涉及图像处理
，尤其涉及一种针对水下作业场景的图片搜索方法。
技术介绍
在图像数据领域，当对摄像头采集到的各种作业图像进行去重、检索、比对等操作时，需要从成百上千张图片中搜索相关度最高的图片。目前很多的图片检索方法都是针对两张图片的相似性进行大量计算得到的结果，在待比对图片量较大的情况下耗时长；有的方法则在检索过程中损失掉大量图片信息，造成图片检索准确性低；另外水下作业图像为ROV摄像头在水下作业时获得，作业场景具有特定类型，且存储时要附少量文字说明，传统图片检索方法仅对图像信息进行分析，而忽略了文字说明部分包含的信息。因此，在兼顾计算量和检索精度的同时，提高检索效率，成为了水下作业场景图片检索亟待解决的问题。
技术实现思路
本专利技术针对现有技术中的不足，提供一种针对水下作业场景的图片检索方法，旨在减少计算时间、提高检索精度，从而提高检索效率。为实现上述目的，本专利技术采用以下技术方案：一种针对水下作业场景的图片检索方法，其特征在于，包括如下步骤：步骤1：将所有图片按水下作业类型分类存放，图片文件以文字说明作为文件名；步骤2：从搜索主题事件中提取出要检索内容的事件中心词数据集；步骤3：提取图片中包含的文本信息，构造出代表图片文本信息的文本中心词汇数据集；步骤4：提取图片中包含的图像信息，构造出代表图片图像信息的标志矩阵；步骤5：计算图片中包含的文本信息与搜索主题事件中所有事件中心词的相关性；步骤6：计算图片中包含的图像信息与搜索主题事件中所有事件中心词的相关性；步骤7：综合图片中包含的文本信息、图像信息与搜索主题事件的相关性，得到最符合的搜索结果。为优化上述技术方案，采取的具体措施还包括：进一步地，所述步骤2中，利用TDT方法，从搜索主题事件中提取出其中包含的关键词，组成事件中心词数据集。进一步地，所述步骤3具体如下：利用word2vec软件工具，从图片文件名中提取出中心词；采用基于词频的卡方统计方法，计算出每个提取出的中心词基于出现频率的卡方值PCHIPCHI＝CHI×F(k，t)其中CHI为中心词k的传统卡方值，由传统卡方统计公式x2(k，t)计算得到，t为该类作业任务主题，N为同一类水下作业图片中提取出的中心词总数，A为包含中心词k的且符合主题t的中心词数，B为包含中心词k但不符合主题t的中心词数，C为不包含中心词k但符合主题t的中心词数，D为不包含中心词k且不符合主题t的中心词数；F(k，t)用于描述中心词k在主题t中出现的频率，Nk为主题t中包含中心词k的个数，Nt为主题t中所有中心词的个数；计算所有中心词的PCHI值，高于平均值的中心词被选定为该类水下作业图片中包含的文本中心词，这些中心词组成的文本中心词汇数据集用于描述图片中包含的文本信息。进一步地，所述步骤4具体如下：采用非重复关键帧NDK提取方法，提取出每种类型图片的NDK来表示作业图片中包含的图像信息，计算出某个NDK属于某搜索主题事件的可能性K(NDKk，Er)其中，|NDKk∩Er|表示NDKk和Er中含有的相同关键帧个数，|NDKk|表示含有NDKk这个非重复关键帧的水下作业图片类型数，Er表示第r个搜索主题事件，NDKk表示第k个NDK，各下标均表示编号。比对每个NDK与搜索主题事件的事件中心词之间的关系，将获得最大K值的搜索主题事件作为该NDK的事件标签；最后构造出一个以每个NDK为行的开头，对应的事件标签为行的结尾，对应的文本中心词为行的中间内容的标志矩阵B。进一步地，所述步骤5具体如下：计算两个NDK之间的相关性C(NDKx，NDKy)其中，|NDKx∩NDKy|表示同时含有NDKx和NDKy的水下作业图片类型数，Min(|NDKx|，|NDKy|)表示含有NDKx的水下作业图片类型数和含有NDKy的水下作业图片类型数中的较小值；取所有相关性的平均值为标准值，相关性高于平均值的两个NDK互为相邻NDK，而在矩阵B中与这两个NDK对应的文本中心词也为相邻文本中心词；重新构造的标志矩阵EB以每个NDK为行的开头，对应的事件标签为行的结尾，对应的文本中心词和相邻文本中心词为行的中间内容；利用Jaccard相似性系数计算出标志矩阵EB中某一文本中心词与事件标签间的相关性S(Tk，Er)其中，Tk表示出现在矩阵EB第k个NDK行上的文本中心词，Ta表示出现在其相邻NDK行上的文本中心词，且与第k个NDK具有相同的事件标签Er；n为第k个NDK行上对应的文本中心词的数量；根据某一个NDK行所对应的具有相同事件标签的文本中心词之间的相似性，进而计算出某一NDKk与搜索主题事件之间的任意相关性S(NDKk，Er)其中，m表示在矩阵EB第k个NDK行上的文本中心词个数；采用多元对应分析法MCA计算每个NDK和多个搜索主题事件之间的关系；利用EB绘制出的判别测度图用于描述标志矩阵中各特征值间的关系其中，Yi，r表示EB中第i个特征值与第r个搜索主题事件之间的相关性，当判别测度图中绘制出的第i个特征值与第r个搜索主题事件之间的夹角小于90°时，说明第i个特征值与第r个搜索主题事件关联性强；夹角越小，二者之间的关联性越强；特征值是将标志矩阵EB视为二维表格，利用SPSS把每个格子里的内容离散化所得到的若干个特征值；因此计算出某个NDKk和事件Er之间的平均相关性PGk，r为其中，b表示矩阵EB中，NDKk行上对应的列数；综合考虑任意相关性和平均相关性，得到图片中包含的文本信息与搜索主题事件中所有事件中心词的相关性SIM(Tk，Er)SIM(Tk，Er)＝α×PGk，r+β×S(NDKk，Er)其中，α和β为两部分的权重，PGk，r表示NDKk中包含的文本信息与搜索主题事件Er的相关性，S(NDKk，Er)表示NDKk及其相邻DNK对应的文本中心词与搜索主题事件Er的相关性。进一步地，所述步骤6具体如下：构造关于NDK的图像特征轨迹模型tktk＝[tk(ej)，tk(ej+1)，...，tk(ej+s)]其中，s表示搜索主题事件数量，tk(ej)表示在NDKk中包含的关于事件标签ej的图像信息其中，dfj(ej)表示具有事件标签ej的某个NDKk行中包含的图像数，dfj表示所有具有事件标签ej的NDKk行中包含的图像总数，N(ej)表示某个具有事件标签ej行上包含的图像数，N表示所有具有事件标签ej行上包含的图像总数；把具有相同相邻NDK的所有NDK组成一个NDK组，则所有的NDK将被分成若干个NDK组，绘制第x个NDK组的平均图像轨迹模型txc为事件标签数，u为第x个NDK组中的NDK数；利用峰值差pvd、重叠跨度os和轨迹距离本文档来自技高网...

【技术保护点】
1.一种针对水下作业场景的图片检索方法，其特征在于，包括如下步骤：/n步骤1：将所有图片按水下作业类型分类存放，图片文件以文字说明作为文件名；/n步骤2：从搜索主题事件中提取出要检索内容的事件中心词数据集；/n步骤3：提取图片中包含的文本信息，构造出代表图片文本信息的文本中心词汇数据集；/n步骤4：提取图片中包含的图像信息，构造出代表图片图像信息的标志矩阵；/n步骤5：计算图片中包含的文本信息与搜索主题事件中所有事件中心词的相关性；/n步骤6：计算图片中包含的图像信息与搜索主题事件中所有事件中心词的相关性；/n步骤7：综合图片中包含的文本信息、图像信息与搜索主题事件的相关性，得到最符合的搜索结果。/n

【技术特征摘要】
1.一种针对水下作业场景的图片检索方法，其特征在于，包括如下步骤：
步骤1：将所有图片按水下作业类型分类存放，图片文件以文字说明作为文件名；
步骤2：从搜索主题事件中提取出要检索内容的事件中心词数据集；
步骤3：提取图片中包含的文本信息，构造出代表图片文本信息的文本中心词汇数据集；
步骤4：提取图片中包含的图像信息，构造出代表图片图像信息的标志矩阵；
步骤5：计算图片中包含的文本信息与搜索主题事件中所有事件中心词的相关性；
步骤6：计算图片中包含的图像信息与搜索主题事件中所有事件中心词的相关性；
步骤7：综合图片中包含的文本信息、图像信息与搜索主题事件的相关性，得到最符合的搜索结果。


2.如权利要求1所述的一种针对水下作业场景的图片检索方法，其特征在于：所述步骤2中，利用TDT方法，从搜索主题事件中提取出其中包含的关键词，组成事件中心词数据集。


3.如权利要求1所述的一种针对水下作业场景的图片检索方法，其特征在于：所述步骤3具体如下：
利用word2vec软件工具，从图片文件名中提取出中心词；采用基于词频的卡方统计方法，计算出每个提取出的中心词基于出现频率的卡方值PCHI
PCHI＝CHI×F(k，t)
其中
CHI为中心词k的传统卡方值，由传统卡方统计公式x2(k，t)计算得到，t为该类作业任务主题，N为同一类水下作业图片中提取出的中心词总数，A为包含中心词k的且符合主题t的中心词数，B为包含中心词k但不符合主题t的中心词数，C为不包含中心词k但符合主题t的中心词数，D为不包含中心词k且不符合主题t的中心词数；F(k，t)用于描述中心词k在主题t中出现的频率，Nk为主题t中包含中心词k的个数，Nt为主题t中所有中心词的个数；
计算所有中心词的PCHI值，高于平均值的中心词被选定为该类水下作业图片中包含的文本中心词，这些中心词组成的文本中心词汇数据集用于描述图片中包含的文本信息。


4.如权利要求1所述的一种针对水下作业场景的图片检索方法，其特征在于：所述步骤4具体如下：
采用非重复关键帧NDK提取方法，提取出每种类型图片的NDK来表示作业图片中包含的图像信息，计算出某个NDK属于某搜索主题事件的可能性K(NDKk，Er)



其中，|NDKk∩Er|表示NDKk和Er中含有的相同关键帧个数，|NDKk|表示含有NDKk这个非重复关键帧的水下作业图片类型数，Er表示第r个搜索主题事件，NDKk表示第k个NDK，各下标均表示编号；
比对每个NDK与搜索主题事件的事件中心词之间的关系，将获得最大K值的搜索主题事件作为该NDK的事件标签；最后构造出一个以每个NDK为行的开头，对应的事件标签为行的结尾，对应的文本中心词为行的中间内容的标志矩阵B。


5.如权利要求4所述的一种针对水下作业场景的图片检索方法，其特征在于：所述步骤5具体如下：
计算两个NDK之间的相关性C(NDKx，NDKy)



其中，|NDKx∩NDKy|表示同时含有NDKx和NDKy的水下作业图片类型数，Min(|NDKx|，|NDKy|)表示含有NDKx的水下作业图片类型数和含有NDKy的水下作业图片类型数中的较小值；取所有相关性的平均值为标准值，相关性高于平均值的两个NDK互为相邻NDK，而在矩阵B中与这两个NDK对应的文本中心词也为相邻文本中心词；重新构造的标志矩阵EB以每个NDK为行的开头，对应的事件标签为行的结尾，对应的文本中心词和相邻文本中心词为行的中间内容；
利用Jaccard相似性系数计算出标志矩阵EB中某一文本中心词与事件标签间的相关性S(Tk，Er)



其中，Tk表示出现在矩阵EB第k个NDK行上的文本中心词，Ta表示出现在其相邻NDK行上的文本中心词，且与第k个NDK具有相同的事件标签Er；n为第k个NDK行上对应的文本中心词的数量；
根据某一个NDK行所对应的具有相同事件标签的文本中心词之间的相似性，进而计算出某一NDKk与搜索主题事件之间的任意相关性S(NDKk，Er)

...

【专利技术属性】
技术研发人员：杨雪，陈巍，刘静，陈伟，夏细明，李佩娟，温秀平，郭铁铮，陈国军，
申请(专利权)人：南京工程学院，
类型：发明
国别省市：江苏;32