【技术实现步骤摘要】
本专利技术涉及视频检索和图像-文本跨模态识别领域，具体是一种设施损坏的识别方法及系统。
技术介绍
1、市政设施一般指规划区内的各种建筑物、构筑物、设备等，以道路设施为例，市政设施的完整性、可用性影响了居民出行的安全与效率。随着我国建设高峰的结束，目前市政设施的养护压力激增，完善、健全市政设施的巡查能力，及时发现市政设置的缺损并及时维修，控制巡查成本成为目前行业的焦点。
2、随着人工智能技术的发展与推广应用，以机器视觉为代表的算法、技术、系统应用开始在传统行业中“开花结果”，例如在巡查车上安装摄像头，当巡查车行驶时采集周围图像，采集的图像经人工智能算法处理，进而识别、标记图像中存在缺陷的道路设施，相关的数据存储到数据库中供进一步分析。
3、目前机器视觉在市政设施识别中的应用，主要以目标检测、图像分割、图像分类、语义分割等算法为主，或是多个算法相互结合，虽然能在一定程度上减少人工的投入，但也存在如下一些问题：
4、1、现有的人工智能算法，主要以目标检测器为主，模型根据既有的样本库学习目标的特征，在采集的图像中对熟悉的特征纹理进行识别，识别的效果受制于目标物样本在图像中的数量与特征复杂度，想要增加新的目标识别，就要在样本中添加新类别的目标样本。
5、2、市政工程领域，目标物众多，且不同类型的目标物，数量分布及特征复杂度不同，部分样本很少、很难出现。
6、3、同一目标物，在不同的空间、时间条件下，也具有不同的特性，单纯依赖目标检测器难以完成多任务，如果需要完成目标检测以外的其他
7、4、目前识别的数据只有图片和类别、目标区域等信息，检测算法单一的功能限制了数据的交互与挖掘。
技术实现思路
1、针对目前机器视觉在市政巡查中存在的问题，本专利提出一种设施损坏的识别方法及系统，让机器视觉与自然语言模型进行融合，一方面让图像感知模型在目标识别时具有一定的关联、迁移能力；另一方面，让识别目标的特征结果进行高维向量化，存入向量数据库，根据需要进行向量搜索，以实现多任务。
2、为实现上述目的，本专利技术提供如下技术方案：
3、一种设施损坏的识别方法，所述方法包括以下步骤：
4、采集目标物的图像；
5、对采集的图像进行识别，并提取出目标物的高维特征向量，将提取的高维特征向量vimg和其他标量存储向量数据库中，其中，所述其他标量包括经纬度、采集时间和设备编号；
6、多轮比对高维特征向量和自然语言生成的特征向量，认定目标物的分类特征，实现对小样本以及零样本目标物的识别。
7、作为本专利技术进一步的技术方案，所述对采集的图像进行识别，并提取出目标物的高维特征向量的步骤包括：
8、使用图像识别模型对采集的图像进行目标提取，得到图像内的roi区域，其中，所述图像识别模型包括目标检测模型和图像分割模型；
9、使用图像特征提取模型，对roi区域图像进行处理，获得高维特征向量vimg；所述高维特征向量vimg的向量维度≥100，且需要进行归一化，其中，所述图像特征提取模型在训练时，构造的数据集为图像与文字样本对，其中文字的内容是对图像的特征描述；
10、将提取的高维特征向量vimg和其他标量存储向量数据库中。
11、作为本专利技术进一步的技术方案，所述多轮比对高维特征向量和自然语言生成的特征向量，认定目标物的分类特征，实现对小样本以及零样本目标物的识别的步骤包括：
12、将目标的特征描述整合成语句s1、s2、s3，使用语言模型将s1、s2、s3处理成高维特征向量vword1、vword2、vword3，其中，所述目标的特征包括目标的类别、目标的位置描述和等级划分；
13、将图像的高维特征向量vimg与自然语言生成的高维特征向量vword1进行比对，计算向量距离，当图像的高维特征向量vimg与vword1向量距离最小时，可认定该目标图像具有s1特征特性；
14、将识别目标进行多轮比对，进而实现对小样本以及零样本目标物的识别；
15、根据业务需要，将目标物的特征用一个语句描述，使用语言模型转成对应的特征向量vtest，并使用vtest在向量数据库中进行混合搜索，所述混合搜索是指对向量数据库中对应的标量进行限定。
16、本专利技术实施例的另一目的在于提供一种设施损坏的识别系统，所述系统包括：
17、图像采集模块，用于采集目标物的图像；
18、图像识别模块，用于对采集的图像进行识别，并提取出目标物的高维特征向量，将提取的高维特征向量vimg和其他标量存储向量数据库中，其中，所述其他标量包括经纬度、采集时间和设备编号；
19、向量比对模块，用于多轮比对高维特征向量和自然语言生成的特征向量，认定目标物的分类特征，实现对小样本以及零样本目标物的识别。
20、作为本专利技术进一步的技术方案，所述图像识别模块包括：
21、目标提取单元，用于使用图像识别模型对采集的图像进行目标提取，得到图像内的roi区域，其中，所述图像识别模型包括目标检测模型和图像分割模型；
22、特征向量获取单元，用于使用图像特征提取模型，对roi区域图像进行处理，获得高维特征向量vimg；所述高维特征向量vimg的向量维度≥100，且需要进行归一化，其中，所述图像特征提取模型在训练时，构造的数据集为图像与文字样本对，其中文字的内容是对图像的特征描述；
23、数据存储单元，用于将提取的高维特征向量vimg和其他标量存储向量数据库中，其中，所述其他标量包括经纬度、采集时间和设备编号。
24、作为本专利技术进一步的技术方案，在s3步骤中，所述向量比对模块包括：
25、特征向量生成单元，用于将目标的特征描述整合成语句s1、s2、s3，使用语言模型将s1、s2、s3处理成高维特征向量vword1、vword2、vword3，其中，所述目标的特征包括目标的类别、目标的位置描述和等级划分；
26、特征向量对比单元，用于将图像的高维特征向量vimg与自然语言生成的高维特征向量vword1进行比对，计算向量距离，当图像的高维特征向量vimg与vword1向量距离最小时，可认定该目标图像具有s1特征特性；
27、目标多轮比对单元，用于将识别目标进行多轮比对，进而实现对小样本以及零样本目标物的识别；
28、特征向量搜索单元，用于根据业务需要，将目标物的特征用一个语句描述，使用语言模型转成对应的特征向量vtest，并使用vtest在向量数据库中进行混合搜索，所述混合搜索是指对向量数据库中对应的标量进行限定。
29、与现有技术相比，本专利技术的有益效果是：
30、1、图像特征提取网络不仅学习破损的目标物特征，也会学习非破损目标物的特征，并且具有比对本文档来自技高网...
【技术保护点】
1.一种设施损坏的识别方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的一种设施损坏的识别方法，其特征在于，所述对采集的图像进行识别，并提取出目标物的高维特征向量，将提取的高维特征向量Vimg和其他标量存储向量数据库中的步骤包括：
3.根据权利要求2所述的一种设施损坏的识别方法，其特征在于，所述多轮比对高维特征向量和自然语言生成的特征向量，认定目标物的分类特征，实现对小样本以及零样本目标物的识别的步骤包括：
4.一种设施损坏的识别系统，其特征在于，所述系统包括：
5.根据权利要求4所述的一种设施损坏的识别系统，其特征在于，所述图像识别模块包括：
6.根据权利要求5所述的一种设施损坏的识别系统，其特征在于，在S3步骤中，所述向量比对模块包括：
【技术特征摘要】
1.一种设施损坏的识别方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的一种设施损坏的识别方法，其特征在于，所述对采集的图像进行识别，并提取出目标物的高维特征向量，将提取的高维特征向量vimg和其他标量存储向量数据库中的步骤包括：
3.根据权利要求2所述的一种设施损坏的识别方法，其特征在于，所述多轮比对高维特征向量和自然...
【专利技术属性】
技术研发人员：曾杰，严京旗，杜佳奇，黄前华，欧阳天雨，邵茜，
申请(专利权)人：上海同陆云交通科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。