基于视频监控与机器人的多信息融合行人检索方法与系统技术方案

本公开涉及机器人视觉技术领域，提出了基于视频监控与机器人的多信息融合行人检索方法与系统，方法包括如下步骤：获取监控摄像头采集的图像数据，利用行人重识别模块进行行人重识别处理，得到行人重识别结果；获取移动机器人采集到的图像数据，对多个移动机器人采集的图像信息进行人脸识别处理；将监控摄像头与移动机器人采集的图像信息处理后进行融合，根据移动机器人与行人位置关系，利用行人所在区域的机器人采集的人脸信息对行人重识别模块的检测结果进行补充，得到目标行人检索结果。利用区域监控视觉传感器与机器人视觉传感器之间相互配合，分别从全局与局部对相关区域进行搜索，弥补单一视觉传感器所带来的问题，实现目标人物的搜索。现目标人物的搜索。现目标人物的搜索。

【技术实现步骤摘要】
基于视频监控与机器人的多信息融合行人检索方法与系统


[0001]本公开涉及机器人视觉相关
，具体的说，是涉及一种基于视频监控与机器人的多信息融合行人检索方法与系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，并不必然构成在先技术。
[0003]在大型公共场合下实现大范围场景内特定人物搜寻任务，在应对老人儿童走失等紧急任务中，具有重要意义。随着监控摄像头的全面覆盖，使得构建一个检索场景内某一特定目标人物的系统变得可行。对场景内的特定目标人物检索，目前主流技术以行人重识别为主，通过对跨摄像头采集的视频图像信息进行检索，找到特定目标出现在哪个摄像头覆盖的范围下。但在目标发生大面积遮挡、更换衣服、室内环境光线变化等情况下，检测的效果明显下降；另外，对于未布置监控系统的区域无法有效搜索。

技术实现思路

[0004]本公开为了解决上述问题，提出了基于视频监控与机器人的多信息融合行人检索方法与系统，利用区域监控视觉传感器与机器人视觉传感器之间相互配合，分别从全局与局部对相关区域进行搜索，弥补单一视觉传感器所带来的问题，构建特定目标检索系统，实现目标人物的搜索。
[0005]为了实现上述目的，本公开采用如下技术方案：
[0006]一个或多个实施例提供了基于视频监控与机器人的多信息融合行人检索方法，包括如下步骤：
[0007]获取监控摄像头采集的图像数据，利用行人重识别模块进行行人重识别处理，得到行人重识别结果；
[0008]获取移动机器人采集到的图像数据，对多个移动机器人采集的图像信息进行人脸识别处理；
[0009]将监控摄像头与移动机器人采集的图像信息处理后进行融合，根据移动机器人与行人位置关系，利用行人所在区域的机器人采集的人脸信息对行人重识别模块的检测结果进行补充。
[0010]一个或多个实施例提供了基于视频监控与机器人的多信息融合行人检索系统，包括图像数据采集端、设备通信端、图像处理端以及业务应用端；
[0011]图像数据采集端包括监控摄像头与移动机器人视觉传感器，用于联合采集图像信息；
[0012]设备通信端用于将采集的图像信息发送给图像处理端的终端处理器进行处理；
[0013]图像处理端：用于采用上述的行人检索方法，对采集的图像进行处理；
[0014]业务应用端：根据相应的业务逻辑，采用不同的融合策略，实现行人检索。
[0015]一个或多个实施例提供了基于视频监控与机器人的多信息融合行人检索系统，包括：
[0016]行人重识别模块：被配置为获取监控摄像头采集的图像数据，利用行人重识别模块进行行人重识别处理，得到行人重识别结果；
[0017]行人重识别结果包括分类后的行人图片，及行人图片与待寻找目标行人图片间的相似度信息；
[0018]人脸识别模块：被配置为获取移动机器人采集到的图像数据，对多个移动机器人采集的图像信息进行人脸识别处理；
[0019]融合模块：被配置为将监控摄像头与移动机器人采集的图像信息处理后进行融合，根据移动机器人与行人位置关系，利用行人所在区域的机器人采集的人脸信息对行人重识别模块的检测结果进行补充，得到目标行人检索结果。
[0020]与现有技术相比，本公开的有益效果为：
[0021]本公开通过将人脸识别结果补充至行人重识别的检索结果中，解决目前行人检索任务存在的检测效果差、不适用问题，在目标发生大面积遮挡、环境光线变化等情况下，通过人脸识别将人脸信息补充至行人重识别的结果中，能够更加准确的定位检索目标行人。
[0022]本公开的优点以及附加方面的优点将在下面的具体实施例中进行详细说明。
附图说明
[0023]构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的限定。
[0024]图1是本公开实施例1的行人检索系统的整体框架图；
[0025]图2是本公开实施例1的移动机器人端与图像处理端进行Socket通信流程图；
[0026]图3是本公开实施例1的图像数据处理端进行数据处理的流程示意图；
[0027]图4是本公开实施例1的图像数据处理端的整体模型架构图；
[0028]图5是本公开实施例1的业务应用端的框架图；
[0029]图6是本公开实施例1的单独采用行人重识别检测错误结果示例。
具体实施方式
[0030]下面结合附图与实施例对本公开作进一步说明。
[0031]应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属
的普通技术人员通常理解的相同含义。
[0032]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要说明的是，在不冲突的情况下，本公开中的各个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。
[0033]随着移动机器人的普及，在餐饮、医疗、养老等方面发挥着越来越重要的作用，移
动机器人通常都配有摄像头用于局部环境感知，可以弥补监控死角、未布置监控设备区域的信息采集问题。
[0034]单一的视觉传感器在一定程度上或多或少的存在某些问题，因此结合区域监控与移动机器人视觉传感器各自的优势，提出将监控摄像头与移动机器人视觉传感器相融合的行人检索系统，解决目前行人检索任务存在的检测效果差、不适用等实际问题，本公开利用区域监控视觉传感器与机器人视觉传感器之间相互配合，分别从全局与局部对相关区域进行搜索，弥补单一视觉传感器所带来的问题，构建特定目标检索系统，实现目标人物的搜索。下面以具体的实施例进行说明。
[0035]实施例1
[0036]在一个或多个实施方式公开的技术方案中，如图1
‑
图6所示，基于视频监控与机器人的多信息融合行人检索系统，包括：图像数据采集端，设备通信端，图像处理端，以及业务应用端。
[0037]图像数据采集端包括监控摄像头与移动机器人视觉传感器，可以联合采集图像信息；
[0038]设备通信端将采集的图像信息发送给图像处理端的终端处理器进行处理；
[0039]图像处理端是整个框架中最重要的一部分，由于其携带具有高算力的显卡，能够运行较大的深度神经网络，被配置为对采集图像的特征提取、特征匹配等任务，作为整体架构中的核心；
[0040]当采集的图像在图像处理端进行相应的处理后，业务应用端根据相应的业务逻辑，采用不同的融合策略，对处理后的信息加以利用，以满足业务需求，业务需求可以为实现行人检索。
[0041]可选的，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于视频监控与机器人的多信息融合行人检索方法，其特征在于，包括如下步骤：获取监控摄像头采集的图像数据，利用行人重识别模块进行行人重识别处理，得到行人重识别结果；获取移动机器人采集到的图像数据，对多个移动机器人采集的图像信息进行人脸识别处理；将监控摄像头与移动机器人采集的图像信息处理后进行融合，根据移动机器人与行人位置关系，利用行人所在区域的机器人采集的人脸信息对行人重识别模块的检测结果进行补充，得到目标行人检索结果。2.如权利要求1所述的基于视频监控与机器人的多信息融合行人检索方法，其特征在于：行人重识别方法，包括如下步骤：对获取的监控摄像头的数据进行行人检测，对图像中存在行人的区域进行框选，得到多个行人图片；对行人检测后的行人图片进行特征提取，对行人图片与待寻找目标行人图片的异同进行比较与匹配，得到行人图片与待寻找目标行人图片间的相似度信息。3.如权利要求1所述的基于视频监控与机器人的多信息融合行人检索方法，其特征在于：人脸识别模块采用face_recognition人脸检测模块。4.如权利要求1所述的基于视频监控与机器人的多信息融合行人检索方法，其特征在于：将监控摄像头与移动机器人采集的图像信息处理后进行融合的方法，具体为：当监控摄像头检测的效果较差，无法检测出目标人物时，调动移动机器人以及通过人脸识别模块识别结果进行补充，将监控摄像头采集到的图像处理的结果和移动机器人采集的图像数据处理结果结合，得到目标人物信息。5.基于视频监控与机器人的多信息融合行人检索系统，其特征在于：包括图像数据采集端、设备通信端、图像处理端以及业务应用端；图像数据采集端包括监控摄像头与移动机器人视觉传感器，用于联合采集图像信息；设备通信端用于将采集的图像信息发送给图像处理端的终端处理器进行处理；图像处理端：用于采用权利要求1
‑
4任一项所述的行人检索方法，对采集的图像进行处理；业务应用端：根据相应的业务逻辑，采用不同的融合策略，实现行人检索。6.如权利要求5所述的基于视频监控与机器人的多信息...

【专利技术属性】
技术研发人员：许庆阳，于洋，孙润泽，宋勇，袁宪锋，庞豹，李贻斌，
申请(专利权)人：山东大学，
类型：发明
国别省市：