一种用于夜视环境的视觉图像处理设备、系统和智能机器技术方案

本发明专利技术提供了一种用于夜视环境的视觉图像处理设备、系统和智能机器，包括：红外发光器件，用于向多维图像采集装置视觉监控空间内的物体发射红外光；多维图像采集装置，用于采集物体反射的红外光，对红外光进行聚焦成像处理，得到对应的视频图像；前端图像处理装置，用于建立视觉监控空间对应的三维模型，并以此得到物体的空间位置信息和监控信息；其基于红外发光器件的补光，实时获取视觉监控空间内的视频图像，并据此构建三维位置信息模型，得到物体的三维监控信息，据此进行物体安防识别、安防监控、暗光条件下监控测量等，其识别精度较高，同时，还可以根据上述三维监控信息进行路径规划，使得智能机器实施自动避障巡视检查。

【技术实现步骤摘要】

本专利技术涉及图像处理
，具体而言，涉及一种用于夜视环境的视觉图像处理设备、系统和智能机器。
技术介绍
随着经济的发展，人类在满足了衣、食、住、行的基本需求后，人身与财富安全防护需求自然就提升到了一个新的高度。视频监控因其直观性和连续性成为大家首选的技术安防方式。目前，红外夜视摄像机则因满足夜间环境下的隐蔽和拍摄画面清晰被大量广泛应用于视频监控中。具体的，在监控地点安装红外夜视摄像机，并通过红外夜视摄像机采集其覆盖范围内的视频图像，并将采集的视频图像进行存储，在监测到嫌疑对象时，从采集的图像信息中识别和定位当前的嫌疑对象，并对该嫌疑对象进行跟踪，以实现对该嫌疑对象的视频监控。专利技术人在研究中发现，目前基于红外夜视摄像机的监控还停留在平面二维的视频监控阶段，识别精度较低，对人物、车辆等等的识别和追踪存在一定的局限性。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提供一种用于夜视环境的视觉图像处理设备、系统和智能机器，能够将夜视环境下根据进行三维物体识别及实施避障，使得识别精度较高且避障效果好。第一方面，本专利技术实施例提供了一种用于夜视环境的视觉图像处理设备，包括：红外发光器件、多维图像采集装置和前端图像处理装置；所述红外发光器件，用于向所述多维图像采集装置的视觉监控空间发射红外光；所述多维图像采集装置，用于实时采集其视觉监控空间内的物体反射的红外光，对所述红外光进行聚焦成像处理，得到动态连续的视频图像，将所述视频图像发送至前端图像处理装置；所述前端图像处理装置与所述多维图像采集装置相连接，用于根据所述视频图像进行三维建模，得到所述多维图像采集装置的视觉监控空间对应的三维模型，并根据所述三维模型得到物体的监控信息；所述监控信息至少物体的以下信息包括：种类信息、尺寸信息和空间位置信息。结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，用于夜视环境的视觉图像处理设备，还包括高精度辅助图像采集装置；所述高精度辅助图像采集装置，用于采集其视觉监控空间内的物体反射的红外光，对所述红外光进行聚焦成像处理，得到动态连续的高精度视频图像，将所述高精度视频图像发送至前端图像处理装置；所述前端图像处理装置还用于，根据所述高精度视频图像对所述三维模型进行校准处理，得到校准后的三维模型，并从所述校准后的三维模型中获取所述物体的监控信息。结合第一方面的第一种可能的实施方式，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，所述多维图像采集装置包括：单目镜头或者双目镜头；所述双目镜头包括：第一组采集镜头和第二组采集镜头；所述单目镜头，用于实时采集其视觉监控空间内的物体反射的红外光，对所述红外光进行聚焦成像处理，得到动态连续的视频图像，将所述视频图像以第一预设频率发送至前端图像处理装置；所述第一组采集镜头和所述第二组采集镜头，分别用于采集对应视觉监控空间内的动态连续的图像数据，将所有的图像数据均以所述第一预设频率发送至前端图像处理装置。结合第一方面的第二种可能的实施方式，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，所述前端图像处理装置包括：控制装置、专用视觉处理装置和存储器；所述控制装置，用于控制所述专用视觉处理装置处理过程中的算法和与所述算法对应的处理结果；以及，控制所述存储器存储的数据流和对应的数据流通路；所述专用视觉处理装置，用于在所述控制装置的控制下，对所述连续图像数据进行三维建模处理，得到三维模型，并从所述三维模型中获取所述图像数据对应的物体的监控信息，并根据所述监控信息得到对应的障碍物综合信息；所述存储器，用于在所述控制装置的控制下，存储所述多维图像采集装置发送的动态连续的图像数据，高精度辅助图像采集装置发送的高精度视频图像、三维模型，和/或，校准后的三维模型，以及，所述监控信息和所述障碍物综合信息。结合第一方面的第三种可能的实施方式，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，所述专用视觉处理装置包括：接收模块，用于接收所述双目镜头发送的两组视频图像，分别提取两组所述视频图像中的图像特征数据；识别模块，用于运用深度学习的方法训练所述图像特征数据，得到所述视频图像中的物体的种类信息；立体匹配模块，用于将不同视点下两组图像特征数据进行立体进行匹配，并对匹配到同一位置的两组图像特征数据进行校正处理，得到在同一位置中两组图像特征数据的视差；距离尺寸计算模块，用于根据所述视差和所述双目镜头的姿态信息，计算当前位置与所述双目镜头的视觉监控空间内物体的距离；三维建模模块，用于根据当前位置与所述双目镜头的视觉监控空间内物体的距离，构建三维模型，并根据所述三维模型得到所述视频图像中的物体的空间位置信息。结合第一方面的第四种可能的实施方式，本专利技术实施例提供了第一方面的第五种可能的实施方式，其中，所述前端图像处理装置还包括：语音识别合成装置；所述语音识别合成装置，用于接收用户发送的语音信息，对所述语音信息进行识别处理，得到对应的目的地址；以及，根据所述目的地址和所述障碍物综合信息，合成与所述目的地址对应的提示语音，输出所述提示语音以进行提示。结合第一方面的第五种可能的实施方式，本专利技术实施例提供了第一方面的第六种可能的实施方式，其中，所述前端图像处理装置还包括：路径规划子系统；所述路径规划子系统，用于根据所述障碍物综合信息对原有导航路径进行调整或者重新生成导航路径结合第一方面的第二种可能的实施方式，本专利技术实施例提供了第一方面的第七种可能的实施方式，其中，第一组采集镜头和第二组采集镜头均包括一个单目镜头或多个单目镜头。结合第一方面的第一种可能的实施方式，本专利技术实施例提供了第一方面的第八种可能的实施方式，其中，多维图像采集装置包括单目镜头；单目镜头，用于实时采集其视觉监控空间内的物体反射的红外光，对红外光进行聚焦成像处理，得到动态连续的视频图像，将视频图像以第一预设频率发送至前端图像处理装置。本专利技术实施例提供的一种用于夜视环境的视觉图像处理设备，与现有技术中基于红外夜视摄像机的监控还停留在平面二维的视频监控阶段，识别精度较低相比，其基于红外发光器件的补光，实时获取其视觉监控空间内动态连续的视频图像，并通过前端图像处理装置对该视频图像进行实时信息分析，构建三维位置信息模型，得到物体的三维监控信息，根据据此进行物体安防识别，以进行安防监控、暗光条件下监控测量等，其识别精度较高，同时，还可以根据上述三维监控信息进行路径规划，使得智能机器实施自动避障巡视检查。第二方面，本专利技术实施例还提供了一种智能机器，包括：智能机器本体和上述第一方面任一项所述的用于夜视环境的视觉图像处理设备；所述视觉图像处理设备嵌入所述智能机器本体中；所述智能机器，用于实时监控其视觉监控空间中物体的三维监控信息，并将所述三维监控信息进行存储，以便后续进行安防识别；和/或，接收用户发送的语音信息，对所述语音信息进行识别处理，得到对应的目的地址；以及，检测前方视觉监控空间中的障碍物综合信息，根据所述障碍物综合信息，规划所述目的地址的行走路径，并控制按照规划后的行走路径行走，以实施避障。本专利技术实施例提供的一种智能机器，与现有技术中基于红外夜视摄像机的监控还停留在平面二维的视频监控阶段，识别精度较低相比，其基于红外发光器件的补光，本文档来自技高网...

【技术保护点】
一种用于夜视环境的视觉图像处理设备，其特征在于，包括：红外发光器件、多维图像采集装置和前端图像处理装置；所述红外发光器件，用于向所述多维图像采集装置的视觉监控空间发射红外光；所述多维图像采集装置，用于实时采集其视觉监控空间内的物体反射的红外光，对所述红外光进行聚焦成像处理，得到动态连续的视频图像，将所述视频图像发送至前端图像处理装置；所述前端图像处理装置与所述多维图像采集装置相连接，用于根据所述视频图像进行三维建模，得到所述多维图像采集装置的视觉监控空间对应的三维模型，并根据所述三维模型得到物体的监控信息；所述监控信息至少物体的以下信息包括：种类信息、尺寸信息和空间位置信息。

【技术特征摘要】
1.一种用于夜视环境的视觉图像处理设备，其特征在于，包括：红外发光器件、多维图像采集装置和前端图像处理装置；所述红外发光器件，用于向所述多维图像采集装置的视觉监控空间发射红外光；所述多维图像采集装置，用于实时采集其视觉监控空间内的物体反射的红外光，对所述红外光进行聚焦成像处理，得到动态连续的视频图像，将所述视频图像发送至前端图像处理装置；所述前端图像处理装置与所述多维图像采集装置相连接，用于根据所述视频图像进行三维建模，得到所述多维图像采集装置的视觉监控空间对应的三维模型，并根据所述三维模型得到物体的监控信息；所述监控信息至少物体的以下信息包括：种类信息、尺寸信息和空间位置信息。2.根据权利要求1所述的用于夜视环境的视觉图像处理设备，其特征在于，还包括高精度辅助图像采集装置；所述高精度辅助图像采集装置，用于采集其视觉监控空间内的物体反射的红外光，对所述红外光进行聚焦成像处理，得到动态连续的高精度视频图像，将所述高精度视频图像发送至前端图像处理装置；所述前端图像处理装置还用于，根据所述高精度视频图像对所述三维模型进行校准处理，得到校准后的三维模型，并从所述校准后的三维模型中获取所述物体的监控信息。3.根据权利要求2所述的用于夜视环境的视觉图像处理设备，其特征在于，所述多维图像采集装置包括：单目镜头或者双目镜头；所述双目镜头包括：第一组采集镜头和第二组采集镜头；所述单目镜头，用于实时采集其视觉监控空间内的物体反射的红外光，对所述红外光进行聚焦成像处理，得到动态连续的视频图像，将所述视频图像以第一预设频率发送至前端图像处理装置；所述第一组采集镜头和所述第二组采集镜头，分别用于采集对应视觉监控空间内的动态连续的图像数据，将所有的图像数据均以所述第一预设频率发送至前端图像处理装置。4.根据权利要求3所述的用于夜视环境的视觉图像处理设备，其特征在于，所述前端图像处理装置包括：控制装置、专用视觉处理装置和存储器；所述控制装置，用于控制所述专用视觉处理装置处理过程中的算法和与所述算法对应的处理结果；以及，控制所述存储器存储的数据流和对应的数据流通路；所述专用视觉处理装置，用于在所述控制装置的控制下，对所述连续图像数据进行三维建模处理，得到三维模型，并从所述三维模型中获取所述图像数据对应的物体的监控信息，并根据所述监控信息得到对应的障碍物综合信息；所述存储器，用于在所述控制装置的控制下，存储所述多维图像采集装置发送的动态连续的图像数据，高精度辅助图像采集装置发送的高精度视频图像、三维模型，和/或，校准后的三维模型，以及，所述监控信息和所述障碍物综合信息。5.根据权利要求4所述的用于夜视环境的视觉图像处理...

【专利技术属性】
技术研发人员：肖洪波，付铭明，
申请(专利权)人：触景无限科技北京有限公司，
类型：发明
国别省市：北京;11