一种基于多光谱图像信息的行为识别方法及系统技术方案

本发明专利技术公开了一种基于多光谱图像信息的行为识别方法，包括如下步骤：由本地终端获取可见光谱图像以及红外光谱图像；由本地终端对红外光谱图像进行高解析度处理并将经过高解析度处理的红外光谱图像发送给服务器，或者由本地终端将红外光谱图像发送给服务器以便由服务器对于红外光谱图像进行高解析度处理；由服务器基于经过高解析度处理的红外光谱图像以及可见光谱图像，对图像中的物体进行识别；由服务器基于识别出的物体进行危险识别；当出现危险情况时，由服务器向报警中心发出预警；响应于接收到预警，由报警中心做出报警；其中，对红外光谱图像进行高解析度处理至少包括比较可见光谱图像与经过插值的红外光谱图像的步骤。

A behavior recognition method and system based on multispectral image information

【技术实现步骤摘要】
一种基于多光谱图像信息的行为识别方法及系统
本专利技术是关于红外图像处理识别
，特别是关于一种基于多光谱图像信息的行为识别方法及系统。
技术介绍
红外成像技术是一项前途广阔的高新技术。比0.78微米长的电磁波位于可见光光谱红色以外，称为红外线，又称红外辐射。是指波长为0.78-1000微米的电磁波，其中波长为0.78-2.0微米的部分称为近红外，波长为2.0-1000微米的部分称为热红外线。现有技术CN109034272A公开了一种电力巡检
，尤其涉及电力设备红外测温补偿技术，具体来说是一种输电线路发热部件自动识别方法。所述识别方法包括如下步骤：选取直升机电力巡检拍摄到的实时红外视频序列，对其进行Hough变换，检测输电线利用SIFT特征匹配识别红外图像中的绝缘子；采用Otsu自适应阈值算法对红外图像中的热点区域进行分割，提取出缺陷区域，并对其进行分类和分级。现有技术CN107043000B公开了一种基于机器视觉的皮带运输机安全智能保障系统，包括巨型异物识别系统，采用固定吊挂式机器人和异物识别模块构成的固定吊挂式机器人监测系统；煤流量监测系统，采用吊挂式轨道巡检机器人和煤流量监测模块构成的吊挂式轨道巡检机器人监测系统；托辊温度监测系统，采用由基于红外热像的托辊温度监测模块与轨道巡检机器人构成的了轨道巡检机器人监测系统；皮带监测系统，采用基于机器视觉的皮带损伤监测模块与吊挂式轨道巡检机器人构成的吊挂式轨道巡检机器人监测系统。公开于该
技术介绍
部分的信息仅仅旨在增加对本专利技术的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
技术实现思路
本专利技术的目的在于提供一种基于多光谱图像信息的行为识别方法及系统，其能够克服现有技术的缺陷。为实现上述目的，本专利技术提供了一种基于多光谱图像信息的行为识别方法，其特征在于：基于多光谱图像信息的行为识别方法包括如下步骤：由本地终端获取可见光谱图像以及红外光谱图像；由本地终端对红外光谱图像进行高解析度处理并将经过高解析度处理的红外光谱图像发送给服务器，或者由本地终端将红外光谱图像发送给服务器以便由服务器对于红外光谱图像进行高解析度处理；由服务器基于经过高解析度处理的红外光谱图像以及可见光谱图像，对图像中的物体进行识别；由服务器基于识别出的物体进行危险识别；当出现危险情况时，由服务器向报警中心发出预警；响应于接收到预警，由报警中心做出报警；其中，对红外光谱图像进行高解析度处理至少包括比较可见光谱图像与经过插值的红外光谱图像的步骤。在一优选的实施方式中，其中，对红外光谱图像进行高解析度处理包括如下步骤：利用双三次插值方法对红外光谱图像进行上采样以便使得红外光谱图像与可见光谱图像具有相同大小；将经过上采样的红外光谱图像作为初始红外图像；S1：基于初始红外图像或者候选红外图像建立成本函数，其中，成本函数如下：其中，是成本函数，是自定义的常数值，d是候选红外图像，是当前迭代得出的红外图像，并且其中，当i=0时，是初始红外图像。在一优选的实施方式中，其中，对红外光谱图像进行高解析度处理包括如下步骤：S2：基于可见光谱图像，得到可见光谱图像中的红色通道的图像；S3：设定相关性门限值；S4：在图像的给定区域中，计算红色通道的图像的多个像素点与初始红外图像的多个像素点或者候选红外图像的多个像素点之间的互相关性；S5：如果红色通道的图像的多个像素点与初始红外图像的多个像素点或者候选红外图像的多个像素点之间的互相关性大于相关性门限值，则确定图像的给定区域为互相关性区域。在一优选的实施方式中，其中，对红外光谱图像进行高解析度处理包括如下步骤：S6：对互相关性中的成本函数进行过滤，其中，对互相关性中的成本函数进行过滤基于以下公式：其中，是进行过过滤处理的成本函数，是自定义窗口，其中，自定义窗口的大小小于互相关性区域的大小，是红色通道的图像，其中，以及由以下公式定义；其中，是初始红外图像或者候选红外图像在中的平均值，是初始红外图像或者候选红外图像在中的方差，是自定义的常数值，由如下公式定义：其中，是自定义窗口中像素点的总数；S7：通过使得函数最小化，求得经过更新的候选红外图像d。在一优选的实施方式中，其中，对红外光谱图像进行高解析度处理包括如下步骤：S8：对经过更新的候选红外图像d进行次像素级内插，以得到完成的候选红外图像，其中，对经过更新的候选红外图像d进行次像素级内插具体是通过如下方法进行的：其中，，，并且其中，；S9：以完成的候选红外图像替换初始红外图像或者候选红外图像；迭代进行步骤S1-S9，直到成本函数的变化达到收敛标准，从而得到经过高解析度处理的红外图像。本专利技术提供了一种基于多光谱图像信息的行为识别系统，其特征在于：其中，基于多光谱图像信息的行为识别系统在服务器处完成，其中，基于多光谱图像信息的行为识别系统包括：用于基于经过高解析度处理的红外光谱图像以及可见光谱图像，对图像中的物体进行识别的模块，其中，可见光谱图像以及红外光谱图像是由本地终端获取的，并且其中，本地终端被配置为：对红外光谱图像进行高解析度处理并将经过高解析度处理的红外光谱图像发送给服务器，或者将红外光谱图像发送给服务器以便由服务器对于红外光谱图像进行高解析度处理；用于基于识别出的物体进行危险识别的模块；用于当出现危险情况时，向报警中心发出预警的模块；其中，对红外光谱图像进行高解析度处理至少包括比较可见光谱图像与经过插值的红外光谱图像的步骤。在一优选的实施方式中，其中，对红外光谱图像进行高解析度处理包括如下步骤：利用双三次插值方法对红外光谱图像进行上采样以便使得红外光谱图像与可见光谱图像具有相同大小；将经过上采样的红外光谱图像作为初始红外图像；S1：基于初始红外图像或者候选红外图像建立成本函数，其中，成本函数如下：其中，是成本函数，是自定义的常数值，d是候选红外图像，当前迭代得出的红外图像，并且其中，当i=0时，是初始红外图像。在一优选的实施方式中，其中，对红外光谱图像进行高解析度处理包括如下步骤：S2：基于可见光谱图像，得到可见光谱图像中的红色通道的图像；S3：设定相关性门限值；S4：在图像的给定区域中，计算红色通道的图像的多个像素点与初始红外图像的多个像素点或者候选红外图像的多个像素点之间的互相关性；S5：如果红色通道的图像的多个像素点与初始红外图像的多个像素点或者候选红外图像的多个像素点之间的互相关性大于相关性门限值，则确定图像的给定区域为互相关性区域。在一优选的实施方式中，其中，对红外光谱图像进行高解析度处理包括如下步骤：S本文档来自技高网...

【技术保护点】
1.一种基于多光谱图像信息的行为识别方法，其特征在于：所述基于多光谱图像信息的行为识别方法包括如下步骤：/n由本地终端获取可见光谱图像以及红外光谱图像；/n由本地终端对所述红外光谱图像进行高解析度处理并将经过高解析度处理的红外光谱图像发送给服务器，或者由本地终端将所述红外光谱图像发送给服务器以便由所述服务器对于所述红外光谱图像进行高解析度处理；/n由服务器基于经过高解析度处理的红外光谱图像以及所述可见光谱图像，对图像中的物体进行识别；/n由服务器基于识别出的物体进行危险识别；/n当出现危险情况时，由服务器向报警中心发出预警；/n响应于接收到所述预警，由报警中心做出报警；/n其中，对所述红外光谱图像进行高解析度处理至少包括比较可见光谱图像与经过插值的红外光谱图像的步骤。/n

【技术特征摘要】
1.一种基于多光谱图像信息的行为识别方法，其特征在于：所述基于多光谱图像信息的行为识别方法包括如下步骤：
由本地终端获取可见光谱图像以及红外光谱图像；
由本地终端对所述红外光谱图像进行高解析度处理并将经过高解析度处理的红外光谱图像发送给服务器，或者由本地终端将所述红外光谱图像发送给服务器以便由所述服务器对于所述红外光谱图像进行高解析度处理；
由服务器基于经过高解析度处理的红外光谱图像以及所述可见光谱图像，对图像中的物体进行识别；
由服务器基于识别出的物体进行危险识别；
当出现危险情况时，由服务器向报警中心发出预警；
响应于接收到所述预警，由报警中心做出报警；
其中，对所述红外光谱图像进行高解析度处理至少包括比较可见光谱图像与经过插值的红外光谱图像的步骤。


2.如权利要求1所述的基于多光谱图像信息的行为识别方法，其特征在于：其中，对所述红外光谱图像进行高解析度处理包括如下步骤：
利用双三次插值方法对所述红外光谱图像进行上采样以便使得所述红外光谱图像与所述可见光谱图像具有相同大小；
将经过上采样的红外光谱图像作为初始红外图像；
S1：基于所述初始红外图像或者候选红外图像建立成本函数，其中，所述成本函数如下：



其中，是成本函数，是自定义的常数值，d是候选红外图像，是当前迭代得出的红外图像，并且其中，当i=0时，是所述初始红外图像。


3.如权利要求2所述的基于多光谱图像信息的行为识别方法，其特征在于：其中，对所述红外光谱图像进行高解析度处理包括如下步骤：
S2：基于所述可见光谱图像，得到所述可见光谱图像中的红色通道的图像；
S3：设定相关性门限值；
S4：在图像的给定区域中，计算所述红色通道的图像的多个像素点与所述初始红外图像的多个像素点或者所述候选红外图像的多个像素点之间的互相关性；
S5：如果所述红色通道的图像的多个像素点与所述初始红外图像的多个像素点或者所述候选红外图像的多个像素点之间的互相关性大于所述相关性门限值，则确定所述图像的给定区域为互相关性区域。


4.如权利要求3所述的基于多光谱图像信息的行为识别方法，其特征在于：其中，对所述红外光谱图像进行高解析度处理包括如下步骤：
S6：对所述互相关性中的成本函数进行过滤，其中，对所述互相关性中的成本函数进行过滤基于以下公式：



其中，是进行过过滤处理的成本函数，是自定义窗口，其中，所述自定义窗口的大小小于所述互相关性区域的大小，是所述红色通道的图像，其中，以及由以下公式定义；






其中，是所述初始红外图像或者候选红外图像在中的平均值，是所述初始红外图像或者候选红外图像在中的方差，是自定义的常数值，由如下公式定义：



其中，是自定义窗口中像素点的总数；
S7：通过使得所述函数最小化，求得经过更新的候选红外图像d。


5.如权利要求4所述的基于多光谱图像信息的行为识别方法，其特征在于：其中，对所述红外光谱图像进行高解析度处理包括如下步骤：
S8：对所述经过更新的候选红外图像d进行次像素级内插，以得到完成的候选红外图像，其中，对所述经过更新的候选红外图像d进行次像素级内插具体是通过如下方法进行的：



其中，，，并且其中，

；
S9：以完成的候选红外图像替换所述初始红外图像或者候选红外图像；
迭代进行步骤S1-S9，直到成本函数的变化达到收敛标准，从而得到经过高解析度处理的红外图像。

<...

【专利技术属性】
技术研发人员：刘富，宋柏君，
申请(专利权)人：数海信息技术有限公司，
类型：发明
国别省市：北京;11