本申请实施例提供一种基于三光融合的托辊监控方法、装置和巡检机器人，该方法包括：获取包含有托辊支架编号及转动托辊的监控图像；获取对应时刻下托辊所在位置的光学图像和红外热成像；利用托辊识别模型实时识别光学图像中的每个托辊，并根据红外热成像确定每个托辊的实际温度；当检测到存在托辊的实际温度超过预设温度阈值时，触发托辊过热报警，并从监控图像中提取报警时刻对应的视频片段，视频片段用于获得过热托辊所在的支架编号信息。本方案可以实现托辊的温度实时监控及在出现高温时自动报警及定位，进而有效地预防托辊过热导致设备损坏，大大降低人力成本等。大大降低人力成本等。大大降低人力成本等。
【技术实现步骤摘要】
基于三光融合的托辊监控方法、装置和巡检机器人
[0001]本申请涉及托辊监控
，尤其涉及一种基于三光融合的托辊监控方法、装置和巡检机器人。
技术介绍
[0002]在长距离的工业管带传输机(以下称管带机)的场景中，由于管带处于高速传输运动，与之接触的托辊也处于高速转动状态，因此会出现发热问题。传统的托辊过热检测方法主要基于单目光学摄像机进行监控使用，例如，可以利用分辨率高的摄像机来监控托辊的磨损状态来此判断托辊是否异常。单目光学摄像机的优点在于直观，硬件成本低。然而，在实际运用中却存在一些问题。例如，在高速传输的管带机中，托辊一直处于高速转动状态，托辊磨损的检测难度很高，导致每条管带机还需一定的人力来监控，人力成本高；而且，当发生磨损时，实际托辊的温度过热已经非常严重，很可能已威胁到企业的正常生产，无法做到防患于未然。
技术实现思路
[0003]有鉴于此，本申请实施例提供一种基于三光融合的托辊监控方法、装置和巡检机器人。
[0004]第一方面，本申请实施例提供一种基于三光融合的托辊监控方法，包括：
[0005]获取包含有托辊支架编号及转动托辊的监控图像；
[0006]获取对应时刻下托辊所在位置的光学图像和红外热成像；
[0007]利用托辊识别模型实时识别所述光学图像中的每个托辊，并根据所述红外热成像确定每个托辊的实际温度；
[0008]当检测到存在托辊的所述实际温度超过预设温度阈值时，触发托辊过热报警，并从所述监控图像中提取报警时刻对应的视频片段，所述视频片段用于获得过热托辊所在的支架编号信息。
[0009]第二方面，本申请实施例提供一种基于三光融合的托辊监控装置，包括：
[0010]数据获取模块，用于获取包含有托辊支架编号及转动托辊的监控图像；
[0011]所述数据获取模块，还用于获取对应时刻下托辊所在位置的光学图像以及红外热成像；
[0012]托辊识别模块，用于利用托辊识别模型实时识别所述光学图像中的每个托辊；
[0013]温度计算模块，用于根据所述红外热成像确定每个托辊的实际温度；
[0014]报警控制模块，用于当检测到存在托辊的所述实际温度超过预设温度阈值时，触发托辊过热报警，并从所述监控图像中提取报警时刻对应的视频片段，所述视频片段用于获得过热托辊所在的支架编号信息。
[0015]第三方面，本申请实施例提供一种巡检机器人，所述巡检机器人上设有全局光学相机、局部光学相机、红外热成像相机、处理器和存储器；所述存储器存储有计算机程序，所
述处理器用于执行所述计算机程序以实施上述的基于三光融合的托辊监控方法；
[0016]其中，所述全局光学相机用于采集能拍摄到托辊支架编号及转动托辊的监控图像，所述局部光学相机用于采集对应时刻下托辊所在位置的光学图像，所述红外热成像相机用于采集同一时刻下相同位置的红外热成像。
[0017]第四方面，本申请实施例提供一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上执行时，实施上述的基于三光融合的托辊监控方法。
[0018]本申请的实施例具有如下有益效果：
[0019]本申请的基于三光融合的托辊监控方法可用于对管带机上的托辊进行过热监控，通过全局光学相机来获取包含有托辊支架编号及转动托辊的监控图像，以实现传统监控；同时，利用局部光学相机及红外热成像相机来分别获取托辊所在位置的光学图像和红外热成像；然后利用托辊识别模型实时识别光学图像中的每个托辊并根据红外热成像确定每个托辊的实际温度；当存在托辊的实际温度超过预设温度阈值时，触发托辊过热报警，并从监控图像中提取报警时刻对应的视频片段，视频片段用于获得过热托辊所在的支架编号信息。本方案中通过利用三光数据(即两个光学相机的数据加上红外相机的数据)，实现了托辊温度的实时监控及在出现高温时自动报警及提取过热托辊信息，不仅可以有效地预防托辊过热而导致设备损坏，大大降低人力成本，而且维修人员只需要通过从全局相机拍摄的视频片段中即可以快速定位到过热托辊的位置信息，提高了维修效率及生产效率等。
附图说明
[0020]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0021]图1示出了本申请实施例的巡检机器人的结构示意图；
[0022]图2示出了本申请实施例的巡检机器人的另一种结构示意图；
[0023]图3示出了本申请实施例的基于三光融合的托辊监控方法的流程图；
[0024]图4示出了本申请实施例的全局光学相机拍摄到托辊支架编号的图像；
[0025]图5示出了本申请实施例的托辊识别模型的获取流程图；
[0026]图6示出了本申请实施例的托辊识别模型的第一种结构示意图；
[0027]图7示出了本申请实施例的中间优化残差结构的结构示意图；
[0028]图8示出了本申请实施例的托辊识别模型中的空间金字塔池化层的结构示意图；
[0029]图9示出了本申请实施例的托辊识别模型的第二种结构示意图；
[0030]图10示出了本申请实施例的托辊温度检测的流程图；
[0031]图11示出了一种实际托辊的温度识别的示意图；
[0032]图12示出了本申请实施例的基于三光融合的托辊监控装置的结构示意图。
具体实施方式
[0033]下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
[0034]通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0035]在下文中，可在本申请的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0036]除非另有限定，否则这里使用的所有术语(包括技术术语和科学术语)具有与本申请的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关
中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本申请本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于三光融合的托辊监控方法，其特征在于，包括：获取包含有托辊支架编号及转动托辊的监控图像；获取对应时刻下托辊所在位置的光学图像和红外热成像；利用托辊识别模型实时识别所述光学图像中的每个托辊，并根据所述红外热成像确定每个托辊的实际温度；当检测到存在托辊的所述实际温度超过预设温度阈值时，触发托辊过热报警，并从所述监控图像中提取报警时刻对应的视频片段，所述视频片段用于获得过热托辊所在的支架编号信息。2.根据权利要求1所述的基于三光融合的托辊监控方法，其特征在于，所述托辊的识别信息包括在光学图像坐标系下每个托辊中心的第一坐标；所述根据所述红外热成像确定每个托辊的实际温度，包括：利用透视变换算法将每个托辊中心的所述第一坐标转换至红外热成像坐标系下的第二坐标；将所述红外热成像中对应于各个所述第二坐标的温度值分别作为对应位置的托辊中心的红外温度；基于所述托辊中心的红外温度确定相应托辊的实际温度。3.根据权利要求2所述的基于三光融合的托辊监控方法，其特征在于，基于所述托辊中心的红外温度确定相应托辊的实际温度，包括：将所述托辊中心的红外温度定义为相应托辊的实际温度；或者，根据所述红外热成像统计包含所述托辊中心的邻域内的多个温度值，并将所述多个温度值的平均值作为相应托辊的实际温度。4.根据权利要求1所述的基于三光融合的托辊监控方法，其特征在于，所述托辊识别模型通过预先训练得到，包括：采集管带机上包含有托辊的图像数据集；利用聚类算法计算所述图像数据集中的托辊锚框参数，所述托辊锚框参数用于确定模型训练输入的锚框大小；对所述图像数据集进行图像尺寸统一化及图像增强处理，得到图像尺寸相同的训练样本集；利用所述训练样本集对构建的卷积神经网络模型进行迭代训练，直至训练损失值满足预设条件时停止训练，得到训练好的托辊识别模型。5.根据权利要求1至4中任一项所述的基于三光融合的托辊监控方法，其特征在于，所述托辊识别模型包括特征提取网络、池化过渡网络和特征融合网络；所述特征提取网络用于对包含托辊的输入图像进行由低层次到高层次的特征图提取，得到相应的特征图；所述池化过渡网络用于对所述特征提取网络中指定层输出的所述特征图进行先池化后融合处理，得到扩充特征图，再对所述扩充特征图进行残差优化，得到优化特征图；所述特征融合网络用于对所述优化特征图进行上采样，并将上采...
【专利技术属性】
技术研发人员：朱友康，万定锐，谢勇祥，陈玉国，
申请(专利权)人：深圳瀚德智能技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。