本发明专利技术公开了一种基于机器人巡检的门窗开关检测方法、装置、介质及设备，包括基于巡逻机器人采集检测点的参考图像和待检测图像；将待检测图像与参考图像进行对齐，进行背景差分，得到前景目标二值图；对前景目标二值图进行图像处理，得到可疑区域框；将可疑区域框映射到所述参考图像和所述对齐后的待检测图像，分别得到参考区域和待检测区域；对参考区域和待检测区域进行特征提取，分别得到参考区域图像特征向量和待检测区域图像特征向量；计算两图像特征向量的余弦相似度；根据余弦相似度判断门窗是否打开，生成门窗开关信息。本发明专利技术有效地克服了门窗开关检测中改造成本高、检测鲁棒性低的问题，大大地提高了门窗开关检测的应用泛化性。用泛化性。用泛化性。
【技术实现步骤摘要】
基于机器人巡检的门窗开关检测方法、装置、介质及设备
[0001]本专利技术涉及数据处理
，尤其涉及基于机器人巡检的门窗开关检测方法、装置、介质及设备。
技术介绍
[0002]为避免仓库或一些公共场所发生失窃等不良损失，需要对场所中的门窗进行检查巡视，查看是否都完好关闭。一般情况下，场所的门窗打开，场所发生失窃的风险会增加。
[0003]在现有技术中，对于门窗开关的检测，包括在门窗处加装其他的机械或者电子装置，门窗的开关会触发装置的不同状态，根据装置的状态判断门窗是否打开；或在门窗前加装摄像头，利用摄像头对门窗进行实时拍摄得到门窗图像，对图像进行光流判断或者门框边缘检测等图像处理，根据图像处理结果判断门窗是否打开，然而添加机械或电子装置、加装摄像头存在改造成本高的问题，且部署和推广受限，泛化性较差。又或使用装载有2D激光雷达的机器人在正对门窗处进行雷达信息收集，根据收集到的信息判断门窗是否打开；或在门窗粘贴加装标语，使用机器人采集图像信息，并使用深度学习检测采集到的图像中标语的位置，根据标语的位置信息判断门窗是否打开；然而，这些检测方式存在检测鲁棒性低、应用泛化性差的问题。
技术实现思路
[0004]本专利技术实施例提供了一种基于机器人巡检的门窗开关检测方法、装置、介质及设备，以解决现有技术在对门窗开关检测时存在的改造成本高、应用泛化性差、检测鲁棒性低的问题。
[0005]一种基于机器人巡检的门窗开关检测方法，所述方法包括：
[0006]基于巡逻机器人采集检测点的参考图像和检测点的待检测图像；
[0007]采用超级点SuperPoint和强力胶SuperGlu算法，将所述检测点的待检测图像与所述检测点的参考图像进行对齐，得到检测点对齐后的待检测图像；
[0008]将所述参考图像和所述检测点对齐后的待检测图像输入到高斯混合模型GMM中进行背景差分，得到前景目标二值图；
[0009]对所述前景目标二值图进行图像处理，得到可疑区域框；
[0010]将所述可疑区域框映射到所述参考图像，得到参考区域，将所述可疑区域框映射到所述对齐后的待检测图像，得到待检测区域；
[0011]采用深度神经网络对所述参考区域进行特征提取，得到参考区域图像特征向量，采用深度神经网络对所述待检测区域进行特征提取，得到待检测区域图像特征向量；
[0012]计算所述参考区域图像特征向量与所述待检测区域图像特征向量的余弦相似度；
[0013]根据所述余弦相似度判断门窗是否打开，生成门窗开关信息。
[0014]可选地，所述采用超级点SuperPoint和强力胶SuperGlu算法，将所述检测点的待检测图像与所述检测点的参考图像进行对齐，得到检测点对齐后的待检测图像包括：
[0015]将所述检测点的参考图像输入到第一超级点模型中，提取参考图像的特征点信息，将所述待检测图像输入到第二超级点模型中，提取待检测图像的特征点信息；
[0016]将所述参考图像的特征点信息以及待检测图像的特征点信息输入到强力胶模型中，生成参考图像与待检测图像的特征匹配信息；
[0017]根据所述特征匹配信息，将待检测图像对齐到参考图像上，得到对齐后的待检测图像。
[0018]可选地，所述高斯混合模型GMM的高斯核数量为5，所述高斯混合模型GMM的背景更新操作在差分计算中为关闭状态。
[0019]可选地，所述对所述前景目标二值图进行图像处理，得到可疑区域框包括：
[0020]对所述前景目标二值图进行形态学滤波，得到滤波后的前景目标二值图；
[0021]对所述滤波后的前景目标二值图进行空洞弥补，得到空洞弥补后的前景目标二值图；
[0022]对所述空洞弥补后的前景目标二值图进行轮廓提取，得到前景目标二值图的可疑目标区域；
[0023]对所述前景目标二值图的可疑目标区域进行求最大包围盒操作，得到可疑区域框。
[0024]可选地，一个前景目标二值图包括至少一个可疑区域框。
[0025]可选地，根据所述余弦相似度判断门窗是否打开，生成门窗开关信息包括：
[0026]将最小相似度初始化为1；
[0027]遍历前景目标二值图中的每一可疑区域框，将所述可疑区域框的余弦相似度与所述最小相似度比较；
[0028]若所述可疑区域框的余弦相似度小于所述最小相似度，则将所述最小相似度更新为所述可疑区域框的余弦相似度；
[0029]直至遍历完所述前景二值图中的所有可疑区域框，将所述最小相似度与预设相似度阈值进行比较；
[0030]若所述最小相似度小于预设相似度阈值，则所述待检测图像中的门窗处于打开状态，否则，所述待检测图像中的门窗处于关闭状态。
[0031]可选地，所述预设相似度阈值为0.4。
[0032]一种基于机器人巡检的门窗开关检测方法，所述装置包括：
[0033]图像获取模块，用于基于巡逻机器人采集检测点的参考图像和检测点的待检测图像；
[0034]对齐模块，用于采用超级点SuperPoint和强力胶SuperGlu算法，将所述检测点的待检测图像与所述检测点的参考图像进行对齐，得到检测点对齐后的待检测图像；
[0035]差分模块，用于将所述参考图像和所述检测点对齐后的待检测图像输入到高斯混合模型GMM中进行背景差分，得到前景目标二值图；
[0036]图像处理模块，用于对所述前景目标二值图进行图像处理，得到可疑区域框；
[0037]映射模块，用于将所述可疑区域框映射到所述参考图像，得到参考区域，将所述可疑区域框映射到所述检测点对齐后的待检测图像，得到待检测区域；
[0038]特征提取模块，用于采用深度神经网络对所述参考区域进行特征提取，得到参考
区域图像特征向量，采用深度神经网络对所述待检测区域进行特征提取，得到待检测区域图像特征向量；
[0039]相似计算模块，用于计算所述参考区域图像特征向量与所述待检测区域图像特征向量的余弦相似度；
[0040]生成模块，用于根据所述余弦相似度判断门窗是否打开，生成门窗开关信息。
[0041]一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于机器人巡检的门窗开关检测方法。
[0042]一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于机器人巡检的门窗开关检测方法。
[0043]本专利技术实施例通过基于巡逻机器人采集检测点的参考图像和检测点的待检测图像；采用超级点SuperPoint和强力胶SuperGlu算法，将所述检测点的待检测图像与所述检测点的参考图像进行对齐，得到检测点对齐后的待检测图像；将所述参考图像和所述检测点对齐后的待检测图像输入到高斯混合模型GMM中进行背景差分，得到前景目标二值图；对所述前景目标二值图进行图像处理本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于机器人巡检的门窗开关检测方法，其特征在于，包括：基于巡逻机器人采集检测点的参考图像和检测点的待检测图像；采用超级点SuperPoint和强力胶SuperGlu算法，将所述检测点的待检测图像与所述检测点的参考图像进行对齐，得到检测点对齐后的待检测图像；将所述参考图像和所述检测点对齐后的待检测图像输入到高斯混合模型GMM中进行背景差分，得到前景目标二值图；对所述前景目标二值图进行图像处理，得到可疑区域框；将所述可疑区域框映射到所述参考图像，得到参考区域，将所述可疑区域框映射到所述检测点对齐后的待检测图像，得到待检测区域；采用深度神经网络对所述参考区域进行特征提取，得到参考区域图像特征向量，采用深度神经网络对所述待检测区域进行特征提取，得到待检测区域图像特征向量；计算所述参考区域图像特征向量与所述待检测区域图像特征向量的余弦相似度；根据所述余弦相似度判断门窗是否打开，生成门窗开关信息。2.如权利要求1所述的基于机器人巡检的门窗开关检测方法，其特征在于，所述采用超级点SuperPoint和强力胶SuperGlu算法，将所述检测点的待检测图像与所述检测点的参考图像进行对齐，得到检测点对齐后的待检测图像包括：将所述检测点的参考图像输入到第一超级点模型中，提取参考图像的特征点信息，将所述待检测图像输入到第二超级点模型中，提取待检测图像的特征点信息；将所述参考图像的特征点信息以及待检测图像的特征点信息输入到强力胶模型中，生成参考图像与待检测图像的特征匹配信息；根据所述特征匹配信息，将待检测图像对齐到参考图像上，得到对齐后的待检测图像。3.如权利要求1所述的基于机器人巡检的门窗开关检测方法,其特征在于，所述高斯混合模型GMM的高斯核数量为5，所述高斯混合模型GMM的背景更新操作在差分计算中为关闭状态。4.如权利要求1所述的基于机器人巡检的门窗开关检测方法，其特征在于，所述对所述前景目标二值图进行图像处理，得到可疑区域框包括：对所述前景目标二值图进行形态学滤波，得到滤波后的前景目标二值图；对所述滤波后的前景目标二值图进行空洞弥补，得到空洞弥补后的前景目标二值图；对所述空洞弥补后的前景目标二值图进行轮廓提取，得到前景目标二值图的可疑目标区域；对所述前景目标二值图的可疑目标区域进行求最大包围盒操作，得到可疑区域框。5.如权利要求4所述的基于机器人巡检的门窗开关检测方法，其特征在于，一个前景目标二值...
【专利技术属性】
技术研发人员：刘振轩，柏林，刘彪，舒海燕，袁添厦，祝涛剑，沈创芸，王恒华，方映峰，
申请(专利权)人：广州高新兴机器人有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。