变电站巡检机器人辅助避障训练方法、设备及介质技术

本发明专利技术涉及变电站巡检机器人辅助避障训练方法、设备及介质，方法包括：接收第一图像并形成第一数据集，所述第一图像与变电站内的设备、仪表和障碍物相关；使用所述第一数据集训练教师网络，以获取所述教师网络的温度参数，所述温度参数值与所述教师网络的训练难度有关；根据所述温度参数，通过知识蒸馏神经网络，训练学生网络，得到第一学生网络；使用第二数据集训练所述第一学生网络，直至达到第一目标避障率，以使所述机器人进行避障。本发明专利技术采用知识蒸馏和教师网络训练学生网络，提高学生网络的泛化能力，通过多个机器人对学生网络进行多场景的训练，并进行集成，提高了学生网络的环境适应能力和准确率。

Training method, equipment and medium of robot assisted obstacle avoidance for substation patrol inspection

【技术实现步骤摘要】
变电站巡检机器人辅助避障训练方法、设备及介质
本专利技术涉及计算机视觉
，特别涉及深度学习和目标检测领域，尤其涉及基于知识蒸馏的变电站巡检机器人辅助避障训练方法、设备及介质。
技术介绍
随着社会的不断发展，对用电的依赖程度也越来越高，供电和输电一直关系到国民生产生活的正常运行。伴随着科学技术的进步，为了保障输电线路的正常运行及执行巡检任务工作人员的安全，现在输电线路多采用电力巡检机器人。近年来深度学习视觉算法快速发展，其应用方向也越来越广泛，由于传统电力巡检机器人采用雷达避障，对一些障碍物(杂草、检修网、坑洞等)识别效果不理想，导致实际应用会产生一些问题(机器人无法识别，停留原地耗电等待，或者对巡检机器人造成损害)，故采用视觉深度学习算法在电力巡检机器人上进行视觉辅助避障。由于现有机器人通常使用传统视觉深度学习模型，又因为显卡及内存不足等问题导致识别效率低、应用效果不佳。
技术实现思路
本专利技术旨在至少在一定程度上解决以下技术问题：传统视觉深度学习模型的需要的存储空间和计算能力过大，机器人的硬件条件不能提供有效的支持，无法识别复杂的环境。本专利技术实施例的第一方面提供了一种变电站巡检机器人辅助避障训练方法，包括：接收第一图像并形成第一数据集，所述第一图像与变电站内的设备、仪表和障碍物相关；使用所述第一数据集训练教师网络，以获取所述教师网络的温度参数，所述温度参数值与所述教师网络的训练难度有关；根据所述温度参数，通过知识蒸馏神经网络，训练学生网络，得到第一学生网络；使用第二数据集训练所述第一学生网络，直至达到第一目标避障率，以使所述机器人进行避障，所述第二数据集包括所述第一图像和通过所述机器人的图像传感器收集的第二图像。在一个示例中，所述使用第二数据集训练所述第一学生网络，直至达到第一目标避障率，以使所述机器人进行避障之后，还包括：多个所述机器人接收所述第一学生网络，所述多个所述机器人分别通过各自获取的所述第二图像和所述第一图像，训练所述第一学生网络，直至达到第二目标避障率，以辅助所述机器人进行避障，其中，多个所述机器人位于变电站的不同区域。在一个示例中，所述多个所述机器人接收所述第一学生网络，所述多个所述机器人分别通过各自获取的所述第二图像和所述第一图像，训练所述第一学生网络，包括：所述机器人对所述第一学生网络训练预设时间后，分别接收多个所述机器人各自的所述第一学生网络，合并多个所述第一学生网络，得到第二学生网络；将所述第二学生网络发送到多个所述机器人中，并使多个所述机器人分别通过各自获取的所述第二图像和所述第一图像，训练所述第二学生网络。在一个示例中，所述接收第一图像并形成第一数据集，包括：标识所述第一图像的指定区域，所述指定区域与变电站内的设备、仪表和障碍物相关；标识完成后，将所述第一数据集分为训练集和测试集。在一个示例中，所述根据所述温度参数，通过知识蒸馏神经网络，训练学生网络，包括：将所述教师网络通过所述温度参数进行计算，得到软目标；将所述学生网络通过所述温度参数进行计算，得到第一结果，并将所述第一结果与所述软目标的交叉熵函数，作为所述学生网络的损失值的一部分；将所述学生网络直接获得的第二结果与硬目标的交叉熵函数，作为所述学生网络的损失值的另一部分，所述硬目标包括所述指定区域在图像中的位置信息。在一个示例中，所述使用第二数据集训练所述第一学生网络之前，还包括：使用图像处理算法对所述第二数据集内的第一图片和第二图片进行处理，得到每个所述第一图片和所述第二图片的余弦相似度；将所述余弦相似度与预设阈值进行比较，确定所述第二数据集中的未识别图像，统计所述未识别图像的数量；通过所述未识别图像的数量，使用算法计算是否剔除所述未识别图像。在一个示例中，所述学生网络包括所述教师网络的部分神经网络层和部分神经元。本专利技术实施例的第二方面提供了一种变电站巡检机器人辅助避障训练设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：接收第一图像并形成第一数据集，所述第一图像与变电站内的设备、仪表和障碍物相关；使用所述第一数据集训练教师网络，以获取所述教师网络的温度参数，所述温度参数值与所述教师网络的训练难度有关；根据所述温度参数，通过知识蒸馏神经网络，训练学生网络，得到第一学生网络；使用第二数据集训练所述第一学生网络，直至达到第一目标避障率，以使所述机器人进行避障，所述第二数据集包括所述第一图像和通过所述机器人的图像传感器收集的第二图像。本专利技术实施例的第三方面提供了一种变电站巡检机器人辅助避障训练的非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：接收第一图像并形成第一数据集，所述第一图像与变电站内的设备、仪表和障碍物相关；使用所述第一数据集训练教师网络，以获取所述教师网络的温度参数，所述温度参数值与所述教师网络的训练难度有关；根据所述温度参数，通过知识蒸馏神经网络，训练学生网络，得到第一学生网络；使用第二数据集训练所述第一学生网络，直至达到第一目标避障率，以使所述机器人进行避障，所述第二数据集包括所述第一图像和通过所述机器人的图像传感器收集的第二图像。本专利技术实施例采用知识蒸馏和教师网络训练学生网络，提高学生网络的泛化能力；通过机器人获取训练用的图像，基于机器人的视角进行训练，更有助于提高模型的准确率；通过多个机器人对学生网络进行多场景的训练，并进行集成，提高了学生网络的环境适应能力和准确率；通过调整神经网络模型中监督和半监督的权重，使机器人在巡检过程中的实时训练。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本专利技术实施例的方法流程示意图；图2为本专利技术实施例的知识蒸馏框架示意图；图3为本专利技术实施例的训练逻辑示意图；图4为本专利技术实施例的设备框架示意图。具体实施方式为了更清楚的阐释本申请的整体构思，下面结合说明书附图以示例的方式进行详细说明。知识蒸馏是一种神经网络模型的压缩方法，这类方法通过构建教师网络和学生网络框架，为了便于描述，本申请实施例中将神经网络模型简称为网络，由教师网络指导学生网络的训练，将网络结构复杂、参数量大、学习能力强的教师网络所学到关于特征表示的“知识”“蒸馏”出来，将这些知识迁移到网络结构简单、参数量少、学习能力弱的学生网络。知识蒸馏方法能为学生网络提供硬标注信息中学不到的软标注信息，包括类别间信息和教师网络学到的特征表示知识。通过知识蒸馏方法能够在不增加网络复杂度的情况下，提升网络的性能。本专利技术实施例的第一方面提供了一种变电站巡检机器人辅助避障训练方法，图1为本专利技术实施例的方法流程示意图，如图1所示，方法包括：S101接收第一图像并形成第一数据集，所述第一图像与本文档来自技高网...

【技术保护点】
1.一种变电站巡检机器人辅助避障训练方法，其特征在于，包括：/n接收第一图像并形成第一数据集，所述第一图像与变电站内的设备、仪表和障碍物相关；/n使用所述第一数据集训练教师网络，以获取所述教师网络的温度参数，所述温度参数值与所述教师网络的训练难度有关；/n根据所述温度参数，通过知识蒸馏神经网络，训练学生网络，得到第一学生网络；/n使用第二数据集训练所述第一学生网络，直至达到第一目标避障率，以使所述机器人进行避障，所述第二数据集包括所述第一图像和通过所述机器人的图像传感器收集的第二图像。/n

【技术特征摘要】
1.一种变电站巡检机器人辅助避障训练方法，其特征在于，包括：
接收第一图像并形成第一数据集，所述第一图像与变电站内的设备、仪表和障碍物相关；
使用所述第一数据集训练教师网络，以获取所述教师网络的温度参数，所述温度参数值与所述教师网络的训练难度有关；
根据所述温度参数，通过知识蒸馏神经网络，训练学生网络，得到第一学生网络；
使用第二数据集训练所述第一学生网络，直至达到第一目标避障率，以使所述机器人进行避障，所述第二数据集包括所述第一图像和通过所述机器人的图像传感器收集的第二图像。


2.根据权利要求1所述的方法，其特征在于，所述使用第二数据集训练所述第一学生网络，直至达到第一目标避障率，以使所述机器人进行避障之后，还包括：
多个所述机器人接收所述第一学生网络，所述多个所述机器人分别通过各自获取的所述第二图像和所述第一图像，训练所述第一学生网络，直至达到第二目标避障率，以辅助所述机器人进行避障，其中，多个所述机器人位于变电站的不同区域。


3.根据权利要求2所述的方法，其特征在于，所述多个所述机器人接收所述第一学生网络，所述多个所述机器人分别通过各自获取的所述第二图像和所述第一图像，训练所述第一学生网络，包括：
所述机器人对所述第一学生网络训练预设时间后，分别接收多个所述机器人各自的所述第一学生网络，合并多个所述第一学生网络，得到第二学生网络；
将所述第二学生网络发送到多个所述机器人中，并使多个所述机器人分别通过各自获取的所述第二图像和所述第一图像，训练所述第二学生网络。


4.根据权利要求1所述的方法，其特征在于，所述接收第一图像并形成第一数据集，包括：
标识所述第一图像的指定区域，所述指定区域与变电站内的设备、仪表和障碍物相关；
标识完成后，将所述第一数据集分为训练集和测试集。


5.根据权利要求4所述的方法，其特征在于，所述根据所述温度参数，通过知识蒸馏神经网络，训练学生网络，包括：
将所述教师网络通过所述温度参数进行计算，得到软目标；
将所述学生网络通过所述温度参数进行计算，得到第一结果，并将所述第一结果与所述软目标的交叉熵函数，作为所述学生网络的损失值的一部分；
将所述学生网络直接获...

【专利技术属性】
技术研发人员：张继勇，庄浩，刘鑫，连理国，王世杰，
申请(专利权)人：华瑞新智科技北京有限公司，
类型：发明
国别省市：北京;11