一种计算机视觉能力迁移方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种计算机视觉能力迁移方法、装置、设备及存储介质，涉及神经网络技术领域。该方法包括：分别利用RGB图片集对RGB相机模型和事件图片集对事件相机模型进行同步训练，以得到各自对应的特征值；对所述特征值进行矩阵运算，以得到与所述RGB相机模型对应的第一传递参数和与所述事件相机模型对应的第二传递参数；基于所述第一传递参数与所述第二传递参数，利用预设损失值确定公式确定出总损失值，以通过知识蒸馏进行反向传播获得目标事件相机模型。通过本申请的技术方案，可以通过知识蒸馏将RGB相机的关键点检测匹配能力转移到事件相机，解决传统RGB相机在夜间或光线较暗环境中关键点检测模型性能较差的问题。暗环境中关键点检测模型性能较差的问题。暗环境中关键点检测模型性能较差的问题。

【技术实现步骤摘要】
一种计算机视觉能力迁移方法、装置、设备及存储介质


[0001]本专利技术涉及神经网络
，特别涉及一种计算机视觉能力迁移方法、装置、设备及存储介质。

技术介绍

[0002]在人工智能时代，随着计算机视觉技术的发展，研发人员越来越倾向于使用摄像头、相机和海量数据去训练一个优秀的关键点检测匹配模型。基于高清晰度RGB相机训练出来的模型在处理实际业务的过程中，往往有着令人满意的表现。但受制于相机本身性质的影响，这些在光照条件下表现优异的模型可能在低光照或者无光照条件下变得低效甚至失效。同时，随着计算机视觉的应用场景的增多，一款能够适应各种天气、光线、环境的摄像头逐渐进入大众视野，也即是，事件相机。
[0003]事件相机作为一款高帧率相机，其工作方法是判断像素点的光强是否发生变化。当光强发生变化，并且达到阈值，则会被判定为事件。不同于传统RGB相机通过曝光获得图像，事件相机生成图片依靠光强变化，因此在昏暗条件下，事件相机获取关键点的能力要远远优于普通RGB相机。
[0004]综上，如何利用在夜间或光线较暗环境下性能更加优秀的事件相机，进行关键点检测匹配，是目前有待解决的问题。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种计算机视觉能力迁移方法、装置、设备及存储介质，能够解决关键点检测匹配模型应用在传统RGB相机时，夜间性能不良的问题。其具体方案如下：
[0006]第一方面，本申请公开了一种计算机视觉能力迁移方法，包括：
[0007]分别利用RGB图片集对RGB相机模型和事件图片集对事件相机模型进行同步训练，以得到各自对应的特征值；其中，所述RGB图片集为利用RGB相机采集得到的图片集；所述事件图片集为利用事件相机采集得到的图片集；
[0008]对所述特征值进行矩阵运算，以得到与所述RGB相机模型对应的第一传递参数和与所述事件相机模型对应的第二传递参数；
[0009]基于所述第一传递参数与所述第二传递参数，利用预设损失值确定公式确定出总损失值，以通过知识蒸馏进行反向传播获得目标事件相机模型。
[0010]可选的，所述分别利用RGB图片集对RGB相机模型和事件图片集对事件相机模型进行同步训练，以得到各自对应的特征值，包括：
[0011]获取RGB图片集和事件图片集，并按照预设比例分别对所述RGB图片集和所述事件图片集进行分配，以得到相应数量的训练数据和测试数据；
[0012]将与所述RGB图片集对应的训练数据输入到所述RGB相机模型，以得到第一特征值；
[0013]将与所述事件图片集对应的训练数据输入到所述事件相机模型，以得到第二特征值。
[0014]可选的，所述基于所述第一传递参数与所述第二传递参数，利用预设损失值确定公式确定出总损失值，以通过知识蒸馏进行反向传播获得目标事件相机模型之后，还包括：
[0015]将与所述RGB图片集对应的测试数据输入到所述RGB相机模型，以得到第一测试结果；
[0016]将与所述事件图片集对应的测试数据输入到所述目标事件相机模型，以得到第二测试结果；
[0017]将所述第一测试结果与所述第二测试结果进行对比，以评估所述目标事件相机模型。
[0018]可选的，所述对所述特征值进行矩阵运算，以得到与所述RGB相机模型对应的第一传递参数和与所述事件相机模型对应的第二传递参数，包括：
[0019]对所述第一特征值进行矩阵运算，以得到与所述RGB相机模型对应的第一Logits和第一描述子；
[0020]对所述第二特征值进行矩阵运算，以得到与所述事件相机模型对应的第二Logits和第二描述子。
[0021]可选的，所述基于所述第一传递参数与所述第二传递参数，利用预设损失值确定公式确定出总损失值，包括：
[0022]基于所述第一Logits和所述第二Logits，利用L2损失值函数确定出目标Logits损失值；
[0023]基于所述第一描述子和所述第二描述子，利用所述L2损失值函数确定出目标描述子损失值；
[0024]基于所述目标Logits损失值与所述目标描述子损失值，利用预设损失值确定公式确定出总损失值。
[0025]可选的，所述基于所述目标Logits损失值与所述目标描述子损失值，利用预设损失值确定公式确定出总损失值，包括：
[0026]将预设权重值和所述目标描述子损失值的乘积与所述目标Logits损失值进行求和，以确定出总损失值。
[0027]可选的，所述基于所述第一传递参数与所述第二传递参数，利用预设损失值确定公式确定出总损失值，以通过知识蒸馏进行反向传播获得目标事件相机模型之后，还包括：
[0028]利用梯度下降学习算法对进行反向传播获得的所述目标事件相机模型进行更新。
[0029]第二方面，本申请公开了一种计算机视觉能力迁移装置，包括：
[0030]模型训练模块，用于分别利用RGB图片集对RGB相机模型和事件图片集对事件相机模型进行同步训练，以得到各自对应的特征值；其中，所述RGB图片集为利用RGB相机采集得到的图片集；所述事件图片集为利用事件相机采集得到的图片集；
[0031]传递参数确定模块，用于对所述特征值进行矩阵运算，以得到与所述RGB相机模型对应的第一传递参数和与所述事件相机模型对应的第二传递参数；
[0032]知识蒸馏模块，用于基于所述第一传递参数与所述第二传递参数，利用预设损失值确定公式确定出总损失值，以通过知识蒸馏进行反向传播获得目标事件相机模型。
[0033]第三方面，本申请公开了一种电子设备，所述电子设备包括处理器和存储器；其中，所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现如前所述的计算机视觉能力迁移方法。
[0034]第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中所述计算机程序被处理器执行时实现如前所述的计算机视觉能力迁移方法。
[0035]本专利技术所提供的计算机视觉能力迁移方法，分别利用RGB图片集对RGB相机模型和事件图片集对事件相机模型进行同步训练，以得到各自对应的特征值；其中，所述RGB图片集为利用RGB相机采集得到的图片集；所述事件图片集为利用事件相机采集得到的图片集；对所述特征值进行矩阵运算，以得到与所述RGB相机模型对应的第一传递参数和与所述事件相机模型对应的第二传递参数；基于所述第一传递参数与所述第二传递参数，利用预设损失值确定公式确定出总损失值，以通过知识蒸馏进行反向传播获得目标事件相机模型。可见，利用表现形式上存在差异，但描述相同画面的图片集分别训练两个模型，将应用于RGB相机模型上进行的关键点检测匹配作为教师网络，训练并获得应用于事件相机模型上进行的关键点检测匹配的学生模型，使得学生模型在事件相机的环境中获得同样的关键点检测与匹配能力。也即是，通过知识蒸馏的方法，解决传统RGB相机在夜间或光线较暗环境下关键点检测模型性能较差的问题。并且，在知识蒸馏的过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机视觉能力迁移方法，其特征在于，包括：分别利用RGB图片集对RGB相机模型和事件图片集对事件相机模型进行同步训练，以得到各自对应的特征值；其中，所述RGB图片集为利用RGB相机采集得到的图片集；所述事件图片集为利用事件相机采集得到的图片集；对所述特征值进行矩阵运算，以得到与所述RGB相机模型对应的第一传递参数和与所述事件相机模型对应的第二传递参数；基于所述第一传递参数与所述第二传递参数，利用预设损失值确定公式确定出总损失值，以通过知识蒸馏进行反向传播获得目标事件相机模型。2.根据权利要求1所述的计算机视觉能力迁移方法，其特征在于，所述分别利用RGB图片集对RGB相机模型和事件图片集对事件相机模型进行同步训练，以得到各自对应的特征值，包括：获取RGB图片集和事件图片集，并按照预设比例分别对所述RGB图片集和所述事件图片集进行分配，以得到相应数量的训练数据和测试数据；将与所述RGB图片集对应的训练数据输入到所述RGB相机模型，以得到第一特征值；将与所述事件图片集对应的训练数据输入到所述事件相机模型，以得到第二特征值。3.根据权利要求2所述的计算机视觉能力迁移方法，其特征在于，所述基于所述第一传递参数与所述第二传递参数，利用预设损失值确定公式确定出总损失值，以通过知识蒸馏进行反向传播获得目标事件相机模型之后，还包括：将与所述RGB图片集对应的测试数据输入到所述RGB相机模型，以得到第一测试结果；将与所述事件图片集对应的测试数据输入到所述目标事件相机模型，以得到第二测试结果；将所述第一测试结果与所述第二测试结果进行对比，以评估所述目标事件相机模型。4.根据权利要求2所述的计算机视觉能力迁移方法，其特征在于，所述对所述特征值进行矩阵运算，以得到与所述RGB相机模型对应的第一传递参数和与所述事件相机模型对应的第二传递参数，包括：对所述第一特征值进行矩阵运算，以得到与所述RGB相机模型对应的第一Logits和第一描述子；对所述第二特征值进行矩阵运算，以得到与所述事件相机模型对应的第二Logits和第二描述子。5.根据权利要求4所述的计算机视觉能力迁移方法，其特征在于，所述基于...

【专利技术属性】
技术研发人员：张书铭，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：