一种神经网络架构的关键点提取网络构建方法和系统技术方案

本发明专利技术公开了一种基于神经网络架构搜索的深度关键点提取方法和系统，利用神经网络架构搜索技术进行深度关键点提取的模型的自动设计，模型能够同时检测和描述关键点，最终搜索到更加轻量、性能更好的关键点提取网络模型。型。型。

【技术实现步骤摘要】
一种神经网络架构的关键点提取网络构建方法和系统


[0001]本专利技术属于计算机视觉领域，特别是一种神经网络架构的关键点提取网络构建方法和系统。

技术介绍

[0002]关键点检测作为计算机视觉任务中的基础步骤，是很多应用的重要组成部分。在过去几十年，手工关键点提取已经发展的非常成熟，其包括关键点检测和根据特征点的局部信息计算描述子。但是手工关键点过于依赖人的经验，具有一定的局限性。越来越多研究者将目光放到深度学习领域。基于深度学习的关键点提取方法很少采用有监督的方式，因为关键点没有明确定义，很难标定真实值。因此，现有大多数基于深度学习的关键点提取模型都是自监督的方式，这种方式可行性更强。
[0003]然而，现有的关键点提取的网络模型大多没有同时考虑性能、模型参数量和计算量，在实际使用时，较为庞大的网络模型对于后续视觉任务，例如SLAM系统，负载过大。

技术实现思路

[0004]本专利技术要解决的是现有方法无法很好地平衡模型大小、模型计算量和模型性能的问题。
[0005]本专利技术所采用的技术方案是：一种基于神经网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络架构的关键点提取网络构建方法，其特征在于，包括以下步骤：S1，预备图像数据I和图像数据V，图像数据V包括源图像、目标图像以及两者之间真实的单应性变换关系，将图像数据I中的源图像S经单应性变换得到目标图像T，由源图像S和目标图像T组成训练数据；S2，通过对超网络模型的每个block操作进行均匀采样得到子网络模型A，将训练数据输入到子网络模型A，得到训练数据的关键点得分、关键点位置坐标和关键点对应的描述子并利用上述三者构建损失函数，通过损失函数计算误差，进行反向传播更新超网络模型的网络参数，进行迭代更新直至损失函数不再下降；S3，利用控制器模型输出超网络模型中每个block里选择的操作数，根据该操作数和S2中迭代更新后的超网络模型的网络参数生成子网络模型B，从图像数据V中抽取一对源图像和目标图像输入子网络模型B，得到该图像对的关键点得分、关键点位置坐标和关键点对应的描述子，再结合图像数据V中单应性变换关系的真实值计算该图像对的评价指标，然后将图像数据V中剩余的图像对一一输入子网络模型B并计算其评价指标，将所有图像对的评价指标作为子网络模型B的评价指标，将子网络模型B的评价指标作为奖励值对控制器模型的参数进行更新；S4，重复S3，直至达到预设的迭代次数或者子网络模型B的性能不再提高；S5，利用迭代后控制器模型输出N个子网络模型C，从中挑选出性能最好的作为输出结果。2.根据权利要求1所述的神经网络架构的关键点提取网络构建方法，其特征在于，所述步骤S2中，损失函数为：其中α，β，γ，λ是用来平衡不同误差项之间的权重；L
pos
是用于学习关键点位置的误差，表示源图像的关键点warp到目标图像的对应位置，表示目标图像中离最近的关键点，i表示的关键点序号；L
grad
是图像梯度误，I(i，j)表示灰度值，表示图像(i，j)位置在水平方向，垂直方向和对角...

【专利技术属性】
技术研发人员：刘丽，李宏，
申请(专利权)人：浙江省北大信息技术高等研究院杭州未名信科科技有限公司，
类型：发明
国别省市：