基于深度学习的轻量级行人检测方法及装置制造方法及图纸

本发明专利技术公开了一种基于深度学习的轻量级行人检测方法及装置，该方法包括：采集与行人检测相关联的视频数据，从视频数据中提取出至少一个基础图像帧；根据所有基础图像帧及图像预处理条件，确定图像帧集合；逐层加载预训练完成的基础检测网络模型，并在加载基础检测网络模型的过程中执行对基础检测网络模型的重参化操作，得到完成结构重参化的目标检测网络模型；基础检测网络模型为轻量级的深度卷积神经网络模型；将图像帧集合对应的图像帧输入至目标检测网络模型中，得到行人检测结果。可见，本发明专利技术加快行人检测网络模型的收敛速度和提高行人检测网络模型的检测性能，进而提高行人检测结果的准确性和确定效率，从而提高行人检测准确性、效率。效率。效率。

【技术实现步骤摘要】
基于深度学习的轻量级行人检测方法及装置


[0001]本专利技术涉及图像识别
，尤其涉及一种基于深度学习的轻量级行人检测方法及装置。

技术介绍

[0002]随着社会科技经济水平的提高及计算机智能化发展，人们追求更加便捷化、智能化的生活方式，其中，行人检测技术在现实生活中有着广泛的应用场景，实现并优化智能化行人检测成为一大研究方向。
[0003]当前，针对深度学习的行人检测方式主要通过普通模型或轻量级行人检测网络模型实现，具体的，轻量级行人检测网络模型主要采用多分支的拓扑结构，虽然能够提升网络模型的性能但在模型推理阶段速度提升难度大，而普通模型更是难以达到与多分支架构相当的性能；此外，行人检测方式是基于Anchor算法运行的，不仅增加时间成本还会增加检测头的复杂度以及生成结果的数量。可见，现有的针对深度学习的行人检测方式存在行人检测效率低的问题。因此，提供一种新的针对深度学习的行人检测方式在提高行人检测准确性的同时提高行人检测效率显得尤为重要。

技术实现思路

[0004]本
技术实现思路
所要解决的技术问题在于，提供一种基于深度学习的轻量级行人检测方法及装置，能够提高行人检测准确性和检测效率。
[0005]为了解决上述技术问题，本专利技术第一方面公开了一种基于深度学习的轻量级行人检测方法，所述方法包括：
[0006]采集与行人检测相关联的视频数据，并从所述视频数据中提取出至少一个基础图像帧；
[0007]根据所有所述基础图像帧及图像预处理条件，确定对应的图像帧集合；/>[0008]逐层加载预训练完成的基础检测网络模型，并在加载所述基础检测网络模型的过程中执行对所述基础检测网络模型的重参化操作，得到完成结构重参化的目标检测网络模型；其中，所述基础检测网络模型为轻量级的深度卷积神经网络模型；
[0009]将所述图像帧集合对应的图像帧输入至所述目标检测网络模型中，得到行人检测结果。
[0010]作为一种可选的实施方式，在本专利技术第一方面中，所述在加载所述基础检测网络模型的过程中执行对所述基础检测网络模型的重参化操作，得到完成结构重参化的目标检测网络模型，包括：
[0011]在加载所述基础检测网络模型的过程中，判断加载的所述基础检测网络模型的当前网络层是否为重参化层；
[0012]当判断出所述当前网络层不为所述重参化层时，保存所述当前网络层的网络参数；当判断出所述当前网络层为所述重参化层时，判断所述重参化层是否包括预设残差结
构，得到第一判断结果；根据所述第一判断结果，对所述重参化层执行相应的卷积形式转换操作，以更新所述重参化层；在更新所述重参化层之后，根据预先确定出的融合条件对更新后的所述重参化层执行融合操作，得到融合后的网络层；
[0013]在所述基础检测网络模型中的所有所述重参化层执行完毕卷积形式转换操作及融合操作之后，根据所有其它网络层的网络参数以及所有所述融合后的网络层，生成完成结构重参化的目标检测网络模型，所述其它网络层为所述基础检测网络模型中除所有所述重参化层之外的网络层。
[0014]作为一种可选的实施方式，在本专利技术第一方面中，所述根据所述第一判断结果，对所述重参化层执行相应的卷积形式转换操作，以更新所述重参化层，包括：
[0015]当所述第一判断结果表示所述重参化层包括所述预设残差结构，将所述重参化层中的所述预设残差结构转化为预先确定出的第一形式的卷积分支，并将所述重参化层中的第二形式的卷积分支转化为所述第一形式的卷积分支，以更新所述重参化层；
[0016]当所述第一判断结果表示所述重参化层不包括所述预设残差结构时，将所述重参化层中的第二形式的卷积分支转化为所述第一形式的卷积分支，以更新所述重参化层；
[0017]以及，所述在更新所述重参化层之后，根据预先确定出的融合条件对更新后的所述重参化层执行融合操作，得到融合后的网络层，包括：
[0018]在更新所述重参化层之后，根据第一融合条件，融合更新后的所述重参化层中的所有所述卷积分支，得到融合后的卷积层；
[0019]根据第二融合条件，对所述卷积层及归一化层执行层融合操作，得到融合后的网络层。
[0020]作为一种可选的实施方式，在本专利技术第一方面中，所述将所述图像帧集合对应的图像帧输入至所述目标检测网络模型中，得到行人检测结果，包括：
[0021]对于所述图像帧集合中的每一图像帧，确定该图像帧对应的定位框，并根据该图像帧对应图像信息及设定的图像检测条件，预测该图像帧对应的定位框的至少一种检测参数；
[0022]根据所述图像帧集合对应的图像帧数量、所有所述定位框对应的检测参数及设定的图像分析条件，确定行人检测结果；
[0023]以及，所述根据所述图像帧集合对应的图像帧数量、所有所述定位框对应的检测参数及设定的图像分析条件，确定行人检测结果，包括：
[0024]当所述图像帧集合对应的图像帧数量小于2时，根据所述定位框对应的检测参数及每一所述检测参数对应的类型权重条件，计算所述定位框对应的定位可信度；判断所述定位可信度是否大于等于预设的定位可信度阈值，当判断结果为是时，根据所有所述检测参数，确定行人检测结果；
[0025]当所述图像帧集合对应的图像帧数量大于等于2时，根据所有所述定位框对应的检测参数及设定的图像分析条件，确定行人检测结果。
[0026]作为一种可选的实施方式，在本专利技术第一方面中，所述根据所有所述定位框对应的检测参数及设定的图像分析条件，确定行人检测结果，包括：
[0027]根据每一所述定位框对应的检测参数，从所有所述定位框中筛选出满足第一定位条件的至少一个第一目标定位框，并根据所有所述第一目标定位框对应的检测参数，从所
有所述第一目标定位框中筛选出满足第二定位条件的第二目标定位框；
[0028]根据所述第二目标定位框对应的所有所述检测参数，确定行人检测结果。
[0029]作为一种可选的实施方式，在本专利技术第一方面中，所述根据每一所述定位框对应的检测参数，从所有所述定位框中筛选出满足第一定位条件的至少一个第一目标定位框，包括：
[0030]对于每一所述定位框，根据该定位框对应的检测参数，确定第一关系参数；
[0031]根据所有所述第一关系参数，从所有所述定位框中筛选出所述第一关系参数大于等于预设的第一关系参数阈值的定位框，作为第一目标定位框；或者，
[0032]根据所有所述第一关系参数，从所有所述定位框中筛选出满足排序及数量条件的定位框，作为第一目标定位框。
[0033]作为一种可选的实施方式，在本专利技术第一方面中，所述根据所有所述第一目标定位框对应的检测参数，从所有所述第一目标定位框中筛选出满足第二定位条件的第二目标定位框，包括：
[0034]根据所有所述第一目标定位框对应的检测参数，确定每一所述第一目标定位框对应的第二关系系数，并根据所有所述第二关系系数，确定所有所述第一目标定位框对应的第一排序结果；
[0035]根据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的轻量级行人检测方法，其特征在于，所述方法包括：采集与行人检测相关联的视频数据，并从所述视频数据中提取出至少一个基础图像帧；根据所有所述基础图像帧及图像预处理条件，确定对应的图像帧集合；逐层加载预训练完成的基础检测网络模型，并在加载所述基础检测网络模型的过程中执行对所述基础检测网络模型的重参化操作，得到完成结构重参化的目标检测网络模型；其中，所述基础检测网络模型为轻量级的深度卷积神经网络模型；将所述图像帧集合对应的图像帧输入至所述目标检测网络模型中，得到行人检测结果。2.根据权利要求1所述的基于深度学习的轻量级行人检测方法，其特征在于，所述在加载所述基础检测网络模型的过程中执行对所述基础检测网络模型的重参化操作，得到完成结构重参化的目标检测网络模型，包括：在加载所述基础检测网络模型的过程中，判断加载的所述基础检测网络模型的当前网络层是否为重参化层；当判断出所述当前网络层不为所述重参化层时，保存所述当前网络层的网络参数；当判断出所述当前网络层为所述重参化层时，判断所述重参化层是否包括预设残差结构，得到第一判断结果；根据所述第一判断结果，对所述重参化层执行相应的卷积形式转换操作，以更新所述重参化层；在更新所述重参化层之后，根据预先确定出的融合条件对更新后的所述重参化层执行融合操作，得到融合后的网络层；在所述基础检测网络模型中的所有所述重参化层执行完毕卷积形式转换操作及融合操作之后，根据所有其它网络层的网络参数以及所有所述融合后的网络层，生成完成结构重参化的目标检测网络模型，所述其它网络层为所述基础检测网络模型中除所有所述重参化层之外的网络层。3.根据权利要求2所述的基于深度学习的轻量级行人检测方法，其特征在于，所述根据所述第一判断结果，对所述重参化层执行相应的卷积形式转换操作，以更新所述重参化层，包括：当所述第一判断结果表示所述重参化层包括所述预设残差结构，将所述重参化层中的所述预设残差结构转化为预先确定出的第一形式的卷积分支，并将所述重参化层中的第二形式的卷积分支转化为所述第一形式的卷积分支，以更新所述重参化层；当所述第一判断结果表示所述重参化层不包括所述预设残差结构时，将所述重参化层中的第二形式的卷积分支转化为所述第一形式的卷积分支，以更新所述重参化层；以及，所述在更新所述重参化层之后，根据预先确定出的融合条件对更新后的所述重参化层执行融合操作，得到融合后的网络层，包括：在更新所述重参化层之后，根据第一融合条件，融合更新后的所述重参化层中的所有所述卷积分支，得到融合后的卷积层；根据第二融合条件，对所述卷积层及归一化层执行层融合操作，得到融合后的网络层。4.根据权利要求3所述的基于深度学习的轻量级行人检测方法，其特征在于，所述将所述图像帧集合对应的图像帧输入至所述目标检测网络模型中，得到行人检测结果，包括：对于所述图像帧集合中的每一图像帧，确定该图像帧对应的定位框，并根据该图像帧
对应图像信息及设定的图像检测条件，预测该图像帧对应的定位框的至少一种检测参数；根据所述图像帧集合对应的图像帧数量、所有所述定位框对应的检测参数及设定的图像分析条件，确定行人检测结果；以及，所述根据所述图像帧集合对应的图像帧数量、所有所述定位框对应的检测参数及设定的图像分析条件，确定行人检测结果，包括：当所述图像帧集合对应的图像帧数量小于2时，根据所述定位框对应的检测参数及每一所述检测参数对应的类型权重条件，计算所述定位框对应的定位可信度；判断所述定位可信度是否大于等于预设的定位可信度阈值，当判断结果为是时，根据所有所述检测参数，确定行人检测...

【专利技术属性】
技术研发人员：张璐，李晓会，南楠，
申请(专利权)人：珠海全志科技股份有限公司，
类型：发明
国别省市：