一种视觉感知算法的评测方法及装置制造方法及图纸

本发明专利技术实施例公开一种视觉感知算法的评测方法及装置，该方法包括：获得基于评测数据集中的每一点云数据帧确定的各物体对应的真值信息；获得基于预设视觉检测算法以及评测数据集中每一图像帧检测出的各检测物体对应的检测信息；基于预设结果准确性评测规则、预设算法稳定性评测规则、各物体对应的真值信息中的标注位姿信息和物体运动信息以及各检测物体对应的检测信息中的检测位姿信息和检测运动信息，确定预设视觉感知算法对应的评测信息，其中，评测信息包括：表征预设视觉感知算法的检测结果准确性的第一评测信息以及算法稳定性的第二评测信息，以实现对视觉感知算法的性能的全面评测。性能的全面评测。性能的全面评测。

【技术实现步骤摘要】
一种视觉感知算法的评测方法及装置


[0001]本专利技术涉及算法评测
，具体而言，涉及一种视觉感知算法的评测方法及装置。

技术介绍

[0002]视觉感知算法是自动驾驶系统、人脸识别系统以及身份验证系统等领域的核心组成部分，视觉感知算法的感知结果的准确与否，在一定程度上影响着上述系统输出结果的准确与否。相应的，为了保证上述系统的性能，在实际应用视觉感知算法之前需要对视觉感知算法的性能进行评测。
[0003]那么，如何提供一种对视觉感知算法的性能进行评测的方法成为亟待解决的问题。

技术实现思路

[0004]本专利技术提供了一种视觉感知算法的评测方法及装置，以实现对视觉感知算法的性能的全面评测。具体的技术方案如下：
[0005]第一方面，本专利技术实施例提供了一种视觉感知算法的评测方法，所述方法包括：
[0006]获得基于评测数据集中的每一点云数据帧确定的各物体对应的真值信息，其中，所述真值信息至少包括所对应物体的标注位姿信息以及物体运动信息，每一评测数据包括存在对应关系的点云数据帧和图像帧；
[0007]获得基于预设视觉检测算法以及所述评测数据集中每一图像帧检测出的各检测物体对应的检测信息，其中，所述检测信息至少包括所对应检测物体的检测位姿信息以及检测运动信息；
[0008]基于预设结果准确性评测规则、预设算法稳定性评测规则、各物体对应的真值信息中的标注位姿信息和物体运动信息以及各检测物体对应的检测信息中的检测位姿信息和检测运动信息，确定所述预设视觉感知算法对应的评测信息，其中，所述评测信息包括：表征所述预设视觉感知算法的检测结果准确性的第一评测信息以及算法稳定性的第二评测信息。
[0009]可选的，所述获得基于评测数据集中的每一点云数据帧确定的各物体对应的真值信息的过程，包括：
[0010]获得评测数据集；
[0011]基于预先训练的三维数据感知模型对所述评测数据集中的每一点云数据帧进行标注，标注出每一点云数据帧对应的各物体的标注框信息，以确定每一点云数据帧所对应各物体的标注位置信息和标注姿态信息，得到每一点云数据帧所对应各物体的标注位姿信息；
[0012]基于所述评测数据集中每一点云数据帧所对应各物体的标注位置信息和标注姿态信息，以及所述评测数据集中每一点云数据帧之间的时序信息，确定各点云数据帧所对
应各物体的标注速度信息以及标注加速度信息，以得到每一点云数据帧所对应各物体的物体运动信息，得到每一点云数据帧所对应各物体对应的真值信息。
[0013]可选的，所述获得基于预设视觉感知算法以及所述评测数据集中每一图像帧检测出的各物体对应的检测信息的步骤，包括：
[0014]基于预设视觉感知算法，对所述评测数据集中每一图像帧进行检测，得到每一图像帧对应的所检测出的各物体所对应检测框信息，以确定每一图像帧对应的所检测出的各检测物体的检测位置信息和检测姿态信息，得到每一图像帧所对应各检测物体的检测位姿信息；
[0015]基于预设视觉感知算法以及每一图像帧所对应各检测物体的检测位置信息和检测姿态信息，确定出每一图像帧所对应各检测物体的检测速度信息和检测加速度信息，以得到每一图像帧所对应各检测物体的检测运动信息，得到每一图像帧所对应各检测物体对应的检测信息。
[0016]可选的，所述真值信息包括每一点云数据帧所对应各物体的标注框信息，所述检测信息包括每一图像帧对应的所检测出的各检测物体的检测框信息，所述检测框信息包括所对应检测物体在图像帧中的二维位置信息；
[0017]所述基于预设结果准确性评测规则、预设算法稳定性评测规则、各物体对应的真值信息中的标注位姿信息和物体运动信息以及各检测物体对应的检测信息中的检测位姿信息和检测运动信息，确定所述预设视觉感知算法对应的评测信息的步骤，包括：
[0018]针对每一点云数据帧对应的各物体，基于该物体对应的标注框信息、点云数据帧采集设备与图像帧采集设备之间的位置转换关系以及所述图像帧采集设备的内参信息，确定该物体对应的标注框投影至该点云数据帧对应的图像帧中的投影框的投影位置信息，作为该物体对应的投影框位置信息；
[0019]针对每一点云数据帧对应的各物体，基于各物体对应的投影框位置信息和该点云数据帧对应的图像帧中各检测物体的二维位置信息，确定相匹配的投影框位置信息和二维位置信息，以确定每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息，其中，相匹配的投影框位置信息和二维位置信息为：所对应框的交并比数值超过预设交并比阈值的投影框位置信息和二维位置信息；
[0020]基于预设结果准确性评测规则、每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息、未匹配到真值信息的检测信息以及未匹配到检测信息的真值信息，确定表征所述预设视觉感知算法的检测结果准确性的第一评测信息；
[0021]基于预设算法稳定性评测规则、每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息，确定表征所述预设视觉感知算法的算法稳定性的第二评测信息。
[0022]可选的，所述检测位姿信息包括：每一图像帧对应的所检测出的各检测物体的通过其检测框信息所确定的检测位置信息和检测姿态信息；所述检测运动信息包括：每一图像帧对应的所检测出的各检测物体的检测速度信息和检测加速度信息；所述标注位姿信息包括：每一点云数据帧所对应各物体的通过其标注框信息所确定的标注位置信息和标注姿态信息；所述物体运动信息包括：每一点云数据帧所对应各物体的标注速度信息以及标注加速度信息；
[0023]所述基于预设结果准确性评测规则、每一点云数据帧及其对应的图像帧所对应相
匹配的真值信息及检测信息、未匹配到真值信息的检测信息以及未匹配到检测信息的真值信息，确定表征所述预设视觉感知算法的检测结果准确性的第一评测信息的步骤，包括：
[0024]基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息、未匹配到真值信息的检测信息以及未匹配到检测信息的真值信息，确定所述预设视觉感知算法对应的检测结果的精确率信息和召回率信息；
[0025]基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注位置信息及检测信息包括的检测位置信息，确定相匹配的真值信息及检测信息之间的检测位置误差值；
[0026]基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注姿态信息及检测信息包括的检测姿态信息，确定相匹配的真值信息及检测信息之间的检测姿态误差值；
[0027]基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注速度信息及检测信息包括的检测速度信息，确定相匹配的真值信息及检测信息之间的检测速度误差值；
[0028]基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注加速度信息及检测信息包括的检测加速度信息，确定相匹配的真值信息及检测信息之间的检测加速度误差值；
[0029]基于每一点云数据帧及其对应的图像帧本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视觉感知算法的评测方法，其特征在于，所述方法包括：获得基于评测数据集中的每一点云数据帧确定的各物体对应的真值信息，其中，所述真值信息至少包括所对应物体的标注位姿信息以及物体运动信息，每一评测数据包括存在对应关系的点云数据帧和图像帧；获得基于预设视觉检测算法以及所述评测数据集中每一图像帧检测出的各检测物体对应的检测信息，其中，所述检测信息至少包括所对应检测物体的检测位姿信息以及检测运动信息；基于预设结果准确性评测规则、预设算法稳定性评测规则、各物体对应的真值信息中的标注位姿信息和物体运动信息以及各检测物体对应的检测信息中的检测位姿信息和检测运动信息，确定所述预设视觉感知算法对应的评测信息，其中，所述评测信息包括：表征所述预设视觉感知算法的检测结果准确性的第一评测信息以及算法稳定性的第二评测信息。2.如权利要求1所述的方法，其特征在于，所述获得基于评测数据集中的每一点云数据帧确定的各物体对应的真值信息的过程，包括：获得评测数据集；基于预先训练的三维数据感知模型对所述评测数据集中的每一点云数据帧进行标注，标注出每一点云数据帧对应的各物体的标注框信息，以确定每一点云数据帧所对应各物体的标注位置信息和标注姿态信息，得到每一点云数据帧所对应各物体的标注位姿信息；基于所述评测数据集中每一点云数据帧所对应各物体的标注位置信息和标注姿态信息，以及所述评测数据集中每一点云数据帧之间的时序信息，确定各点云数据帧所对应各物体的标注速度信息以及标注加速度信息，以得到每一点云数据帧所对应各物体的物体运动信息，得到每一点云数据帧所对应各物体对应的真值信息。3.如权利要求1所述的方法，其特征在于，所述获得基于预设视觉感知算法以及所述评测数据集中每一图像帧检测出的各物体对应的检测信息的步骤，包括：基于预设视觉感知算法，对所述评测数据集中每一图像帧进行检测，得到每一图像帧对应的所检测出的各物体所对应检测框信息，以确定每一图像帧对应的所检测出的各检测物体的检测位置信息和检测姿态信息，得到每一图像帧所对应各检测物体的检测位姿信息；基于预设视觉感知算法以及每一图像帧所对应各检测物体的检测位置信息和检测姿态信息，确定出每一图像帧所对应各检测物体的检测速度信息和检测加速度信息，以得到每一图像帧所对应各检测物体的检测运动信息，得到每一图像帧所对应各检测物体对应的检测信息。4.如权利要求1-3任一项所述的方法，其特征在于，所述真值信息包括每一点云数据帧所对应各物体的标注框信息，所述检测信息包括每一图像帧对应的所检测出的各检测物体的检测框信息，所述检测框信息包括所对应检测物体在图像帧中的二维位置信息；所述基于预设结果准确性评测规则、预设算法稳定性评测规则、各物体对应的真值信息中的标注位姿信息和物体运动信息以及各检测物体对应的检测信息中的检测位姿信息和检测运动信息，确定所述预设视觉感知算法对应的评测信息的步骤，包括：针对每一点云数据帧对应的各物体，基于该物体对应的标注框信息、点云数据帧采集
设备与图像帧采集设备之间的位置转换关系以及所述图像帧采集设备的内参信息，确定该物体对应的标注框投影至该点云数据帧对应的图像帧中的投影框的投影位置信息，作为该物体对应的投影框位置信息；针对每一点云数据帧对应的各物体，基于各物体对应的投影框位置信息和该点云数据帧对应的图像帧中各检测物体的二维位置信息，确定相匹配的投影框位置信息和二维位置信息，以确定每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息，其中，相匹配的投影框位置信息和二维位置信息为：所对应框的交并比数值超过预设交并比阈值的投影框位置信息和二维位置信息；基于预设结果准确性评测规则、每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息、未匹配到真值信息的检测信息以及未匹配到检测信息的真值信息，确定表征所述预设视觉感知算法的检测结果准确性的第一评测信息；基于预设算法稳定性评测规则、每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息，确定表征所述预设视觉感知算法的算法稳定性的第二评测信息。5.如权利要求4所述的方法，其特征在于，所述检测位姿信息包括：每一图像帧对应的所检测出的各检测物体的通过其检测框信息所确定的检测位置信息和检测姿态信息；所述检测运动信息包括：每一图像帧对应的所检测出的各检测物体的检测速度信息和检测加速度信息；所述标注位姿信息包括：每一点云数据帧所对应各物体的通过其标注框信息所确定的标注位置信息和标注姿态信息；所述物体运动信息包括：每一点云数据帧所对应各物体的标注速度信息以及标注加速度信息；所述基于预设结果准确性评测规则、每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息、未匹配到真值信息的检测信息以及未匹配到检测信息的真值信息，确定表征所述预设视觉感知算法的检测结果准确性的第一评测信息的步骤，包括：基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息、未匹配到真值信息的检测信息以及未匹配到检测信息的真值信息，确定所述预设视觉感知算法对应的检测结果的精确率信息和召回率信息；基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注位置信息及检测信息包括的检测位置信息，确定相匹配的真值信息及检测信息之间的检测位置误差值；基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注姿态信息及检测信息包括的检测姿态信息，确定相匹配的真值信息及检测信息之间的检测姿态误差值；基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注速度信息及检测信息包括的检测速度信息，确定相匹配的真值信息及检测信息之间的检测速度误差值；基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注加速度信息及检测信息包括的检测加速度信息，确定相匹配的真值信息...

【专利技术属性】
技术研发人员：何杰，王旭，申艺华，李俊，董维山，
申请(专利权)人：魔门塔苏州科技有限公司，
类型：发明
国别省市：