机器视觉底层算法的开发优劣性的评测方法技术

本发明专利技术涉及一种机器视觉底层算法的开发优劣性的评测方法，包括S1、选取标准对比库；S2、记录测试环境，并制作测试报表；S3、根据输入输出特征条件划分到具体对应的类别；S4、计算效果测试得分score_r；S5、获得效率测试得分score_e；S6、根据效果测试得分score_r以及效率测试得分score_e计算开发出的待评测的底层算法的总得分；S7、根据步骤S6获得总等分评判开发出的底层算法的优劣性。本发明专利技术使得开发的底层算法有一个统一的评判标准，为底层算法开发项目的测试，管理与验收提供了有力的工具，从而降低了底层算法开发项目测试中存在的风险，以及验收与管理成本。以及验收与管理成本。以及验收与管理成本。

【技术实现步骤摘要】
机器视觉底层算法的开发优劣性的评测方法


[0001]本专利技术涉及视觉检测算法
，尤其是一种机器视觉底层算法的开发优劣性的评测方法。

技术介绍

[0002]机器视觉行业内，当企业需要实现算法完全自主化，不依赖第三方库时，需要自己开发由一系列底层算法构成的算法工具集，而对开发的底层算法，在上线使用前必须通过测试，目前行业内已知的测试策略有：1、现场测试，即将开发好的算法工具集直接应用到实际项目，以项目的实际使用结果为准，直接进行实战测试，在实际项目现场边测试，边反馈与修改，直至最后满足实际应用需求；2、开发人员自测，即算法开发人员自行进行测试，自行制定测试策略，并对其开发的算法通过测试后是否在实际应用中会出现问题负责；3、测试人员测试，即套用互联网行业的测试模式，有专门的开发部门与测试部门，测试部门负责制定测试用例，并基于测试用例对开发部门开发的算法进行测试。
[0003]但是，上述三种测试策略分别存在以下问题：（1）现场测试：使得项目中要承担算法测试以及反馈、修改造成的时间开销与人力成本，增大项目延期、甚至失败的风险；且机器视觉行业，不同的项目应用需求不同，算法工具集中的算法不一定会全部用到，以及对使用到的各个算法要求的侧重点也不同，使得测试结果具有片面性，即在某个项目中测试通过，也不能保证该底层算法工具集能适用于其他项目，使得每个项目都需要额外投入测试与反馈、修改的时间，与开发以及测试的人力成本；（2）开发人员自测：不同的开发人员，测试方法也不同，对算法的效果以及执行效率的评判标准也不同，一个底层算法工具集往往是由多个算法人员组成的团队来开发，这就导致同一个工具集中的算法可能有多个不同的测试方法与评判标准，导致算法的质量不一，组合成为一个工具集后在使用中会出现诸多问题；且如果发生算法开发人员的流动，由于不同的算法人员有不同的测试方法与标准，导致已开发的算法随着算法人员的更迭变得难以维护；（3）专门测试人员测试：互联网行业中的测试方法是端到端的测试，即模拟实际因通过用场景设计各种测试用例，以最终的结果为准，这种模式适合客户端的应用产品，但对于底层算法工具集这种工具型产品，需要对各个算法进行具体测试，而实际应用场景是由多个算法组成的应用级算法，互联网行业基于实际应用场景来设计测试用例的测试方法不符合工具型产品的特点（工具型产品不光需要端到端测试还需要需要各模块单独测试），且由于机器视觉行业应用场景下需求的多变性与不确定性，无法设计出覆盖面较全的测试用例，不能保证工具型产品能够满足各种应场景；而且算法测试需要具备相应的理论知识，常规的测试人员很少具备这些知识，即使能找到或者培养具有这些知识的测试人员，也会增
加大量的人力成本。
[0004]因此，以上方法都不是基于算法本身理论特性设计的测试方法，会使得测试面覆盖不够、评判标准不准确，从而导致算法在项目应用中出问题概率较高。
[0005]同时，目前的机器视觉算法没有一个通用的算法测试方法，能够测试所有的机器视觉算法，这是因为：1、机器视觉算法的底层原理各式各样，每个具体的算法都可能有其独到的数学与逻辑原理，原理不同，具体的测试方法也会不同；2、机器视觉算法的输入与输出不尽相同，不同的算法输入输出都不一样，比如2个算法，一个输出的是图像，一个输出的是数字，输出根本不是同一种东西，也就没有可比性，自然没法用同一个公式或者方法同时对这两个算法进行测试；3、影响执行效率因素不一样，比如，对于全局二值化算法，影响算法效率的因素只有图像尺寸大小；对于傅里叶变换算法，影响算法的因素除了图像尺寸大小，还有图像尺寸是否为素数；而对于极坐标变换算法，影响算法效率的因素又只与输入参数中的内圆半径与外圆半径有关。
[0006]因此，由于影响算法执行效率的因素不完全同，如果只按照上述所有因素中的部分因素来设计测试用例，则该测试用例无法同时满足以上3种情况的测试需求；而当算法种类更多时，影响执行效率的因素也会更多，也就很难有一种方法能同时满足所有算法的测试需求；同时，不同算法的测试结果没有可比性，比如有的测量算法误差早5个像素以内都可以接受，误差超过1像素就已经非常差了；再如，有的算法执行时间在50ms以内都算比较快的，但有的算法执行时间在10ms以上就算很慢了；所以也就很难有一种测试方法能够将所有算法的测试结果归一化成一个分数，能够实现通过简单地设置一个得分阈值来判断被测试的算法是否能够通过测试。

技术实现思路

[0007]本专利技术要解决的技术问题是：提供一种机器视觉底层算法的开发优劣性的评测方法，解决对于算法种类多、数量庞大、且需完全自主化即不使用第三方算法库的底层算法开发项目时没有统一的测试方法与评判标准，来对算法开发的优劣程度进行评定或验收的问题。
[0008]本专利技术解决其技术问题所采用的技术方案是：一种机器视觉底层算法的开发优劣性的评测方法，包括以下步骤，S1、选取与开发出的待评测的底层算法进行对比的标准对比库；S2、记录测试环境，并制作测试报表；S3、将开发出的待评测的底层算法根据自身的输入输出特征条件划分到具体对应的类别；S4、对开发出的待评测的底层算法进行效果比对测试，并计算效果测试得分score_r；S5、使用图像缩放算法对任意一张测试图像进行N次缩放，共获得N张不同尺寸大小的图像，将获得的N张图像中的每一张图像分别用开发出的待评测的底层算法以及标准算法库中的对应算法执行M次算法，并分别统计底层算法以及标准算法库中的对应算法执
行M次算法所消耗的时间，以获得效率测试得分score_e；S6、根据效果测试得分score_r以及效率测试得分score_e计算开发出的待评测的底层算法的总得分score=
ɑ
*score_r+(1
‑
ɑ
)score_e；其中，
ɑ
为权重系数；S7、根据步骤S6获得总等分评判开发出的底层算法的优劣性。
[0009]进一步的说，本专利技术所述的步骤S1中，开发出的待评测的底层算法与标准对比库中的算法具有对应关系，所述的开发出的待评测的底层算法与标准对比库中的算法的所有参数保持一致。
[0010]进一步的说，本专利技术所述的步骤S2中，测试报表包括测试环境以及测试结果；所述的测试环境包括CPU信息、内存信息、GPU信息以及标准对比库信息；所述的测试结果包括开发出的待评测的底层算法的效果得分、效率得分以及总得分。
[0011]进一步的说，本专利技术所述的步骤S3中，对应的类别包括：图像处理类、分割类、特征提取类、定位类以及测试类。
[0012]再进一步的说，本专利技术所述的步骤S4中，效果比对测试是指对于同样的输入，将开发出的待评测的底层算法的输出结果与标准对比库中对应算法的输出结果进行比对；根据步骤S3中分好的类别，每一类别分别采用对应的评分函数得到效果测试得分score_r。
[0013]再进一步的说，本专利技术所述的图像处理类的评分函数为：，；其中，I(i,j)与I
’
(i,j)分别代表开发的算法得到结果图像与标准库得到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器视觉底层算法的开发优劣性的评测方法，其特征在于：包括以下步骤，S1、选取与开发出的待评测的底层算法进行对比的标准对比库；S2、记录测试环境，并制作测试报表；S3、将开发出的待评测的底层算法根据自身的输入输出特征条件划分到具体对应的类别；S4、对开发出的待评测的底层算法进行效果比对测试，并计算效果测试得分score_r；S5、使用图像缩放算法对任意一张测试图像进行N次缩放，共获得N张不同尺寸大小的图像，将获得的N张图像中的每一张图像分别用开发出的待评测的底层算法以及标准算法库中的对应算法执行M次算法，并分别统计底层算法以及标准算法库中的对应算法执行M次算法所消耗的时间，以获得效率测试得分score_e；S6、根据效果测试得分score_r以及效率测试得分score_e计算开发出的待评测的底层算法的总得分score=
ɑ
*score_r+(1
‑
ɑ
)score_e；其中，
ɑ
为权重系数；S7、根据步骤S6获得总等分评判开发出的底层算法的优劣性。2.如权利要求1所述的机器视觉底层算法的开发优劣性的评测方法，其特征在于：所述的步骤S1中，开发出的待评测的底层算法与标准对比库中的算法具有对应关系，所述的开发出的待评测的底层算法与标准对比库中的算法的所有参数保持一致。3.如权利要求1所述的机器视觉底层算法的开发优劣性的评测方法，其特征在于：所述的步骤S2中，测试报表包括测试环境以及测试结果；所述的测试环境包括CPU信息、内存信息、GPU信息以及标准对比库信息；所述的测试结果包括开发出的待评测的底层算法的效果得分、效率得分以及总得分。4.如权利要求1所述的机器视觉底层算法的开发优劣性的评测方法，其特征在于：所述的步骤S3中，对应的类别包括：图像处理类、分割类、特征提取类、定位类以及测试类。5.如权利要求4所述的机器视觉底层算法的开发优劣性的评测方法，其特征在于：所述的步骤S4中，效果比对测试是指对于同样的输入，将开发出的待评测的底层算法的输出结果与标准对比库中对应算法的输出结果进行比对；根据步骤S3中分好的类别，每一类别...

【专利技术属性】
技术研发人员：都卫东，和江镇，王岩松，王天翔，吴健雄，
申请(专利权)人：征图新视江苏科技股份有限公司，
类型：发明
国别省市：