一种影像标注算法性能测试方法技术

本发明专利技术公开了一种影像标注算法性能测试方法，包括：测试方生成虚拟测试环境，被测方在虚拟测试环境中部署被测的影像标注算法；数据提供方从测评数据库中获取若干组被测影像数据得到带有标注信息的标签表，并发送至结果校验方；测试方通过所述影像标注算法对所述被测影像数据进行处理得到带有处理结果的标签表，并发送至结果校验方；结果校验方对所述带有标注信息的标签表和所述带有处理结果的标签表进行比对生成结果表格，并通过测试方转发至被测方。本发明专利技术能够实现对处理结果与标注信息正确性的比对，可以实现被测影像数据的去重，在保障上述数据安全的基础上获得准确的测试结论。论。论。

【技术实现步骤摘要】
一种影像标注算法性能测试方法


[0001]本专利技术涉及测试
，尤其涉及一种影像标注算法性能测试方法。

技术介绍

[0002]人工智能医疗器械由于其自身的黑盒特性和不可解释性，因此在对其进行算法性能测试时，通常只能采用临床试验或测评数据库的方式进行，但临床试验的成本较高、周期不可控，因此使用测评数据库的测试方法更为经济和高效。
[0003]现有测评数据库在对人工智能医学影像辅助诊断软件进行测试时，先在测评数据库中抽取一部分测试影像与被测软件部署在同一测试环境内，之后运行被测软件导入测试数据进行处理，最终将结果与数据库中的标注结果进行比较得出测试结论。在这个过程中测试数据及其标注信息可能会泄露，使得测评数据库的封闭性丧失。测试过程中也缺乏对影像的唯一性鉴别，常见由于匿名/非匿名的相同影像数据导致的重复数据，从而使得测试结果出现偏倚。

技术实现思路

[0004]专利技术目的：针对上述不足，本专利技术提出一种影像标注算法性能测试方法，可以保障测试数据及其标注信息的保密性与完整性，且可以实现被测影像数据的去重，在保障上述数据安全的基础上获得准确的测试结论。
[0005]技术方案：
[0006]一种影像标注算法性能测试方法，包括：
[0007]测试方生成虚拟测试环境，被测方在虚拟测试环境中部署被测的影像标注算法；
[0008]数据提供方从测评数据库中获取若干组被测影像数据，对其进行标注同时生成各组被测影像数据的唯一性标签得到带有标注信息的标签表，并发送至结果校验方；
[0009]测试方通过所述影像标注算法对所述被测影像数据进行处理得到对应处理结果，同时生成各组被测影像数据的唯一性标签得到带有处理结果的标签表，并发送至结果校验方；
[0010]结果校验方对所述带有标注信息的标签表和所述带有处理结果的标签表进行比对生成结果表格，并通过测试方转发至被测方。
[0011]所述被测影像数据的唯一性标签为各组被测影像数据像素部分的MD5值。
[0012]计算各组被测数据像素部分的MD5值是通过读取记录每条数据由被测数据像素的DICOM tag(7fe0,0010)标识的像素部分MD5值得到。
[0013]在获取若干组被测影像数据并生成对应的唯一性标签后，还包括进一步筛查步骤：
[0014]将获取得到的被测影像数据进行重建矩阵匹配分组；
[0015]对同一组中的各影像两两计算其均方误差，将其中均方误差小于1的两影像之一删除。
[0016]所述计算两影像的均方误差具体如下：
[0017][0018]式中，g(x,y)为第一个影像像素矩阵，0≤x≤M
‑
1，0≤y≤N
‑
1；f(x,y)为第二个影像像素矩阵；M为影像像素列数，N为影像像素行数。
[0019]所述测试方生成拥有虚拟测试环境的虚拟化测试平台，通过本地接入虚拟化测试平台并将被测的影像标注算法软件安装程序拷贝至虚拟化测试平台的虚拟测试环境中，被测方通过远程虚拟桌面接入虚拟化测试平台，在虚拟测试环境中部署被测的影像标注算法。
[0020]所述数据提供方将所述被测影像数据导入测试专用的影像归档与通信系统，并通过VPN管道接入所述虚拟测试环境，所述测试方通过所述影像归档与通信系统获取所述被测影像数据。
[0021]所述测试方收到所述结果校验方发送的结果表格后销毁虚拟测试环境，并将所述结果表格生成测试报告转发至被测方。
[0022]有益效果：本专利技术通过增加第三方校验保障了被测影像数据与标注信息关联性的数据安全，结果校验方仅能获取标注信息，无法获得被测影像数据；测试方能够获取影像数据，但无法获得标注信息数据，因此也无法获得完整的关联信息；被测方在测试过程中除了部署软件和获得测试报告，无法获得任何其他信息。本专利技术通过MD5表以及测试方、结果校验方所分别掌握的数据，能够实现对处理结果与标注信息正确性的比对，以及必要时对测试结果进行完整链条追溯的能力，可以实现被测影像数据的去重，在保障上述数据安全的基础上获得准确的测试结论。
附图说明
[0023]图1为本专利技术的测试方法流程图；
[0024]图2为被测算法部署示意图；
[0025]图3为测评数据库接入示意图；；
[0026]图4为测试及结果反馈示意图。
具体实施方式
[0027]下面结合附图和具体实施例，进一步阐明本专利技术。
[0028]图1为本专利技术的测试方法流程图，如图1所示，本专利技术的影像标注算法性能测试方法包括步骤：
[0029](1)部署被测的影像标注算法；
[0030]如图2所示，测试方生成拥有虚拟测试环境的虚拟化测试平台，通过本地接入虚拟化测试平台并将被测的影像标注算法软件安装程序拷贝至虚拟化测试平台的虚拟测试环境中，被测方通过远程虚拟桌面接入虚拟化测试平台，在虚拟测试环境中部署被测的影像标注算法。
[0031]从技术上来讲，被测的影像标注算法的部署仅能由被测方实现，本专利技术通过构建虚拟化测试环境及被测方通过远程虚拟桌面接入的方式在满足上述要求的情况下保障了
被测方在测试环境中的权限与行为受控(即被测方没有拷贝文件的权限，仅能操作已被测试方拷贝的软件安装程序进行安装部署)，被测方与测试环境实现物理隔离，且被测方仅在此阶段可接入测试环境，此时测试数据尚未接入测试环境，保障了测试数据不被泄露给被测方。
[0032](2)接入测评数据库；
[0033]如图3所示，拥有测评数据库的数据提供方从测评数据库中随机抽取得到若干被测数据并进行标注得到其对应的标注信息，计算各被测数据像素部分的MD5值作为其标签，实现唯一性鉴别与保障标注数据可追溯性的前提下将被测数据与标注信息分离，并将其与其对应的标注信息进行对应，获得去重的被测数据(无标注)与带有标注信息的MD5表，将该些被测数据导入测试专用影像归档与通信系统(PACS)，并通过VPN管道接入虚拟化测试平台的虚拟测试环境。
[0034]具体地，计算各被测数据像素部分的MD5值是通过读取记录每条数据由被测数据像素的DICOM tag(7fe0,0010)标识的像素部分MD5值得到，因为有些影像文件中患者信息、设备信息等可能被修改过或以不同方式匿名化过，从而导致出现重复的影像，通过单独对影像数据(7fe0,0010)标识的像素部分进行MD5计算，能够快速准确地筛查掉大部分的重复影像。
[0035]本专利技术中，通过计算各被测数据像素部分的MD5值来筛查掉大部分的重复影像，但本专利技术并不止于此，本专利技术还可以计算各被测数据像素部分的MD4、SHA
‑
1，SHA
‑
224、SHA
‑
256、SHA
‑
384、SHA
‑
512等值来筛查掉大部分的重复影像。
[0036]进一步地，本专利技术还设有重复影像的进一步筛查步骤，具体为：
[0037]将经前述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种影像标注算法性能测试方法，其特征在于，包括：测试方生成虚拟测试环境，被测方在虚拟测试环境中部署被测的影像标注算法；数据提供方从测评数据库中获取若干组被测影像数据，对其进行标注同时生成各组被测影像数据的唯一性标签得到带有标注信息的标签表，并发送至结果校验方；测试方通过所述影像标注算法对所述被测影像数据进行处理得到对应处理结果，同时生成各组被测影像数据的唯一性标签得到带有处理结果的标签表，并发送至结果校验方；结果校验方对所述带有标注信息的标签表和所述带有处理结果的标签表进行比对生成结果表格，并通过测试方转发至被测方。2.根据权利要求1所述的影像标注算法性能测试方法，其特征在于，所述被测影像数据的唯一性标签为各组被测影像数据像素部分的MD5值。3.根据权利要求1所述的影像标注算法性能测试方法，其特征在于，计算各组被测数据像素部分的MD5值是通过读取记录每条数据由被测数据像素的DICOM tag(7fe0,0010)标识的像素部分MD5值得到。4.根据权利要求1所述的影像标注算法性能测试方法，其特征在于，在获取若干组被测影像数据并生成对应的唯一性标签后，还包括进一步筛查步骤：将获取得到的被测影像数据进行重建矩阵匹配分组；对同一组中的各...

【专利技术属性】
技术研发人员：张龙达，郝素丽，张勇，刘瑜珈，王磊，
申请(专利权)人：辽宁省检验检测认证中心，
类型：发明
国别省市：