【技术实现步骤摘要】
本专利技术涉及故障检测，具体涉及一种医用内窥镜系统视频失真智能自检方法、设备及装置。
技术介绍
1、在进行手术视频采集时，内窥镜系统是一种常用的工具，目前在视频采集的过程中会存在视频失真的问题，视频失真具体包括噪声、失焦模糊、运动模糊、不均匀光照、烟雾等。针对上述问题，目前已有一定的研究，例如申请号为2022105336865或2022114107013的专利，初步实现了内窥镜系统视频的故障分析功能。但现有技术仍然存在以下缺陷：
2、1、当前已有的智能自检方法大多基于实时和历史数据，然而这种方法的时效性不足以满足一些场景的实时性要求。特别是在需要进行快速自检和故障诊断的医疗内窥镜系统等场景下，基于视频进行自检分析的方法显得更为迫切和必要。
3、2、当前的智能自检方法在进行失真分析时，很难从失真分析的结果获得系统故障的具体原因。这种情况可能导致在出现故障时，难以对故障进行精确的定位和诊断，尤其内窥镜系统要求较高的精准性和因果关系推理。
4、3、当前的基于视频的质量进行深度学习失真分析的方法多应用于自然场景领域，而针对医疗领域的内窥镜系统视频涉及较少。这种情况导致医疗内窥镜系统的智能自检方法缺乏有效的视频失真分析方法，无法对视频中的失真情况进行精确的诊断和分析。
5、因此，亟需一种针对医疗领域的内窥镜系统视频的失真分析方法。
技术实现思路
1、(一)解决的技术问题
2、针对现有技术的不足，本专利技术提供了一种医用内窥镜系统视频
3、(二)技术方案
4、为实现以上目的，本专利技术通过以下技术方案予以实现：
5、第一方面，提供一种医用内窥镜系统视频失真智能自检方法，该方法包括：
6、获取内窥镜视频；
7、对所述内窥镜视频的所有视频帧进行特征提取，得到各视频帧的失真特征；
8、对所述失真特征进行失真分类和失真评级；
9、将所有视频帧的平均值作为内窥镜视频的失真分类和失真评级；
10、基于内窥镜视频的失真分类和失真评级，匹配导致失真的故障类型。
11、进一步的，所述内窥镜视频为固定帧率，且其视频帧的rgb像素值为归一化后的rgb像素值。
12、进一步的，对所述内窥镜视频的所有视频帧进行特征提取，得到各视频帧的失真特征，包括：
13、基于预训练后的resnet-50作为特征提取器，获取第一特征fres；
14、基于第一特征fres进行多尺度特征融合操作，得到多尺度特征融合在第l层输出的第二特征fmul_l；其中，l表示resnet-50中对应的层级；
15、基于第二特征fmul_l进行patch embedding操作，得到第三特征pl；
16、将第三特征pl的输入到训练好的swin transformer网络，得到第四特征fswin；
17、对第四特征fswin进行全局平均池化操作，得到视频帧的失真特征zswin。
18、进一步的，对所述失真特征进行失真分类和失真评级，包括：
19、基于失真分类任务的分类层获取所述失真特征的失真分类；其中，失真的分类包括：噪声、失焦模糊、运动模糊、不均匀光照、烟雾；
20、基于失真评级任务的分类层获取所述失真特征的失真评级。
21、进一步的，在进行网络训练时，损失函数为失真分类任务和失真评级任务的损失函数的加权和，其中，失真分类任务的损失函数为交叉熵损失函数，失真评级任务的损失函数为均方误差。
22、进一步的，基于内窥镜视频的失真分类和失真评级，匹配导致失真的故障类型，包括：
23、基于隐马尔可夫模型获取失真种类和失真等级对应的故障类型。
24、第二方面，提供一种医用内窥镜系统视频失真智能自检装置，该装置包括：
25、视频处理模块，用于获取内窥镜视频；
26、视频帧失真特征提取模块，用于对所述内窥镜视频的所有视频帧进行特征提取，得到各视频帧的失真特征；
27、视频帧分类及评级模块，用于对所述失真特征进行失真分类和失真评级；
28、视频分类及评级模块，用于将所有视频帧的平均值作为内窥镜视频的失真分类和失真评级；
29、故障类型匹配模块，用于基于内窥镜视频的失真分类和失真评级，匹配导致失真的故障类型。
30、进一步的，对所述内窥镜视频的所有视频帧进行特征提取，得到各视频帧的失真特征，包括：
31、基于预训练后的resnet-50作为特征提取器，获取第一特征fres；
32、基于第一特征fres进行多尺度特征融合操作，得到多尺度特征融合在第l层输出的第二特征fmul_l；其中，l表示resnet-50中对应的层级；
33、基于第二特征fmul_l进行patch embedding操作，得到第三特征pl；
34、将第三特征pl的输入到训练好的swin transformer网络，得到第四特征fswin；
35、对第四特征fswin进行全局平均池化操作，得到视频帧的失真特征zswin。
36、第三方面，提供了一种设备，包括：
37、一个或多个处理器；
38、存储器；以及
39、一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如权利要求1-6任一项所述的医用内窥镜系统视频失真智能自检方法。
40、(三)有益效果
41、本专利技术提供了一种医用内窥镜系统视频失真智能自检方法、设备及装置。与现有技术相比，具备以下有益效果：
42、1)本专利技术利用多尺度特征融合的swin-transformer网络提取了失真视频特征，并建立了医用内窥镜视频失真种类与失真视频之间的分类关联关系，同时联合得到失真等级的具体评估，从而关联得到失真种类和失真严重程度。
43、2)本专利技术还基于隐马尔可夫模型的分析方法，建立手术视频失真分类、质量等级评分与系统故障之间的定量关系，以及评估与系统故障相关的各种参数之间的关系，从而更好地理解系统故障的原因，并快速准确地进行故障定位和排除，提升了医用腹腔镜系统智能自检的可靠性和及时性。
本文档来自技高网...【技术保护点】
1.一种医用内窥镜系统视频失真智能自检方法，其特征在于，该方法包括：
2.如权利要求1所述的一种医用内窥镜系统视频失真智能自检方法，其特征在于，所述内窥镜视频为固定帧率，且其视频帧的RGB像素值为归一化后的RGB像素值。
3.如权利要求1所述的一种医用内窥镜系统视频失真智能自检方法，其特征在于，对所述内窥镜视频的所有视频帧进行特征提取，得到各视频帧的失真特征，包括：
4.如权利要求1所述的一种医用内窥镜系统视频失真智能自检方法，其特征在于，对所述失真特征进行失真分类和失真评级，包括：
5.如权利要求4所述的一种医用内窥镜系统视频失真智能自检方法，其特征在于，在进行网络训练时，损失函数为失真分类任务和失真评级任务的损失函数的加权和，其中，失真分类任务的损失函数为交叉熵损失函数，失真评级任务的损失函数为均方误差。
6.如权利要求1所述的一种医用内窥镜系统视频失真智能自检方法，其特征在于，基于内窥镜视频的失真分类和失真评级，匹配导致失真的故障类型，包括：
7.一种医用内窥镜系统视频失真智能自检装置，其特征在于，该装
8.如权利要求7所述的一种医用内窥镜系统视频失真智能自检装置，其特征在于，对所述内窥镜视频的所有视频帧进行特征提取，得到各视频帧的失真特征，包括：
9.一种设备，其特征在于，包括：
...【技术特征摘要】
1.一种医用内窥镜系统视频失真智能自检方法，其特征在于，该方法包括：
2.如权利要求1所述的一种医用内窥镜系统视频失真智能自检方法，其特征在于，所述内窥镜视频为固定帧率，且其视频帧的rgb像素值为归一化后的rgb像素值。
3.如权利要求1所述的一种医用内窥镜系统视频失真智能自检方法，其特征在于，对所述内窥镜视频的所有视频帧进行特征提取，得到各视频帧的失真特征，包括：
4.如权利要求1所述的一种医用内窥镜系统视频失真智能自检方法，其特征在于，对所述失真特征进行失真分类和失真评级，包括：
5.如权利要求4所述的一种医用内窥镜系统视频失真智能自检方法，其特...
【专利技术属性】
技术研发人员：朱源波，丁帅，王浩，苏伊阳，李诗惠，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。