本公开涉及用于处理实时视频并检测视频中的对象的系统和方法。在一个实施例中，提供了一种系统，所述系统包括：用于接收从医学成像设备获取的实时视频的输入端口；用于传送所接收的实时视频的第一总线；以及至少一个处理器，其被配置成：从第一总线接收实时视频，通过对所接收的实时视频的帧应用经训练的神经网络来执行对象检测，以及在帧中叠加边界，所述边界指示至少一个检测到的对象的位置。该系统还包括：用于接收具有叠加的边界的视频的第二总线；用于将具有叠加的边界的视频从第二总线输出至外部显示器的输出端口；以及用于将所接收的实时视频直接地传输至输出端口的第三总线。线。线。
【技术实现步骤摘要】
【国外来华专利技术】用于处理来自医学成像设备的实时视频并检测视频中的对象的系统和方法
[0001]本公开总体上涉及神经网络领域以及涉及这种网络用于图像分析和对象检测的用途。更具体地但不是限制性地，本公开涉及用于训练生成式对抗网络以及处理实时视频的计算机实现的系统和方法。本文公开的系统、方法和经训练的神经网络可用于各种应用和视觉系统，例如得益于精确的目标检测能力的医学图像分析和系统。
技术介绍
[0002]在许多对象检测系统中，对象是在图像中检测到的。感兴趣对象可以是人、地点或事物。在诸如医学图像分析和诊断的应用中，对对象的定位也很重要。然而，利用图像分类器的计算机实现的系统通常不能识别或提供检测到的对象的位置。因此，仅使用图像分类器的现有系统并不是非常有用。
[0003]此外，用于对象检测的训练技术将依赖于手动注释的训练集。当被训练的检测网络是基于边界框(例如YOLO(You Only Look Once)架构、单镜头检测器(single shot detector，SSD)架构等)的网络时，这种注释是耗时的。因此，大数据集很难为训练进行注释，这通常产生针对较小数据集进行训练的神经网络，这降低了精确度。对于计算机实现的系统，现有的医学成像通常建立在单一的探测器网络上。因此，一旦进行了检测，网络就简单地将检测结果例如输出给医生或其他专业护理人员。然而，这种检测结果可能是假阳性，例如内窥镜检查等中的非息肉。这种系统并不提供用于区分假阳性和真阳性的单独网络。
[0004]此外，基于神经网络的对象检测器通常将由神经网络识别的特征馈送到检测器中，该检测器可以包括第二神经网络。然而，这种网络通常是不精确的，因为特征检测是由通用网络来执行的，而只有检测器部分是专用的。
[0005]最后，许多现有的对象探测器在延时下工作。例如，医学图像将在分析之前被捕获和存储。然而，一些医学过程，如内窥镜检查，是基于实时诊断的。因此，这些系统通常难以以需求的实时方式进行应用。
技术实现思路
[0006]鉴于前面所述，本公开的实施例提供了用于训练生成式对抗网络并将其用于诸如医学图像分析的应用的计算机实现的系统和方法。本公开的系统和方法提供了优于现有系统和技术的益处，包括改进的对象检测和位置信息。
[0007]根据一些实施例，提供了计算机实现的系统，该系统包括识别感兴趣特征(即，异常或感兴趣对象)及其位置的对象检测器网络，以及区分真阳性和假阳性的对抗网络。此外，本公开的实施例提供用于训练对象检测器网络的两循环(two
‑
loop)技术。该训练过程基于检查检测来使用注释，使得手动注释可以发生得更快，并因此具有更大的数据集。此外，该过程可用于训练生成式对抗网络，以区分假阳性和真阳性。
[0008]此外，提供了将对象检测器网络与生成式对抗网络组合的公开系统。通过将这些
网络组合，可以区分假阳性和真阳性，从而提供更精确的输出。通过减少假阳性，由于提高的精确性，医生或其他专业医护人员将会更加关注来自网络的输出。
[0009]此外，本公开的实施例包括这样的神经网络：其不使用通过与专用检测器组合的一个神经网络进行的通用特征识别。相反，针对对象检测器部分训练单个无缝式神经网络，这产生更好的专门化以及更高的精确度和效率。
[0010]最后，本公开的实施例被配置成在单个显示器上显示实时视频(例如内窥镜视频或其他医学图像)以及对象检测。因此，本公开的实施例提供了视频旁路，以使来自对象检测器的错误和其他潜在缺点的潜在问题最小化。此外，可以以特别设计的方式显示对象检测，以更好地引起医生或其他专业护理人员的注意。
[0011]在一个实施例中，一种用于处理实时视频的系统可以包括：用于接收实时视频的输入端口；用于传送所接收的实时视频的第一总线；至少一个处理器，被配置成：从所述第一总线接收所述实时视频，对所述所接收的实时视频的帧执行对象检测，在所述帧中叠加边界，所述边界指示至少一个检测到的对象的位置；用于接收具有叠加的边界的视频的第二总线；用于将所述具有叠加的边界的视频从所述第二总线输出至外部显示器的输出端口；以及用于将所接收的实时视频直接地传输至所述输出端口的第三总线。
[0012]在一些实施例中，一旦从所述至少一个处理器接收到错误信号，可以启动第三总线。
[0013]在任何实施例中，所述至少一个检测到的对象可以是异常。在该实施例中，所述异常可包括在人体组织上的形成或人体组织的形成。额外地或可替代地，所述异常可以包括人体组织从一种类型的细胞到另一种类型的细胞的变化。额外地或可替代地，所述异常可以包括人体组织从预期的人体组织的位置处的缺失。
[0014]在任何实施例中，所述异常可包括病变。例如，病变可以包括息肉状病变或非息肉状病变。
[0015]在任何实施例中，所述叠加边界可以包括图形化图案，所述图形化图案围绕包括所述至少一个检测到的对象的所述图像的区域，所述图案以第一颜色显示。在该实施例中，所述至少一个处理器还可以被配置成，在经过一段时间之后，当所述至少一个检测到的对象是真阳性时，则将所述图案修改为以第二颜色显示；并且如果所述至少一个检测到的对象为假阳性，则将所述图案进一步修改为以第三颜色显示。在该实施例中，所述至少一个处理器还可以被配置成：当边界的图案被修改时向一个或多个扬声器发送命令以产生声音。在该实施例中，所述声音的持续时间、音调、频率和幅度中的至少一者可以取决于至少一个检测到的对象是真阳性还是假阳性。作为声音的补充或替代，所述至少一个处理器还可以被配置成：当所述边界的图案被修改时向至少一个可穿戴设备发送命令以进行振动。在该实施例中，所述振动的持续时间、频率和幅度中的至少一者取决于至少一个检测到的对象是真阳性还是假阳性。
[0016]在一个实施例中，一种用于处理实时视频的系统可以包括：用于接收实时视频的输入端口；至少一个处理器，被配置成：从所述输入端口接收所述实时视频、通过对所接收的实时视频的帧应用经训练的神经网络来执行对象检测，在所述帧中叠加边界，所述边界指示至少一个检测到的对象的位置；用于将具有叠加的边界的视频从所述至少一个处理器输出至外部显示器的输出端口；以及用于从用户接收灵敏度设置的输入设备。处理器还可
以被配置成响应于灵敏度设置来调整经训练的神经网络的至少一个参数。
[0017]在一些实施例中，所述至少一个检测到的对象可以是异常。在该实施例中，所述异常可以包括人体组织上的形成或人体组织的形成。额外地或可替代地，所述异常可以包括人体组织从一种类型的细胞到另一种类型的细胞的变化。额外地或可替代地，所述异常可包括人体组织从预期的人体组织的位置处的缺失。
[0018]在任何实施例中，所述异常可以包括病变。例如，该病变可以包括息肉状病变或非息肉状病变。
[0019]本公开的额外目的和优点将在下面的详细描述中部分地阐述，并且部分地将从描述中变得明了，或者可以通过本公开的实践来学习。本公开的目的和优点将通过在所附权利要求中特别指出的元素和组合来实现和获得。<本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于处理实时视频的计算机实现的系统，所述系统包括：输入端口，用于接收从医学成像设备获取的实时视频；第一总线，用于传送所接收的实时视频；至少一个处理器，被配置成：从所述第一总线接收所述实时视频，通过对所述所接收的实时视频的帧应用经训练的神经网络来执行对象检测，在所述帧中叠加边界，所述边界指示至少一个检测到的对象的位置；第二总线，用于接收具有叠加的边界的视频；输出端口，用于将所述具有叠加的边界的视频从所述第二总线输出至外部显示器；以及第三总线，用于将所述所接收的实时视频直接地传输至所述输出端口。2.如权利要求1所述的系统，其中，一旦从所述至少一个处理器接收到错误信号，则使所述第三总线启动。3.如前述权利要求中任一项所述的系统，其中，第一多个图像和第二多个图像中的至少一者包括来自成像设备的图像，所述成像设备是在胃镜检查、结肠镜检查、肠镜检查或上消化道内窥镜检查中的至少一者期间使用的设备，可选地包括内窥镜检查设备。4.如前述权利要求中任一项所述的系统，其中，所述至少一个检测到的对象是异常，并且其中，所述异常可选地包括：人体组织上的形成或人体组织的形成、人体组织从一种类型的细胞到另一种类型的细胞的变化、和/或人体组织从预期的人体组织的位置处的缺失。5.如权利要求4所述的系统，其中，所述异常包括病变，可选地包括息肉状病变或非息肉状病变。6.如前述权利要求中任一项所述的系统，其中，所述叠加的边界包括图形化图案，所述图形化图案围绕包括所述至少一个检测到的对象的所述图像的区域，所述图案以第一颜色显示。7.如权利要求6所述的系统，其中，所述至少一个处理器还被配置成：在经过一段时间之后，当所述至少一个检测到的对象是真阳性时，则将所述图案修改为以第二颜色显示；如果所述至少一个检测到的对象为假阳性，则将所述图案进一步...
【专利技术属性】
技术研发人员：N，
申请(专利权)人：科斯默人工智能AI有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。