背景图像分析的系统及方法技术方案

在一个实施方式中，提供了一种用于实时视频处理的计算机实现系统。所述系统包括至少一个存储指令的存储器以及至少一个执行指令进行操作的处理器。所述至少一个处理器可接收医学图像系统所生成的实时视频(包括多个图像帧)，并获取表明用户与医学图像系统交互状态的背景信息。所述至少一个处理器还可进行目标检测，检测多个图像帧中的至少一个目标，并进行分类，生成多个图像帧中至少一个目标的分类信息。此外，所述至少一个处理器还可进行视频操作，基于目标检测和分类中的至少一种操作来修改接收到的实时视频。此外，所述处理器可根据背景信息调用目标检测、分类和视频操作中的至少一种操作。至少一种操作。至少一种操作。

【技术实现步骤摘要】
【国外来华专利技术】背景图像分析的系统及方法
[0001]相关专利申请的交叉引用
[0002]本申请要求2020年2月3日提交的第62/969,643号美国临时申请的优先权，所述第62/969,643号美国临时申请的的全部内容通过本专利技术的引用，成为本专利技术的一部分。


[0003]本专利技术通常涉及背景图像分析的计算机实现系统和方法。更具体地说，本专利技术涉及(但不限于)用于处理实时视频并根据背景信息进行图像处理操作的计算机实现系统和方法。本专利技术所公开的系统和方法可用于各种应用和视觉系统，如医学图像分析及系统，它们均受益于精确的图像处理能力。

技术介绍

[0004]在图像分析系统中，通常需要检测图像中的关注目标。关注目标可以是一个人、一个地点或一个物品。在医学图像分析和诊断等一些应用中，检测目标(例如，人体组织形成等异常)的位置和分类也很重要。但是，现有计算机实现系统和方法存在许多缺点，包括无法准确检测目标和/或提供检测目标的位置或分类。此外，现有系统和方法可能不加选择地进行不必要的图像处理操作，和/或不考虑图像设备的实时情景或使用，因此效率低下。在本专利技术中，“实时”是指立即发生或处理。
[0005]一些现有医学成像系统以单检测器网络为基础。在进行检测后，所述网络只是简单地向医生或其他医疗保健专业人员输出检测结果。但是，此类检测可能呈假阳性，如内窥镜检查中的非息肉等。此类系统不提供用于区分假阳性和真阳性的单独网络。
[0006]此外，基于神经网络的目标检测器通常向检测器传送由神经网络识别的特征，还可包括第二神经网络。但是，此类网络通常并不准确，因为由广义网络进行特征检测，其中仅检测器部分是专用的。
[0007]用于实时应用的现有医学成像系统还存在其他缺点。例如，此类系统通常适合在不考虑使用情景或医生或其他用户与医学图像设备(生成待处理视频帧)之间实时交互状态的情况下进行操作。
[0008]此外，用于实时应用的现有医学成像系统并不使用从医生或其他用户与医学图像设备之间的交互中获取的背景信息来沿着时间维度聚合目标检测器所识别的目标。
[0009]此外，用于实时应用的现有医学成像系统并不使用从用户与医学图像设备之间的交互中获取的背景信息来激活或停用能够执行特定任务(如目标检测、检测目标分类、目标特性输出或为确保用户利益而修改医用显示器上的信息可视化方式)的特定神经网络。
[0010]鉴于上述情况，专利技术人确定，需要改进图像分析(包括医学图像分析和诊断)系统和方法。还需要改进医学成像系统，从而准确、有效地检测目标并提供分类信息。此外，还需要提供可根据背景信息进行实时图像处理操作的图像分析系统和方法。

技术实现思路

[0011]鉴于上述情况，本专利技术的实施例提供了用于处理来自图像设备(如医学图像系统)的实时视频的计算机实现系统和方法。所公开的系统和方法可进行图像处理操作，如目标检测和分类。所公开的系统和方法还可使用背景信息确定用户与图像设备的交互状态，并根据所确定的交互状态使用一个或多个神经网络(经训练可处理从图像设备接收到的图像帧)进行图像处理，或根据背景信息修改显示器上的信息可视化方式。与现有系统和技术相比，本专利技术所述的系统和方法提供了诸多优势，包括解决了上述一个或多个缺点和/或现有系统和技术的其他缺点。
[0012]在某些实施例中，从图像设备接收到的图像帧可包括人体器官的图像帧。例如，所述人体器官可包括胃肠器官。所述帧可包括来自内窥镜检查、胃镜检查、结肠镜检查、肠镜检查、腹腔镜检查或外科内窥镜检查中的至少一项检查所使用医学图像设备的图像。在各个实施例中，图像帧中所包含的关注目标可为人体器官、手术器械或异常的一部分。所述异常可包括人体组织形成、人体组织中一种细胞变成另一种细胞和/或人体组织的预期位置处缺少人体组织。人体组织形成可包括病变，如息肉样病变或非息肉样病变。因此，所公开的实施例可用于医学情景，但并非特定于任何单一疾病，而是具有普适性。
[0013]在某些实施例中，背景信息可用于确定应进行何种图像处理操作。例如，所述图像处理操作可包括激活或停用特定神经网络，如目标检测器、图像分类器或图像相似性评估器。此外，所述图像处理操作还可包括激活或停用用于提供检测目标信息(如目标类别或目标具体特征)的特定神经网络。
[0014]在某些实施例中，背景信息可用于确定用户与图像设备的交互状态。例如，背景信息可表明用户正在与图像设备进行交互识别图像帧中的关注目标。然后，背景信息可表明用户不再与图像设备进行交互识别关注目标。此外，例如，背景信息可表明用户正在与图像设备进行交互检查图像帧中的一个或多个检测目标。然后，背景信息可表明用户不再与图像设备进行交互检查图像帧中的一个或多个检测目标。但是，应理解，背景信息可用于确定任何其他用户与图像设备或相关设备与医学图像系统之间的交互状态，如显示或隐藏显示信息，执行视频功能(例如，放大到包含关注目标的区域、改变图像颜色分布等)，将捕获到的图像帧保存到存储设备，打开或关闭图像设备。
[0015]在某些实施例中，背景信息可用于确定是否沿着时间维度聚合多个图像帧中的关注目标。例如，可能需要捕获包含关注目标(如息肉)的所有图像帧，以便医生进行后续检查。在这种情况下，对图像设备所捕获的包含关注目标的所有图像帧进行分组可能很有利。可将标签、时间戳、位置、移动行程等信息与每组图像帧相关联，从而进行区分。可使用其他方法来聚合关注目标，如改变图像帧的颜色分布(例如，用绿色表示第一关注目标，用红色表示第二关注目标)，在图像帧中添加其他字母数字信息或其他字符(例如，用“1”表示第一关注目标，用“2”表示第二关注目标)。
[0016]可通过与所公开实施例一致的各种方法来生成背景信息。例如，可使用一段时间内两个或多个图像帧中检测目标位置的交并比(IoU)值生成背景信息。可将所述IoU值与阈值进行比较，确定用户与图像设备的交互情景(例如，用户正在导航图像设备识别目标)。在某些实施例中，如果所述IoU值在预定帧数或时间内达到阈值，则可建立确定用户与图像设备交互状态所需的持久性。
[0017]在某些实施例中，可使用一段时间内两个或多个图像帧中检测目标的图像相似值或其他特定图像特征生成背景信息。可将所述检测目标的图像相似值或其他特定图像特征与阈值进行比较，确定用户与图像设备的交互情景(例如，用户正在导航图像设备识别目标)。在某些实施例中，如果所述检测目标的图像相似值或另一个特定图像特征在预定帧数或时间内达到阈值，则可建立确定用户与图像设备交互状态所需的持久性。
[0018]所公开的实施例还可根据在同一图像帧中同时存在的多个目标的存在或分析获取背景信息。所公开的实施例还可根据整个图像(即，不仅仅所识别的目标)的分析获取背景信息。在某些实施例中，根据分类信息获取背景信息。此外或可替代地，可根据图像设备接收到的用户输入生成背景信息，所述输入将表明用户的交互状态(例如，输入表明用户正在聚焦或缩放图像设备，检查所识别的目标)。在此类实施例中，为了确定用户与图像设备的交互状态，本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于实时视频处理的计算机实现系统，包括：至少一个存储指令的存储器；以及至少一个执行指令进行操作的处理器，所述操作包括：接收医学图像系统所生成的实时视频，所述实时视频包括多个图像帧；以及当接收医学图像系统所生成的实时视频时：获取表明用户与医学图像系统交互状态的背景信息；进行目标检测，检测多个图像帧中的至少一个目标；进行分类，生成多个图像帧中至少一个检测目标的分类信息；以及进行图像修改，基于目标检测和分类中的至少一种操作来修改接收到的实时视频，并在视频显示设备上生成实时视频及图像修改显示；其中，所述至少一个处理器还可根据背景信息调用目标检测和分类中的至少一种操作。2.根据权利要求1所述的系统，其中，使用至少一个执行目标检测和分类中的至少一种操作，所述神经网络经训练可处理从医学图像系统接收到的图像帧。3.根据权利要求1或2所述的系统，其中，当背景信息表明用户正在与医学图像系统进行交互识别目标时，所述至少一个处理器可调用目标检测操作。4.根据权利要求3所述的系统，其中，当背景信息表明用户不再与医学图像系统进行交互识别目标时，所述至少一个处理器可进一步停用目标检测操作。5.根据任何前述权利要求所述的系统，其中，当背景信息表明用户正在与医学图像系统进行交互检查多个图像帧中的至少一个目标时，所述至少一个处理器可调用分类操作。6.根据权利要求5所述的系统，其中，当背景信息表明用户不再与医学图像系统进行交互检查多个图像帧中的至少一个目标时，所述至少一个处理器可进一步停用分类操作。7.根据任何前述权利要求所述的系统，其中，当背景信息表明用户对多个图像帧(包含至少一个目标)中的某一区域关注时，所述至少一个处理器可进一步调用目标检测操作，其中，当背景信息表明用户对至少一个目标关注时，所述至少一个处理器可进一步调用分类操作。8.根据任何前述权利要求所述的系统，其中，所述至少一个处理器可进一步聚合两个或多个帧(包含至少一个目标)，其中，所述至少一个处理器可进一步根据背景信息调用聚合操作。9.根据任何前述权利要求所述的系统，其中，所述图像修改包括一个覆盖层(包括至少一个表明至少一个检测目标位置的边框)、至少一个目标的分类信息、至少一个目标的缩放图像或修改后的图像颜色分布中的至少一种。10.根据任何前述权利要求所述的系统，其中，所述至少一个处理器可根据一段时间内两个或多个图像帧中至少一个检测目标位置的交并比(IoU)值生成背景信息。11.根据任何前述权利要求所述的系统，其中，所述至少一个处理器可根据两个或多个图像帧的图像相似值生成所述背景信息。12.根据任何前述权利要求所述的系统，其中，所述至少一个处理器可根据多个图像帧中一个或多个目标的检测或分类生成所述背景信息。13.根据任何前述权利要求所述的系统，其中，所述至少一个处理器可根据医学图像系
统从用户处接收到的输入生成所述背景信息。14.根据任何前述权利要求所述的系统，其中，所述至少一个处理器还可根据分类信息生成所述背景信息。15.根据任何前述权利要求所述的系统，其中，所述多个图像帧包括胃肠器官的图像帧。16.根据任何前述权利要求所述的系统，其中，所述帧包括来自内窥镜检查、胃镜检查、结肠镜检查、肠镜检查、腹腔镜检查或外科内窥镜检查中的至少一项检查所使用医学图像设备的图像。17.根...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：科斯默人工智能AI有限公司，
类型：发明
国别省市：