一种视频中的对象标记方法和系统技术方案

本申请提供了一种视频中的对象标记方法和系统，其中，该方法包括：获取目标视频图像；对所述目标视频图像进行基于矩形框的区域标记和矩形框内对象的物体检测；根据物体检测结果，确定各矩形框中对象的对象类别；在矩形框中的对象属于形状规则类别的情况下，按照矩形框对该矩形框中的对象进行标记；在矩形框中的对象属于形状不规则类别的情况下，对矩形框中的对象进行边缘分割，基于边缘分割结果对该矩形框中的对象进行标记。通过上述方案解决了现有的仅基于矩形框标记所存在的标记准确度较低的问题，对所有对象都进行边缘标记所存在的实时处理效率较低的问题，达到了在保证标记效率的同时，保证标记准确率的技术效果。保证标记准确率的技术效果。保证标记准确率的技术效果。

【技术实现步骤摘要】
一种视频中的对象标记方法和系统


[0001]本申请属于视频处理
，尤其涉及一种视频中的对象标记方法和系统。

技术介绍

[0002]现有的对实时视频的分析一般是采用单一任务的机器学习模型或者是深度学习模型。然而，考虑到在实际的手术环境中，所需分析的视频内容较为复杂，既包含具有规则形状的目标区域，也可能有不规则形状的目标区域。因此，使用单一任务的机器学习模型或者深度模型可能造成目标检测效果的准确性的问题，例如：物体检测模型对不规则的血管区域检测效果较差。
[0003]针对如何对手术视频中的对象进行准确的目标检测，目前尚未提出有效的解决方案。

技术实现思路

[0004]本申请目的在于提供一种视频中的对象标记方法和系统，以实现对图像中对象的准确高效标记，提升目标检测的准确性。
[0005]一方面，提供了一种视频中的对象标记方法，包括：
[0006]获取目标视频图像；
[0007]对所述目标视频图像进行基于矩形框的区域标记和矩形框内对象的物体检测；
[0008]根据物体检测结果，确定各矩形框中对象的对象类别；
[0009]在矩形框中的对象属于形状规则类别的情况下，按照矩形框对该矩形框中的对象进行标记；
[0010]在矩形框中的对象属于形状不规则类别的情况下，对矩形框中的对象进行边缘分割，基于边缘分割结果对该矩形框中的对象进行标记。
[0011]在一个实施方式中，对矩形框中的对象进行边缘分割，基于边缘分割结果对该矩形框中的对象进行标记，包括：<br/>[0012]将该矩形框内的图像划分为多个像素点；
[0013]确定各个像素点属于目标对象的概率值；
[0014]将概率值超出预设阈值的像素点所形成的区域，作为目标对象的所占区域；
[0015]将所述目标对象的所占区域延边缘进行标记，以形成对该矩形框中的对象的标记。
[0016]在一个实施方式中，对所述目标视频图像进行基于矩形框的区域标记和矩形框内对象的物体检测，包括：
[0017]通过目标检测主干网络将所述目标视频图像转换为特征图；
[0018]将所述特征图输入至区域候选网络，得到矩形划分结果；
[0019]将矩形划分结果和所述特征图输入至识别器中，确定各矩形框内对象的对象名称。
[0020]在一个实施方式中，获取目标视频图像包括：
[0021]获取术中实时的视频数据和/或术后回放的视频数据；
[0022]将该视频数据作为目标视频图像。
[0023]在一个实施方式中，在对矩形框中的对象进行标记之后，还包括：
[0024]在所述目标视频图像的显示界面中，叠加地显示标记区域和识别到的对象名称。
[0025]另一方面，提供了一种视频中的对象标记系统，包括：
[0026]获取模块，用于获取目标视频图像；
[0027]检测模块，用于对所述目标视频图像进行基于矩形框的区域标记和矩形框内对象的物体检测；
[0028]分类模块，用于根据物体检测结果，确定各矩形框中对象的对象类别；
[0029]第一标记模块，用于在矩形框中的对象属于形状规则类别的情况下，按照矩形框对该矩形框中的对象进行标记；
[0030]第二标记模块，用于在矩形框中的对象属于形状不规则类别的情况下，对矩形框中的对象进行边缘分割，基于边缘分割结果对该矩形框中的对象进行标记。
[0031]在一个实施方式中，所述第二标记模块包括：划分单元，用于将该矩形框内的图像划分为多个像素点；确定单元，用于确定各个像素点属于目标对象的概率值；生成单元，用于将概率值超出预设阈值的像素点所形成的区域，作为目标对象的所占区域；标记单元，用于将所述目标对象的所占区域延边缘进行标记，以形成对该矩形框中的对象的标记。
[0032]在一个实施方式中，所述视频中的对象标记系统应用在手术台车中。
[0033]又一方面，提供了一种电子设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述方法的步骤。
[0034]又一方面，提供了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述方法的步骤。
[0035]又一方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述方法的步骤。
[0036]本申请提供的视频中的对象标记方法，对于目标视频图像，先进行基于矩形框的区域标记和矩形框内对象的物体检测，然后，根据物体检测结果，确定各矩形框中对象的对象类别，仅对矩形框中的对象属于形状不规则类别的对象进行边缘分割，基于边缘分割结果对该矩形框中的对象进行标记。即，先进行对象类别的划分，然后仅针对需要进行边缘标记的对象才进行边缘标记，对于无需进行边缘标记的对象，仅通过矩形框进行标记，而不进行边缘标记，通过上述方式解决了现有的仅基于矩形框标记所存在的标记准确度较低的问题，又解决了对所有对象都进行边缘标记所存在的实时处理效率较低的问题，达到了在保证标记效率的同时，保证标记准确率的技术效果。
附图说明
[0037]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0038]图1是本申请提供的视频中的对象标记方法一种实施例的方法流程图；
[0039]图2是本申请提供的由术中视频得到区域分类结果的逻辑示意图；
[0040]图3是本申请提供的目标检测模型的网络结构示意图；
[0041]图4是本申请提供的对第二类别对象进行边缘识别标记的方法流程图；
[0042]图5是本申请提供的语义分割模型的网络结构示意图；
[0043]图6是本申请提供的最终结果呈现示意图；
[0044]图7是本申请提供的对术中视频进行标记的逻辑示意图；
[0045]图8是本申请提供的训练得到目标检测模型的示意图；
[0046]图9是本申请提供的一种视频中的对象标记方法的电子设备的硬件结构框图；
[0047]图10是本申请提供的视频中的对象标记装置一种实施例的模块结构示意图。
具体实施方式
[0048]为了使本
的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0049]考虑到在所需分析的视频内容较为复杂，既包含具有规则形状的目标区域，也可能有不规则形状的目标区域的情况下，如果采用单一的标记方法，将导本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频中的对象标记方法，其特征在于，包括：获取目标视频图像；对所述目标视频图像进行基于矩形框的区域标记和矩形框内对象的物体检测；根据物体检测结果，确定各矩形框中对象的对象类别；在矩形框中的对象属于形状规则类别的情况下，按照矩形框对该矩形框中的对象进行标记；在矩形框中的对象属于形状不规则类别的情况下，对矩形框中的对象进行边缘分割，基于边缘分割结果对该矩形框中的对象进行标记。2.根据权利要求1所述的方法，其特征在于，对矩形框中的对象进行边缘分割，基于边缘分割结果对该矩形框中的对象进行标记，包括：将该矩形框内的图像划分为多个像素点；确定各个像素点属于目标对象的概率值；将概率值超出预设阈值的像素点所形成的区域，作为目标对象的所占区域；将所述目标对象的所占区域延边缘进行标记，以形成对该矩形框中的对象的标记。3.根据权利要求1所述的方法，其特征在于，对所述目标视频图像进行基于矩形框的区域标记和矩形框内对象的物体检测，包括：通过目标检测主干网络将所述目标视频图像转换为特征图；将所述特征图输入至区域候选网络，得到矩形划分结果；将矩形划分结果和所述特征图输入至识别器中，确定各矩形框内对象的对象名称。4.根据权利要求1所述的方法，其特征在于，获取目标视频图像包括：获取术中实时的视频数据和/或术后回放的视频数据；将所述视频数据作为目标视频图像。5.根据权利要求1至4中任一项所述的方法，其特征在于，在对矩形框中的对象进行标记之后，还包括：在所述目标视频图像的显示界面中，...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：上海微创医疗机器人集团股份有限公司，
类型：发明
国别省市：