一种图像标注方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种图像标注方法、装置、电子设备以及存储介质，涉及计算机视觉技术领域，具体涉及人工智能、计算机视觉及自动驾驶等领域，包括：获取多个数据采集设备采集的同步帧图像；将各所述同步帧图像在同一图像标注界面中同时进行显示；对各所述同步帧图像进行并行标注。本申请实施例能够提高图像的标注效率和标注能力。

【技术实现步骤摘要】
一种图像标注方法、装置、电子设备及存储介质
本申请涉及图像处理领域，具体涉及人工智能、计算机视觉及自动驾驶等领域。
技术介绍
图像标注可以是对图像中的物体对象根据设定的标注规则进行标注，在人工智能、计算机视觉以及自动驾驶等
应用较为广泛。例如，可以对图像中的车辆进行框选，或对人脸关键点进行打点处理等。图像标注可以应用于静态单帧图像标注领域，也可以应用于视频标注领域。例如，在视频预览或录像回放过程中，直接在视频的帧图像上对物体对象进行突出标记，使视频更具有针对性的视频处理方式。图像标注可以应用于诸多领域，例如，应用于自动驾驶领域定位障碍物，或应用于视频追踪领域锁定重要的视频线索信息等。
技术实现思路
本申请实施例提供了一种图像标注方法、装置、电子设备以及存储介质，以提高图像的标注效率和标注能力。第一方面，本申请实施例提供了一种图像标注方法，包括：获取多个数据采集设备采集的同步帧图像；将各所述同步帧图像在同一图像标注界面中同时进行显示；对各所述同步帧图像进行并行标注。第二方面，本申请实施例提供了一种图像标注装置，包括：同步帧图像获取模块，用于获取多个数据采集设备采集的同步帧图像；同步帧图像显示模块，用于将各所述同步帧图像在同一图像标注界面中同时进行显示；同步帧图像标注模块，用于对各所述同步帧图像进行并行标注。第三方面，本申请实施例提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面实施例所提供的图像标注方法。第四方面，本申请实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面实施例所提供的图像标注方法。本申请实施例通过在同一图像标注界面中同时显示多个数据采集设备采集的同步帧图像，以对各同步帧图像进行并行标注，解决现有图像标注方法存在的标注效率低及标注能力不足等问题，从而提高图像的标注效率和标注能力。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是本申请实施例提供的一种环视十摄方案中各摄像头拍摄范围的效果示意图；图2是本申请实施例提供的一种图像标注方法的流程图；图3是本申请实施例提供的一种图像标注方法的流程图；图4是本申请实施例提供的一种图像标注方法效果示意图；图5是本申请实施例提供的一种图像标注方法的效果示意图；图6是本申请实施例提供的一种图像标注界面的效果示意图；图7是本申请实施例提供的一种图像标注装置的结构图；图8是用来实现本申请实施例的图像标注方法的电子设备的结构示意图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。目标追踪是计算机视觉领域中的一项关键技术，可以广泛应用于多个领域中，如自动驾驶领域或人脸识别领域等。举例而言，对于自动驾驶技术来说，对车辆周围环境的精确感知能力是自动驾驶的基础内容。目前，自动驾驶领域的目标追踪方式一般包括两种，一种是需要激光雷达、毫米波雷达及车载摄像头等的传感器融合方案，另外一种是基于图像追踪的纯视觉闭环方案。其中，传感器融合方式是将采集到的3D点云图与2D图像同时进行标注，除了高昂的采集成本外，其数据与人眼感知到的真实世界也不同。纯视觉闭环方案是将采集的视频抽帧成图像进行标注。其中，图像标注环节主要包括两部分，第一步是对单摄像头的抽帧图像进行连续标注，第二步是对各个摄像头已经标注完成的图像的标注结果进行两两关联，也即对标处理，以保证同一物体在不同的摄像头间标注结果一致。例如，在第一步由标注员对抽帧图像的标注对象进行连续标框，同时标注除编号之外的属性；在第二步进行对标处理时，由标注员采用同一物体标注相同编号，不同物体标注不同编号的标注规则，对各标注对象标注编号。相对于传感器融合方案来说，纯视觉闭环方案主要有以下几方面优势：一是获取的图像数据和人眼感知的真实世界相似度高；二是摄像头安装成本低，且可以避免车检不合规的问题；三是摄像头采集的视频数据中包含的信息更为丰富。图1是本申请实施例提供的一种环视十摄方案中各摄像头拍摄范围的效果示意图。如图1所示，以十个摄像头的纯视觉闭环(简称环视十摄)方案为例说明，每个摄像头都有匹配的拍摄范围，且各个摄像头的拍摄范围有重叠。现有技术中，纯视觉闭环方案应用于环视十摄的应用场景时，往往需要多达近20次(具体次数需要根据各摄像头的重叠拍摄范围确定)的对标处理操作。也即，每个摄像头的视频数据需要被处理2-6次。这种图像标注方式不仅会导致标注成本升高，效率降低，而且由于标注规则或标注质量问题，标注结果的统一环节会存在大量标注结果冲突问题。例如，拍摄范围A对应的摄像头对距离较远的某个障碍物标注为三厢车，拍摄范围C对应的摄像头对包括该障碍物的图像进行对标时判断为两厢车，也即针对同一个障碍物出现了两种标注结果，分别对应两种类型的车。当出现标注结果冲突问题时需要重新进行标注，从而降低了标注质量和标注效率。在一个示例中，图2是本申请实施例提供的一种图像标注方法的流程图，本实施例可适用于快速、高效地进行图像标注的情况，该装置可以由软件和/或硬件的方式来实现，并一般可集成在电子设备中。该电子设备可以是计算机设备等。相应的，如图2所示，该方法包括如下操作：S110、获取多个数据采集设备采集的同步帧图像。其中，数据采集设备可以是用于采集图像的设备，如摄像头或红外成像设备等，只要可以采集图像即可，本申请实施例并不对数据采集设备的具体设备类型进行限定。数据采集设备可以采集单帧图像，也可以采集连续的视频，本申请实施例对此并不进行限制。同步帧图像可以是各个数据采集设备同步采取的单帧图像。示例性的，假设共有4个数据采集设备，则同步帧图像可以是4个数据采集设备所采集的4个第2帧图像或4个第5帧图像等。在本申请实施例中，对多个数据采集设备采集的图像进行标注时，可以同时获取多个数据采集设备采集的同步帧图像。其中，同步帧图像的数量与数据采集设备的数量相等。S120、将各所述同步帧图像在同一图像标注界面中同时进行显示。其中，图像标注界面可以用于显示需要进行标注的图像。相应的，在获取到多个数据采集设备采集的同步帧图像后，可以将获取的各同步帧图像在同一图像标注界面中同时进行显示。<本文档来自技高网...

【技术保护点】
1.一种图像标注方法，包括：/n获取多个数据采集设备采集的同步帧图像；/n将各所述同步帧图像在同一图像标注界面中同时进行显示；/n对各所述同步帧图像进行并行标注。/n

【技术特征摘要】
1.一种图像标注方法，包括：
获取多个数据采集设备采集的同步帧图像；
将各所述同步帧图像在同一图像标注界面中同时进行显示；
对各所述同步帧图像进行并行标注。


2.根据权利要求1所述的方法，在所述获取多个数据采集设备采集的同步帧图像之前，还包括：
获取各所述数据采集设备采集的连续帧图像；其中，一个数据采集设备对应采集一个连续帧图像；
根据设定抽帧频率对各所述连续帧图像进行抽帧处理，得到抽帧图像；
对各所述抽帧图像进行分段处理，得到各所述抽帧图像对应的分段待标注图像；各所述分段待标注图像包括至少两帧待标注图像；
所述获取多个数据采集设备采集的同步帧图像，包括：
从各所述抽帧图像对应的分段待标注图像中，获取各所述数据采集设备采集的同步帧图像。


3.根据权利要求2所述的方法，其中，所述对各所述连续帧图像进行分段处理，包括：
根据所述待标注图像的时间顺序以及所述分段待标注图像的设定图像数量，划分当前分段待标注图像；
根据重叠帧设置规则确定所述当前分段待标注图像的当前重叠帧；
将所述当前重叠帧作为下一段分段待标注图像的部分待标注图像，并根据所述设定图像数量确定所述下一段分段待标注图像的剩余待标注图像；
将所述下一段分段待标注图像作为所述当前分段待标注图像，并返回执行根据重叠帧设置规则确定所述当前分段待标注图像的当前重叠帧的操作，直至完成对全部待标注图像的划分。


4.根据权利要求3所述的方法，其中，所述重叠帧设置规则包括：
将用于判定图像对象消失的帧图像数量，作为重叠帧的数量；或，
将默认设置的帧图像数量，作为重叠帧的数量。


5.根据权利要求1所述的方法，其中，所述将各所述同步帧图像在同一图像标注界面中同时进行显示，包括：
在所述图像标注界面中，将各所述同步帧图像按照所述数据采集设备相对承载设备的位置进行分布显示。


6.根据权利要求1所述的方法，其中，所述对各所述同步帧图像进行并行标注，包括：
采用统一的标注规则同时对各所述同步帧图像的标注对象进行标注。


7.根据权利要求2-4任一所述的方法，在所述对各所述同步帧图像进行并行标注之后，还包括：
获取各所述分段待标注图像对应的原始并行标注结果；
对所述原始并行标注结果进行归一化处理，得到各所述分段待标注图像对应的目标并行标注结果。


8.根据权利要求7所述的方法，其中，对所述原始并行标注结果进行归一化处理，包括：
按照时间顺序，依次从所述原始并行标注结果中确定基准原始并行标注结果，以及所述基准原始并行标注结果的下一段原始并行标注结果；
将所述下一段原始并行标注结果作为当前处理并行标注结果；
在确定所述基准原始并行标注结果与所述当前处理并行标注结果中存在相同目标标注对象的情况下，将所述基准原始并行标注结果中所述目标标注对象的标注结果，作为所述当前处理并行标注结果中所述目标标注对象的标注结果。


9.根据权利要求8所述的方法，其中，对所述原始并行标注结果进行归一化处理，还包括：
在确定所述基准原始并行标注结果与所述当前处理并行标注结果中存在相同目标标注对象，且所述当前处理并行标注结果中存在新增标注对象的情况下，对所述新增标注对象按照标注顺序重新进行标注。


10.根据权利要求9所述的方法，其中，对对所述新增标注对象按照标注顺序重新进行标注，包括：
确定当前已处理的并行标注结果中的末次标注结果；
对所述末次标注结果延续处理，得到延续标注结果；
将所述延续标注结果作为所述新增标注对象的目标标注结果。


11.根据权利要求9所述的方法，其中，确定所述当前处理并行标注结果中存在新增标注对象，包括：
在所述当前处理并行标注结果中，将与所述目标标注对象的部分标注结果相同的非目标标注对象作为所述新增标注对象。


12.根据权利要求7所述的方法，在对所述原始并行标注结果进行归一化处理之前，还包括：
对各所述原始并行标注结果进行归一化检查；所述归一化检查包括通用归一化检查和定制归一化检查；其中：
所述通用归一化检查包括：标注对象标注数量错误、标注对象类型标注错误以及标注对象关键属性标注错误；
所述定制归一化检查包括：根据定制标注规则标注的标注对象的标注错误。


13.根据权利要求7所述的方法，在对所述原始并行标注结果进行归一化处理之后，还包括：
删除标注图像中的多余重叠帧。


14.一种图像标注装置，包括：
同步帧图像获取模块，用于获取多个数据采集设备采集的同步帧图像；
同步帧图像显示模块，用于将各所述同步帧图像在同一图像标注界面中同时进行显示；
同步帧图像标注...

【专利技术属性】
技术研发人员：杨雪，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11