用于处理图像的方法、装置、设备以及存储介质制造方法及图纸

本申请公开了一种用于处理图像的方法、装置、设备以及存储介质，涉及人工智能深度学习、计算机视觉、大数据领域。具体实现方案为：获取目标视频，目标视频包括目标图像帧以及已标注目标对象的至少一个图像帧；根据至少一个图像帧中已标注目标对象，确定目标图像帧中针对目标对象的搜索区域；根据搜索区域，确定目标对象的中心位置信息；根据至少一个图像帧的标注区域以及中心位置信息，确定目标对象区域；根据目标对象区域，分割目标图像帧。本实现方式可以鲁棒地定位目标对象并提供精细的目标分割结果。

【技术实现步骤摘要】
用于处理图像的方法、装置、设备以及存储介质
本申请涉及图像处理领域，具体涉及人工智能、深度学习、计算机视觉领域，尤其涉及用于处理图像的方法、装置、设备以及存储介质。
技术介绍
随着智能手机和移动互联网的普及与发展，视频制作与传输的成本不断降低，视频以其丰富的表现能力在内容生成领域受到越来越多用户的青睐，简单易用的自动化视频编辑技术需求越来越大。近年来，与目标跟踪联系紧密的视频目标分割引起了越来越多的关注。但现有的目标跟踪方法往往无法提供精细的目标分割结果。
技术实现思路
本公开提供了一种用于处理图像的方法、装置、设备以及存储介质。根据本公开的一方面，提供了一种用于处理图像的方法，包括：获取目标视频，目标视频包括目标图像帧以及已标注目标对象的至少一个图像帧；根据至少一个图像帧中已标注目标对象，确定目标图像帧中针对目标对象的搜索区域；根据搜索区域，确定目标对象的中心位置信息；根据至少一个图像帧的标注区域以及中心位置信息，确定目标对象区域；根据目标对象区域，分割目标图像帧。根据本公开的另一方面，提供了一种用于处理图像的装置，包括：视频获取单元，被配置成获取目标视频，目标视频包括目标图像帧以及已标注目标对象的至少一个图像帧；搜索区域确定单元，被配置成根据至少一个图像帧中已标注目标对象，确定目标图像帧中针对目标对象的搜索区域；中心位置信息确定单元，被配置成根据搜索区域，确定目标对象的中心位置信息；目标对象区域确定单元，被配置成根据至少一个图像帧的标注区域以及中心位置信息，确定目标对象区域；分割单元，被配置成根据目标对象区域，分割目标图像帧。根据本公开的再一方面，提供了一种用于处理图像的电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述用于处理图像的方法。根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，上述计算机指令用于使计算机执行如上述用于处理图像的方法。根据本申请的技术解决了现有的目标跟踪方法往往无法提供精细的目标分割结果的问题，可以鲁棒地定位目标对象并提供精细的目标分割结果。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是本申请的一个实施例可以应用于其中的示例性系统架构图；图2是根据本申请的用于处理图像的方法的一个实施例的流程图；图3是根据本申请的用于处理图像的方法的一个应用场景的示意图；图4是根据本申请的用于处理图像的方法的另一个实施例的流程图；图5是根据本申请的用于处理图像的装置的一个实施例的结构示意图；图6是用来实现本申请实施例的用于处理图像的方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。图1示出了可以应用本申请的用于处理图像的方法或用于处理图像的装置的实施例的示例性系统架构100。如图1所示，系统架构100可以包括相机101、102，网络103、服务器104和终端设备105。网络103用以在相机101、102和服务器104、终端设备105之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。相机101、102可以通过网络103与服务器104、终端设备105交互，以接收或发送消息。相机101、102可以采集视频，并将采集的视频发送给服务器104或终端设备105，或者存储于本地。相机101、102可以固定在路灯杆、交通灯杆、电影拍摄支撑杆或者运动场中设置的拍摄支撑杆上，以拍摄视频或图像。服务器104或终端设备105可以从相机101、102处获取采集的视频或图像，并对视频或图像进行处理，以跟踪并分割视频或图像中的目标对象。服务器104或终端设备105上可以安装有各种通讯客户端应用，例如图像处理类应用等。终端设备105可以是硬件，也可以是软件。当终端设备105为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、车载电脑、膝上型便携计算机和台式计算机等等。当终端设备105为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。需要说明的是，本申请实施例所提供的用于处理图像的方法可以由服务器104或终端设备105执行。相应地，用于处理图像的装置可以设置于服务器104或终端设备105中。应该理解，图1中的相机、网络和、服务器和终端设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的相机、网络、服务器和终端设备。继续参考图2，示出了根据本申请的用于处理图像的方法的一个实施例的流程200。本实施例的用于处理图像的方法，包括以下步骤：步骤201，获取目标视频。本实施例中，用于处理图像的执行主体(例如图1所示的终端设备104)可以通过有线连接或无线连接方式获取目标视频。目标视频可以由相机实时拍摄，也可以从其它电子设备出获取。目标视频可以包括目标图像帧以及已标注目标对象的至少一个图像帧。上述图像帧中包括了目标对象的轮廓、形态等信息。对目标对象的标注可以是对目标对象的轮廓进行标注。已标注的目标对象可以是人、车辆等等。步骤202，根据至少一个图像帧中的已标注目标对象，确定目标图像帧中针对目标对象的搜索区域。执行主体在得到目标视频中的目标图像帧以及已标注目标对象的至少一个图像帧后，可以根据至少一个图像帧中已标注目标对象，确定目标图像帧中针对目标对象的搜索区域。具体地，执行主体可以根据目标图像帧的前一帧中的目标对象的位置为圆心，以及目标图像帧的前两帧中目标对象的移动距离为半径得到的圆形区域可以作为目标图像帧中针对目标对象的搜索区域。例如，要确定第n个图像帧中针对目标对象的搜索区域，则根据目标对象在从第n-2个图像帧到第n-1个图像帧的移动距离L作为半径，以目标对象在第n-1个图像帧中的位置作为圆心得到的圆形区域作为目标图像帧中针对目标对象的搜索区域。步骤203，根据搜索区域，确定目标对象的中心位置信息。执行主体在得到目标图像帧中针对目标对象的搜索区域后，可以根据搜索区域，确定目标对象的中心位置信息。具体的，执行主体可以根据目标对本文档来自技高网...

【技术保护点】
1.一种用于处理图像的方法，包括：/n获取目标视频，所述目标视频包括目标图像帧以及已标注目标对象的至少一个图像帧；/n根据所述至少一个图像帧中的已标注目标对象，确定所述目标图像帧中针对所述目标对象的搜索区域；/n根据所述搜索区域，确定所述目标对象的中心位置信息；/n根据所述目标对象所在的标注区域以及所述中心位置信息，确定目标对象区域；/n根据所述目标对象区域，分割所述目标图像帧。/n

【技术特征摘要】
1.一种用于处理图像的方法，包括：
获取目标视频，所述目标视频包括目标图像帧以及已标注目标对象的至少一个图像帧；
根据所述至少一个图像帧中的已标注目标对象，确定所述目标图像帧中针对所述目标对象的搜索区域；
根据所述搜索区域，确定所述目标对象的中心位置信息；
根据所述目标对象所在的标注区域以及所述中心位置信息，确定目标对象区域；
根据所述目标对象区域，分割所述目标图像帧。


2.根据权利要求1所述的方法，其中，所述根据所述至少一个图像帧中已标注目标对象，确定所述目标图像帧中针对所述目标对象的搜索区域，包括：
根据所述标注区域，确定所述搜索区域。


3.根据权利要求2所述的方法，其中，所述根据所述至少一个图像帧中所述目标对象的标注区域，确定所述搜索区域，包括：
确定目标对象的平均移动速度；
根据所述标注区域的位置信息以及所述平均移动速度，确定所述搜索区域。


4.根据权利要求1所述的方法，其中，所述根据所述搜索区域，确定所述目标对象的中心位置信息，包括：
提取所述搜索区域的高层特征；
对所提取的高层特征进行滤波；
根据滤波后的特征，确定所述目标对象的中心位置信息。


5.根据权利要求1所述的方法，其中，所述根据所述至少一个图像帧的标注区域以及所述中心位置信息，确定目标对象区域，包括：
根据所述中心位置信息以及所述标注区域，确定初始区域；
确定所述初始区域的第一特征以及所述至少一个图像帧的标注区域的第二特征；
根据所述第一特征以及所述第二特征，确定目标对象区域。


6.根据权利要求5所述的方法，其中，所述确定所述初始区域的第一特征以及所述至少一个图像帧的标注区域的第二特征，包括：
分别提取所述初始区域和所述至少一个图像帧的标注区域的低层特征和高层特征；
融合所述初始区域的低层特征和高层特征，得到所述第一特征；
融合所述至少一个图像帧的标注区域的低层特征和高层特征，得到所述第二特征。


7.根据权利要求5所述的方法，其中，所述根据所述第一特征以及所述第二特征，确定目标对象区域，包括：
确定所述第一特征以及所述第二特征的差异；
根据所述差异以及预设条件，更新所述初始区域，将更新后的初始区域作为所述目标对象区域。


8.根据权利要求1所述的方法，其中，所述根据所述目标对象区域，分割所述目标图像帧，包括：
提取所述至少一个图像帧中所述目标对象的第三特征；
提取所述目标对象区域中所述目标对象的第四特征；
确定所述第四特征中与所述第三特征匹配的第五特征；
根据所述第五特征，分割所述目标图像帧。


9.一种用于处理图像的装置，包括：
视频获取单元，被配置成获取目标视频，所述目标视频包括目标图像帧以及已标注目标对象的至少一个图像帧；
搜索区域确定单元，被配...

【专利技术属性】
技术研发人员：章成全，何斌，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11