用于处理图像的方法、装置、设备以及存储介质制造方法及图纸

本申请公开了一种用于处理图像的方法、装置、设备以及存储介质，涉及图像处理领域，具体涉及深度学习、人工智能、智能搜索领域。具体实现方案为：获取目标视频，其中，目标视频中包含至少一个包含用户的运动动作的图像帧；确定图像帧中各运动动作的类别；基于类别，确定图像帧中的错误动作图像帧；对错误动作图像帧中的错误动作进行纠正，生成正确动作图像帧。本实现方式通过根据目标视频中的图像帧中的各运动动作的类别，确定错误动作图像帧，并通过对确定出的错误动作图像帧进行错误动作的纠正，可以方便教练员对学员的动作的指导，有利于学员的复习，有效地促进了学员的训练质量，提高了对大量训练视频的使用率。

【技术实现步骤摘要】
用于处理图像的方法、装置、设备以及存储介质
本申请涉及图像处理领域，具体涉及深度学习、人工智能、智能搜索领域，尤其涉及用于处理图像的方法、装置、设备以及存储介质。
技术介绍
为了更有针对性地训练，跳水队教练和运动员们需要通过对日常训练的录像回放进行分析总结。但传统技术下，对每天产生的大量训练视频的使用效率并不高。主要体现在以下几个方面：国家跳水队每天会产生大量的训练视频，但是运动员很难挑出来自己的训练视频用于总结与整理，需要耗费大量人力浏览剪切视频片段，无法快速生成一段时间的训练视频，缺失视频收藏、整理、标注等功能；尽管可以慢动作播放，但是由于传统摄像机帧率不高，不能及时指出动作缺陷以及调整训练对策。
技术实现思路
本公开提供了一种用于处理图像的方法、装置、设备以及存储介质。根据本公开的一方面，提供了一种用于处理图像的方法，包括：获取目标视频，其中，目标视频中包含至少一个包含用户的运动动作的图像帧；确定图像帧中各运动动作的类别；基于类别，确定图像帧中的错误动作图像帧；对错误动作图像帧中的错误动作进行纠正，生成正确动作图像帧。根据本公开的另一方面，提供了一种用于处理图像的装置，包括：获取单元，被配置成获取目标视频，其中，目标视频中包含至少一个包含用户的运动动作的图像帧；动作类别确定单元，被配置成确定图像帧中各运动动作的类别；错误动作图像帧确定单元，被配置成基于类别，确定图像帧中的错误动作图像帧；正确动作图像帧生成单元，被配置成对错误动作图像帧中的错误动作进行纠正，生成正确动作图像帧。根据本公开的再一方面，提供了一种用于处理图像的电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述用于处理图像的方法。根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，上述计算机指令用于使计算机执行如上述用于处理图像的方法。根据本公开的又一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现如上述用于处理图像的方法。根据本申请的技术解决了对每天产生的大量训练视频的使用率并不高的问题，通过根据目标视频中的图像帧中的各运动动作的类别，确定错误动作图像帧，并通过对确定出的错误动作图像帧进行错误动作的纠正，可以方便教练员对学员的动作的指导，有利于学员的复习，有效地促进了学员的训练质量，提高了对大量训练视频的使用率。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是本申请的一个实施例可以应用于其中的示例性系统架构图；图2是根据本申请的用于处理图像的方法的一个实施例的流程图；图3是根据本申请的用于处理图像的方法的一个应用场景的示意图；图4是根据本申请的用于处理图像的方法的另一个实施例的流程图；图5是根据本申请的用于处理图像的装置的一个实施例的结构示意图；图6是用来实现本申请实施例的用于处理图像的方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。图1示出了可以应用本申请的用于处理图像的方法或用于处理图像的装置的实施例的示例性系统架构100。如图1所示，系统架构100可以包括相机101、102，网络103、服务器104和终端设备105。网络103用以在相机101、102和服务器104、终端设备105之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。相机101、102可以通过网络103与服务器104、终端设备105交互，以接收或发送消息。相机101、102可以采集目标视频，并将采集的视频发送给服务器104或终端设备105，或者存储于本地。相机101、102可以固定在泳池旁、跳板处等位置，以拍摄目标视频。服务器104或终端设备105可以从相机101、102处获取采集的目标视频，并对目标视频进行处理，确定目标视频的图像帧中各运动动作的类别。并基于确定的类别，确定图像帧中的错误动作图像帧，对错误动作图像帧中的错误动作进行纠正，生成正确动作图像帧。服务器104或终端设备105上可以安装有各种通讯客户端应用，例如图像处理类应用等。终端设备105可以是硬件，也可以是软件。当终端设备105为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、车载电脑、膝上型便携计算机和台式计算机等等。当终端设备105为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。需要说明的是，本申请实施例所提供的用于处理图像的方法可以由服务器104或终端设备105执行。相应地，用于处理图像的装置可以设置于服务器104或终端设备105中。应该理解，图1中的相机、网络、服务器和终端设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的相机、网络、服务器和终端设备。继续参考图2，示出了根据本申请的用于处理图像的方法的一个实施例的流程200。本实施例的用于处理图像的方法，包括以下步骤：步骤201，获取目标视频。本实施例中，用于处理图像的方法的执行主体(例如图1中的服务器104)可以通过有线连接或者无线连接的方式获取相机拍摄的目标视频。其中，目标视频中包含至少一个包含用户的运动动作的图像帧。相机可以设置于跳板处或者设置于泳池旁，可以用于拍摄运动员跳水的视频。本实施例中所述的用户可以是每一个跳水运动员，当然，也可以是每一花样滑冰者，本申请对此不做具体限定。目标视频，可以是根据预先设定的需要重点观察的运动员拍摄的、其在预设时间进行跳水运动的视频。示例的，可以在跳板处设置视频采集设备，泳池两边设置4台高速摄像机，用于采集跳水动作，另外，每个跳板处和泳池边安装1～2个监控摄像头，用于运动员识别。当识别到运动员上板时，高速摄像机进行动作采集，当检测到运动员上岸，高速摄像机停止视频采集。步骤202，确定图像帧中各运动动作的类别。执行主体在获取目标视频后，可以确定目标视频的图像帧中各运动动作的类别。具体地，执行主体可以将各图像帧输入预训练的分类模型，输出得到各图像帧中各运动动本文档来自技高网...

【技术保护点】
1.一种用于处理图像的方法，包括：/n获取目标视频，其中，所述目标视频中包含至少一个包含用户的运动动作的图像帧；/n确定所述图像帧中各运动动作的类别；/n基于所述类别，确定所述图像帧中的错误动作图像帧；/n对所述错误动作图像帧中的错误动作进行纠正，生成正确动作图像帧。/n

【技术特征摘要】
1.一种用于处理图像的方法，包括：
获取目标视频，其中，所述目标视频中包含至少一个包含用户的运动动作的图像帧；
确定所述图像帧中各运动动作的类别；
基于所述类别，确定所述图像帧中的错误动作图像帧；
对所述错误动作图像帧中的错误动作进行纠正，生成正确动作图像帧。


2.根据权利要求1所述的方法，其中，所述确定所述图像帧中各运动动作的类别，包括：
确定所述目标视频中的用户标识；
确定所述图像帧中每个用户标识对应的用户的运动动作的类别。


3.根据权利要求1所述的方法，其中，所述对所述错误动作图像帧中的错误动作进行纠正，生成正确动作图像帧，包括：
基于所述错误动作图像帧和预训练的骨架嵌入模型，确定所述错误动作图像帧中的错误动作对应的三维骨架，其中，所述预训练的骨架嵌入模型用于表征动作图像帧与三维骨架的对应关系；
基于确定出的所述三维骨架，对所述错误动作进行纠正，生成正确动作图像帧。


4.根据权利要求3所述的方法，其中，所述基于确定出的所述三维骨架，对所述错误动作进行纠正，生成正确动作图像帧，包括：
确定所述错误动作图像帧中的错误动作的错误类别；
基于确定出的所述三维骨架、所述错误类别和预设的错误类别与正确动作的对应关系，对所述错误动作进行纠正，生成正确动作图像帧。


5.根据权利要求4所述的方法，其中，所述对所述错误动作进行纠正，包括：
根据预设的错误类别与正确动作的对应关系，对所述三维骨架进行平移和/或旋转操作，以使所述三维骨架与所述正确动作重合，并生成正确动作图像帧。


6.一种用于处理图像的装置，包括：
获取单元，被配置成获取目标视频，其中，所述目标视频中包含至少一个包含用户的运动动作的图像帧；
动作类别确定单元，被配置成确定所述图像帧中各运动动作的类别；
错误动作图像帧确定单元，被配置成基于所述类别，确定所述图像帧中的错误动作图像帧；
正确动作图像帧...

【专利技术属性】
技术研发人员：卢飞翔，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11