视频处理方法、装置、设备以及存储介质制造方法及图纸

本申请实施例公开了一种视频处理方法、装置、设备以及存储介质，涉及人工智能技术领域，具体为计算机视觉技术。该方法的一具体实施方式包括：获取待播放视频，以及与目标设备的屏幕显示模式匹配的屏幕尺寸比例，其中，目标设备用于播放待播放视频；针对待播放视频中的图像，确定图像中的对象，以及对象在图像中的位置信息；根据位置信息、待播放视频的尺寸信息，以及屏幕尺寸比例，确定针对图像与屏幕显示模式匹配的裁剪区域；根据裁剪区域，对图像进行裁剪，得到裁剪后的图像，以及基于所有裁剪后的图像，得到与屏幕显示模式匹配的待播放视频。本申请无需手工操作，且不同的屏幕显示模式对应不同的待播放视频，满足了用户不同的视频播放需求。

【技术实现步骤摘要】
视频处理方法、装置、设备以及存储介质
本申请实施例涉及计算机
，具体涉及计算机视觉等人工智能
，尤其涉及一种视频处理方法、装置、设备以及存储介质。
技术介绍
随着互联网视频内容不断的丰富，视频内容制作方提供的视频内容形式也越来越多，且该视频内容形式会随视频格式、画面大小等因拍摄设备不同而不同。因此，如何制作符合屏幕显示模式的视频是当前亟需解决的问题。目前，制作符合屏幕显示模式的视频包括以下几种方式：(1)使用视频编辑软件，直接将原视频的尺寸进行缩小，然后放入原视频的中间区域，或者通过添加滤镜的方式对周边区域进行填充。(2)使用裁剪放大的方式，对原视频中部分画面进行裁剪，然后再对裁剪区域做放大，以达到跟播放设备一样的尺寸。
技术实现思路
本申请实施例提出了一种视频处理方法、装置、设备以及存储介质。第一方面，本申请实施例提出了一种视频处理方法，该视频处理方法包括：获取待播放视频，以及与目标设备的屏幕显示模式匹配的屏幕尺寸比例，其中，目标设备用于播放待播放视频；针对待播放视频中的图像，确定图像中的对象，以及对象在图像中的位置信息；根据位置信息、待播放视频的尺寸信息，以及屏幕尺寸比例，确定针对图像与屏幕显示模式匹配的裁剪区域；根据裁剪区域，对图像进行裁剪，得到裁剪后的图像，以及基于所有裁剪后的图像，得到与屏幕显示模式匹配的待播放视频。第二方面，本申请实施例提出了一种视频处理装置，该视频处理装置包括：数据获取模块，被配置为获取待播放视频，以及与目标设备的屏幕显示模式匹配的屏幕尺寸比例，其中，目标设备用于播放待播放视频；第一确定模块，被配置为针对待播放视频中的图像，确定图像中的对象，以及对象在图像中的位置信息；第二确定模块，被配置为根据位置信息、待播放视频的尺寸信息，以及屏幕尺寸比例，确定针对图像与屏幕显示模式匹配的裁剪区域；视频处理模块，被配置为根据裁剪区域，对图像进行裁剪，得到裁剪后的图像，以及基于所有裁剪后的图像，得到与屏幕显示模式匹配的待播放视频。第三方面，本申请实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。第四方面，本申请实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。本申请实施例提供的视频处理方法、装置、设备以及存储介质，首先获取待播放视频，以及与目标设备的屏幕显示模式匹配的屏幕尺寸比例，其中，目标设备用于播放待播放视频；之后，针对待播放视频中的图像，确定图像中的对象，以及对象在图像中的位置信息；而后，根据位置信息、待播放视频的尺寸信息，以及屏幕尺寸比例，确定针对图像与屏幕显示模式匹配的裁剪区域；然后，根据裁剪区域，对图像进行裁剪，得到裁剪后的图像，以及基于所有裁剪后的图像，得到与屏幕显示模式匹配的待播放视频；本申请能够将由位置信息、待播放视频的尺寸信息和屏幕尺寸比例所确定的裁剪区域，自动完成对待播放视频的裁剪，得到与不同屏幕显示模式匹配的待播放视频。整个过程无需手工操作，且不同的屏幕显示模式对应不同的待播放视频，满足了用户在不同屏幕显示模式下，播放视频的需求。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是本申请可以应用于其中的示例性系统架构；图2是根据本申请的视频处理方法的一个实施例的流程图；图3(a)～(d)为对象跟踪匹配的示意图；图4是确定目标对象的示意图；图5是平滑处理前和处理后的对比图；图6是本申请的确定裁剪区域的一个实施例的流程图；图7是检测框的示意图；图8是本申请的应用场景示意图；图9是根据本申请的视频处理装置的示意图；图10是用来实现本申请实施例的视频处理方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。图1示出了可以应用本申请的视频处理方法或视频处理装置的实施例的示例性系统架构100。如图1所示，系统架构100可以包括终端设备101、102，网络103和服务器104。网络103用以在终端设备101、102和服务器104之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。用户可以使用终端设备101、102通过网络103与服务器104交互，以接收或发送消息等。终端设备101、102上可以安装有各种应用，例如各种客户端应用、与处理图像相关的应用、多方交互应用、人工智能应用等。终端设备101、102可以是硬件，也可以是软件。当终端设备101、102为硬件时，可以是支持文档处理应用的各种电子设备，包括但不限于智能终端、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102为软件时，可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。服务器104可以是提供各种服务的服务器，例如对终端设备101、102提供支持的后台服务器。后台服务器可以对接收到的请求等数据进行分析等处理，并将处理结果反馈给终端设备。需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。在实践中，本公开实施例所提供的视频处理方法可以由终端设备101、102或服务器104执行，视频处理装置也可以设置于终端设备101、102或服务器104中。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。继续参考图2，其示出了根据本申请的视频处理方法的一个实施例的流程200。该视频处理方法200包括以下步骤：步骤201：获取待播放视频，以及与目标设备的屏幕显示模式匹配的屏幕尺寸比例，其中，目标本文档来自技高网...

【技术保护点】
1.一种视频处理方法，包括：/n获取待播放视频，以及与目标设备的屏幕显示模式匹配的屏幕尺寸比例，其中，所述目标设备用于播放所述待播放视频；/n针对所述待播放视频中的图像，确定所述图像中的对象，以及所述对象在所述图像中的位置信息；/n根据所述位置信息、所述待播放视频的尺寸信息，以及所述屏幕尺寸比例，确定针对所述图像与所述屏幕显示模式匹配的裁剪区域；/n根据所述裁剪区域，对所述图像进行裁剪，得到裁剪后的图像，以及基于所有裁剪后的图像，得到与所述屏幕显示模式匹配的待播放视频。/n

【技术特征摘要】
1.一种视频处理方法，包括：
获取待播放视频，以及与目标设备的屏幕显示模式匹配的屏幕尺寸比例，其中，所述目标设备用于播放所述待播放视频；
针对所述待播放视频中的图像，确定所述图像中的对象，以及所述对象在所述图像中的位置信息；
根据所述位置信息、所述待播放视频的尺寸信息，以及所述屏幕尺寸比例，确定针对所述图像与所述屏幕显示模式匹配的裁剪区域；
根据所述裁剪区域，对所述图像进行裁剪，得到裁剪后的图像，以及基于所有裁剪后的图像，得到与所述屏幕显示模式匹配的待播放视频。


2.根据所述权利要求1所述的方法，其中，所述位置信息为所述对象所在的检测框的几何中心的位置信息；以及
所述根据所述位置信息、所述待播放视频的尺寸信息，以及所述屏幕尺寸比例，确定针对所述图像与所述屏幕显示模式匹配的裁剪区域，包括：
将所述对象所在的检测框的几何中心的位置信息，作为所述裁剪区域的几何中心的位置信息；
根据所述待播放视频的尺寸信息和所述屏幕尺寸比例的比值，确定所述裁剪区域的尺寸信息；
根据所述裁剪区域的几何中心的位置信息和所述裁剪区域的尺寸信息，确定所述裁剪区域。


3.根据权利要求2所述的方法，其中，所述根据所述裁剪区域的几何中心的位置信息和所述裁剪区域的尺寸信息，确定所述裁剪区域，包括：
根据所述裁剪区域的几何中心的位置信息和所述裁剪区域的尺寸信息，确定所述裁剪区域上的第一点和第二点，其中，所述第一点和所述第二点分别为所述裁剪区域的同一对角线上的顶点；
将由所述第一点和所述第二点所围成的矩形区域，作为所述裁剪区域。


4.根据权利要求3所述的方法，所述方法还包括：
响应于所述第一点不在图像上，将所述图像上的第一预设点的坐标作为所述第一点的坐标，并根据所述第一预设点的坐标值和所述裁剪区域的尺寸信息，确定第二点的坐标；或，
响应于所述第二点不在图像上，将所述图像上的第二预设点的坐标作为所述第二点的坐标，并根据所述第二预设点的坐标值和所述裁剪区域的尺寸信息，确定第一点的坐标。


5.根据权利要求4所述的方法，其中，屏幕显示模式包括竖屏显示模式，所述裁剪区域的尺寸信息包括宽度和高度；以及所述根据所述第一预设点的坐标值和所述裁剪区域的尺寸信息，确定第二点的坐标，包括：
根据所述第一预设点的横坐标值和所述宽度，确定所述第二点的横坐标；
根据所述第一预设点的纵坐标值和所述高度，确定所述第二点的纵坐标。


6.根据权利要求1所述的方法，其中，所述针对所述待播放视频中的图像，确定所述图像中的对象，包括：
将所述待播放视频中相邻帧图像进行识别，确定所述待播放视频中首次出现的第一对象，其中，所述首次出现的第一对象为所述待播放视频中所有对象中每个对象首次出现的对象；
将所述第一对象，与所述待播放视频中其他图像中的第二对象进行匹配，所述其他图像为所述待播放视频中除包含所述第一对象的图像之外的图像；
响应于所述第二对象与所述第一对象匹配，确定所述第二对象与所述第一对象为同一对象。


7.根据权利要求6所述的方法，所述方法还包括：
响应于所述第二对象和所述第一对象为同一对象，累计所述第一对象在所述待播放视频中的帧数，得到所述第一对象在所述待播放视频中的总帧数；
根据所述第一对象的置信度、对象所在的检测框的高度和宽度，得到所述第一对象的权重；
根据所述总帧数与所述第一对象的权重，得到所述第一对象的最终权重；
将最终权重最大的对象，作为所述目标对象。


8.根据权利要求7所述的方法，其中，所述根据所述总帧数与所述第一对象的权重，得到所述第一对象的最终权重，包括：
根据所述第一对象在待播放视频中的总帧数、所述第一对象的权重，以及所述第一对象的预设类别系数，得到所述第一对象的最终权重，其中，所述预设类别系数为与所述第一对象属于同类别的对象的系数。


9.根据权利要求6所述的方法，所述方法还包括：
响应于待播放视频中的目标图像不包括所述目标对象，基于所述目标图像的前一帧图像的裁剪区域，按照线性外推的方法拟合出所述目标图像的裁剪区域。


10.根据权利要求1所述的方法，其中，所述根据所述裁剪区域，对所述图像进行裁剪，得到裁剪后的图像，包括：
采用滚动平均的方式，对所述裁剪区域进行平滑处理，得到处理后的裁剪区域；
基于所述处理后的裁剪区域，对所述图像进行裁剪，得到裁剪后的图像。


11.根据权利要求1或10所述的方法，所述屏幕显示模式包括竖屏显示模式和横屏显示模式，所述方法还包括：
响应于检测到所述屏幕显示模式由所述横屏显示模式切换为所述竖屏显示模式的指令，播放与所述竖屏显示模式匹配的待播放视频。


12.一种视频处理装置，所述装置包括：
数据获取模块，被配置为获取待播放视频，以及与目标设备的屏幕显示模式匹配的屏幕尺寸比例，其中，所述目标设备用于播放所述待播放视频；
第一确定模块，被配置为针对所述待播放视...

【专利技术属性】
技术研发人员：孙高峰，周志超，何栋梁，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11