多方视频通话时的视频画面确定方法及通信设备技术

本公开提供多方视频通话时的视频画面确定方法及通信设备。包括：对进行视频通话的各目标对象的视频通话素材进行轮循处理，每轮询到一个目标对象的视频通话素材，则执行下列过程：对所述视频通话素材进行抽帧处理，抽取所述目标对象对应的待处理视频帧，基于所述待处理视频帧确定目标图像，其中，所述目标图像为所述待处理视频帧中包含所述目标对象的前景图像；利用所述目标图像，对待更新的视频背景图像中所述目标对象对应的显示区域进行更新，得到更新后的视频背景图像；根据采集的每个目标对象的视频流和所述更新后的视频背景图像，确定待显示的视频画面。由此，降低了算法复杂度，提高了视频画面实时性。

【技术实现步骤摘要】
多方视频通话时的视频画面确定方法及通信设备
本专利技术涉及信息处理
，特别涉及一种多方视频通话时的视频画面确定方法及通信设备。
技术介绍
随着互联网的迅速发展，电子设备逐渐得到普及。人们越来越习惯于借助电子设备在线上处理日常生活中的各种事物。例如，通过电子设备在线上进行多方视频通话。现有技术中，在进行多方视频通话时，需要采集多方参加视频的用户的视频流来进行处理来得到待显示的视频画面，但是，此方式的算法复杂度较高，视频画面的实时性较差。
技术实现思路
本公开示例性的实施方式中提供一种多方视频通话时的视频画面确定方法，用于降低算法复杂度，提高视频画面的实时性。本公开的第一方面提供一种多方视频通话时的视频画面确定方法，所述方法包括：对进行视频通话的各目标对象的视频通话素材进行轮循处理，每轮询到一个目标对象的视频通话素材，则执行下列过程：对所述视频通话素材进行抽帧处理，抽取所述目标对象对应的待处理视频帧，其中所述视频通话素材包括进行视频通话过程中采集的所述目标对象的视频流和/或视频截图；基于所述待处理视频帧确定目标图像，其中，所述目标图像为所述待处理视频帧中包含所述目标对象的前景图像；利用所述目标图像，对待更新的视频背景图像中所述目标对象对应的显示区域进行更新，得到更新后的视频背景图像；根据采集的每个目标对象的视频流和所述更新后的视频背景图像，确定待显示的视频画面。本实施例中通过将各目标对象的视频通话素材进行轮循处理，针对每一个轮循到的视频目标对象的通话素材，执行对所述视频通话素材进行抽帧处理，抽取所述目标对象对应的待处理视频帧，然后基于所述待处理视频帧确定目标图像，并利用所述目标图像，对待更新的视频背景图像中所述目标对象对应的显示区域进行更新，得到更新后的视频背景图像；最后根据采集的每个目标对象的视频流和所述更新后的视频背景图像，确定待显示的视频画面。由此，本实施例通过对各目标对象的通话素材进行轮循处理，所以只有一路视频通话素材进行语义分割，并且本实施例中对轮循到的视频通话素材进行抽帧处理，所以并不是对每一帧视频图像都进行语义分割的。由此，降低了算法复杂度，并且降低了计算量，以此提高了视频画面实时性。在一个实施例中，通过以下方式确定所述待更新的视频背景图像：根据预设的目标对象的数量和预设视频背景图像的对应关系，确定与目标对象的数量相对应的预设视频背景图像，并将所述预设视频背景图像确定为所述待更新的视频背景图像；或，将上次更新后的视频背景图像确定为所述待更新的视频背景图像。本实施例通过预设的目标对象的数量和预设视频背景图像的对应关系或者是通过上次更新后的视频背景图像确定出待更新的视频背景图像，由此，可根据实际情况来选择具体的方式来确定出待更新的视频背景图像，使得确定出的待更新的视频背景图像更加准确。在一个实施例中，若所述待更新的视频背景图像为所述预设视频背景图像；所述预设视频背景图像中包括各目标对象的预设显示区域；所述利用所述目标图像，对待更新的视频背景图像中所述目标对象对应的显示区域进行更新，得到更新后的视频背景图像，包括：根据所述目标对象的预设显示区域的大小调整所述目标图像的大小，得到参考目标图像；对所述参考目标图像中各像素点的像素值进行扫描，得到所述参考目标图像中各目标像素点，所述各目标像素点的像素值与预设像素值不相同；将所述预设显示区域中与所述参考目标图像中各目标像素点相对应的各像素点进行删除，得到所述更新后的视频背景图像。本实施例中当待更新的视频背景图像为所述预设视频背景图像时，需要根据所述目标对象的预设显示区域的大小调整所述目标图像的大小来得到参考目标图像，并根据预设显示区域和参考目标图像来得到更新后的视频背景图像，由此，通过参考目标图像来对预设显示区域进行更新，使得到的更新后的视频背景图像更加准确。在一个实施例中，若所述待更新的视频背景图像为所述上次更新后的视频背景图像；所述利用所述目标图像，对待更新的视频背景图像中所述目标对象对应的显示区域进行更新，得到更新后的视频背景图像，包括：利用所述目标图像，对待更新的视频背景图像中上次更新后的所述目标对象的显示区域进行修正，得到更新后的视频背景图像。本实施例中当待更新的视频背景图像为所述上次更新后的视频背景图像时，则对待更新的视频背景图像中上次更新后的所述目标对象的显示区域进行修正来得到更新后的视频背景图像，以此减少计算量。在一个实施例中，通过以下方式确定出各目标对象：响应于视频对象的选择操作，确定出所述目标对象，所述视频对象为进行视频通话的对象，所述目标对象为需要在所述视频对象的视频画面中显示的对象。本实施例通过视频对象对目标对象的选择设置，来确定出目标对象，以此提高用户体验。在一个实施例中，所述根据采集的每个对象的视频流和所述更新后的视频背景图像，确定待显示的视频画面之前，所述方法还包括：确定所述更新后的视频背景图像中更新的显示区域的数量满足指定条件；或，确定上一次更新后的视频背景图像已确定出待显示的视频画面。本实施例通过更新后的视频背景图像中更新的显示区域的数量是否满足指定条件或者通过上一次更新后的视频背景图像是否已确定出待显示的视频画面来判断出本次是否能够确定出待显示画面，以此提升视频画面的显示效果。在一个实施例中，所述基于所述待处理视频帧确定目标图像，其中，所述目标图像为所述待处理视频帧中包含所述目标对象的前景图像，包括：若所述通信设备为服务器，则对所述待处理视频帧进行语义分割处理，得到所述目标图像；若所述通信设备为终端设备，则通过指定平台对所述待处理视频帧进行语义分割处理，得到所述目标图像。本实施例通过通信设备分别为不同的设备时进行语义分割处理的具体步骤，由此提高目标图像的准确率。本公开第二方面提供一种通信设备，所述通信设备包括存储器和处理器；所述存储器，被配置为存储各目标对象的视频流；所述处理器，被配置为：对进行视频通话的各目标对象的视频通话素材进行轮循处理，每轮询到一个目标对象的视频通话素材，则执行下列过程：对所述视频通话素材进行抽帧处理，抽取所述目标对象对应的待处理视频帧，其中所述视频通话素材包括进行视频通话过程中采集的所述目标对象的视频流和/或视频截图；基于所述待处理视频帧确定目标图像，其中，所述目标图像为所述待处理视频帧中包含所述目标对象的前景图像；利用所述目标图像，对待更新的视频背景图像中所述目标对象对应的显示区域进行更新，得到更新后的视频背景图像；根据采集的每个目标对象的视频流和所述更新后的视频背景图像，确定待显示的视频画面。在一个实施例中，所述处理器，还被配置为：通过以下方式确定所述待更新的视频背景图像：根据预设的目标对象的数量和预设视频背景图像的对应关系，确定与目标对象的数量相对应的预设视频背景图像，并本文档来自技高网...

【技术保护点】
1.一种多方视频通话时的视频画面确定方法，其特征在于，应用于通信设备中，所述方法包括：/n对进行视频通话的各目标对象的视频通话素材进行轮循处理，每轮询到一个目标对象的视频通话素材，则执行下列过程：/n对所述视频通话素材进行抽帧处理，抽取所述目标对象对应的待处理视频帧，其中所述视频通话素材包括进行视频通话过程中采集的所述目标对象的视频流和/或视频截图；/n基于所述待处理视频帧确定目标图像，其中，所述目标图像为所述待处理视频帧中包含所述目标对象的前景图像；/n利用所述目标图像，对待更新的视频背景图像中所述目标对象对应的显示区域进行更新，得到更新后的视频背景图像；/n根据采集的每个目标对象的视频流和所述更新后的视频背景图像，确定待显示的视频画面。/n

【技术特征摘要】
1.一种多方视频通话时的视频画面确定方法，其特征在于，应用于通信设备中，所述方法包括：
对进行视频通话的各目标对象的视频通话素材进行轮循处理，每轮询到一个目标对象的视频通话素材，则执行下列过程：
对所述视频通话素材进行抽帧处理，抽取所述目标对象对应的待处理视频帧，其中所述视频通话素材包括进行视频通话过程中采集的所述目标对象的视频流和/或视频截图；
基于所述待处理视频帧确定目标图像，其中，所述目标图像为所述待处理视频帧中包含所述目标对象的前景图像；
利用所述目标图像，对待更新的视频背景图像中所述目标对象对应的显示区域进行更新，得到更新后的视频背景图像；
根据采集的每个目标对象的视频流和所述更新后的视频背景图像，确定待显示的视频画面。


2.根据权利要求1所述的方法，其特征在于，通过以下方式确定所述待更新的视频背景图像：
根据预设的目标对象的数量和预设视频背景图像的对应关系，确定与目标对象的数量相对应的预设视频背景图像，并将所述预设视频背景图像确定为所述待更新的视频背景图像；或，
将上次更新后的视频背景图像确定为所述待更新的视频背景图像。


3.根据权利要求2所述的方法，其特征在于，若所述待更新的视频背景图像为所述预设视频背景图像；所述预设视频背景图像中包括各目标对象的预设显示区域；
所述利用所述目标图像，对待更新的视频背景图像中所述目标对象对应的显示区域进行更新，得到更新后的视频背景图像，包括：
根据所述目标对象的预设显示区域的大小调整所述目标图像的大小，得到参考目标图像；
对所述参考目标图像中各像素点的像素值进行扫描，得到所述参考目标图像中各目标像素点，所述各目标像素点的像素值与预设像素值不相同；
将所述预设显示区域中与所述参考目标图像中各目标像素点相对应的各像素点进行删除，得到所述更新后的视频背景图像。


4.根据权利要求2所述的方法，其特征在于，若所述待更新的视频背景图像为所述上次更新后的视频背景图像；
所述利用所述目标图像，对待更新的视频背景图像中所述目标对象对应的显示区域进行更新，得到更新后的视频背景图像，包括：
利用所述目标图像，对待更新的视频背景图像中上次更新后的所述目标对象的显示区域进行修正，得到更新后的视频背景图像。


5.根据权利要求1所述的方法，其特征在于，通过以下方式确定出各目标对象：
响应于视频对象的选择操作，确定出所述目标对象，所述视频对象为进行视频通话的对象，所述目标对象为需要在所述视频对象的视频画面中显示的对象。


6.根据权利要求1所述的方法，其特征在于，所述根据采集的每个对象的视频流和所述更新...

【专利技术属性】
技术研发人员：孟卫明，王月岭，李广琴，
申请(专利权)人：海信集团控股股份有限公司，
类型：发明
国别省市：山东;37