基于屏幕发声的视频通话方法及相关产品技术

本申请实施例公开了一种基于屏幕发声的视频通话方法及相关产品，应用于电子设备，所述电子设备包括显示屏、摄像头和处理器，所述电子设备还包括：屏幕发声激励器，所述屏幕发声激励器设置在所述显示屏的下方，所述方法包括如下步骤：接入视频通话时，获取该视频通话中的第一图片，对该第一图片进行识别确定该第一图片内嘴巴的第一位置；采集第二图片；第二图片进行人脸识别确定该第二图片内目标对象的数量；依据所述目标对象的数量控制与所述第一位置控制所述屏幕发声激励器按设定策略播放视频通话的声音。本申请提供的方案提高了用户的体验度。

Video Call Method and Related Products Based on Screen Voice

【技术实现步骤摘要】
基于屏幕发声的视频通话方法及相关产品
本申请涉及电子设备
，具体涉及一种基于屏幕发声的视频通话方法及相关产品。
技术介绍
随着电子设备(如手机、平板电脑等等)的大量普及应用，电子设备能够支持的应用越来越多，功能越来越强大，电子设备向着多样化、个性化的方向发展，成为用户生活中不可缺少的电子用品。现有的视频通话通过位于终端底端的扬声器发出声音，用户在进行视频通话时需要正对屏幕，这使得视频通话的声音与用户具有一定的方向差，导致声音效果差，降低用户体验度
技术实现思路
本申请实施例提供了一种基于屏幕发声的视频通话方法及相关产品，能够在视频通话时通过屏幕发声，减小声音与用户之间的方向差，提高声音的效果，提高了用户的体验度。第一方面，本申请实施例提供一种电子设备，所述电子设备包括显示屏、摄像头和处理器，所述电子设备还包括：屏幕发声激励器、所述屏幕发声激励器设置在所述显示屏的下方；其中，所述处理器，用于接入视频通话时，获取该视频通话中的第一图片，对该第一图片进行识别确定该第一图片内嘴巴的第一位置；所述摄像头，用于采集第二图片；所述处理器，还用于对第二图片进行人脸识别确定该第二图片内目标对象的数量，依据所述目标对象的数量控制与所述第一位置控制所述屏幕发声激励器按设定策略播放视频通话的声音。第二方面，提供一种基于屏幕发声的视频通话方法，所述方法应用于电子设备，所述电子设备包括显示屏、摄像头和处理器，所述电子设备还包括：屏幕发声激励器、所述屏幕发声激励器设置在所述显示屏的下方，所述方法包括如下步骤：接入视频通话时，获取该视频通话中的第一图片，对该第一图片进行识别确定该第一图片内嘴巴的第一位置；采集第二图片；第二图片进行人脸识别确定该第二图片内目标对象的数量；依据所述目标对象的数量控制与所述第一位置控制所述屏幕发声激励器按设定策略播放视频通话的声音。第三方面，提供一种基于屏幕发声的视频通话装置，应用于电子设备，所述电子设备包括显示屏、摄像头和处理器，所述电子设备还包括：屏幕发声激励器、所述屏幕发声激励器设置在所述显示屏的下方；其中，所述装置包括：获取单元，用于接入视频通话时，获取该视频通话中的第一图片；识别单元，用于对该第一图片进行识别确定该第一图片内嘴巴的第一位置；采集单元，用于采集第二图片；所述识别单元，还用于对第二图片进行人脸识别确定该第二图片内目标对象的数量；控制单元，用于依据所述目标对象的数量控制与所述第一位置控制所述屏幕发声激励器按设定策略播放视频通话的声音。第四方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第二方面中的步骤的指令。第五方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第二方面中所描述的部分或全部步骤。第六方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第二方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。可以看出，本申请提供的技术方案在确定进入视频通话时，首先获取视频通话对应的第一图片并识别确定第一图片中人物的嘴巴位置，然后通过摄像头采集第二图片确定目标对象的数量，该目标对象的数量可以为视频通话的人数，然后依据该数量控制与第一位置对应的屏幕发声激励器发出视频声音。由于该发声通过屏幕发声激励器发出声音，并且通过特定位置的屏幕发声激励器发出声音，这样增加了现实感(嘴巴位置发出声音使用户感觉视频的声音从视频对象的嘴巴里说出，和现实对话相似。)，另外，屏幕发声与目标对象的人脸位置对应，减小了声音与视频对象之间的角度，因此增加了声音的效果，提高了用户体验度。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1A是本申请实施例提供的一种电子设备的结构示意图；图1B是本申请实施例提供的一种基于屏幕发声的视频通话方法的流程示意图；图2A是本申请实施例提供的一种卷积核的示意图；图2B是本申请实施例提供的一种核尺寸的示意图；图2C是本申请实施例提供的另一种核尺寸的示意图；图2D是本申请实施例提供的一种拟合核尺寸的变换示意图；图3A是本申请实施例提供的一种基于屏幕发声的视频通话方法的流程图；图3B是本申请实施例提供的一种设置有多个屏幕发声激励器编号的电子设备示意图；图3C是本申请实施例提供一种对多个屏幕发声激励器编号的示意图图4A是本申请实施例提供的一种基于屏幕发声的视频通话装置的功能单元组成框图；图4B是本申请实施例提供的另一种基于屏幕发声的视频通话装置的功能单元组成框图；图4C是本申请实施例提供的另一种基于屏幕发声的视频通话装置的功能单元组成框图；图4D是本申请实施例提供的另一种基于屏幕发声的视频通话装置的功能单元组成框图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备(例如智能手机或平板电脑)、智能穿戴设备(例如智能手环、智能手表等具有无线通信功能的穿戴设备)、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(userequipment，UE)，移动台(mobilestation，MS)，终端设备(terminaldevice)等等。下面对本申请实施例进行详细介绍。请参阅图1A，图1A是本申请实施例公开的一种电子设备的结构示意图，电子设备100包括存储和处理电路110，以及与所述存储和处理电路110连接的传感器170，传感器170具体可以包括：无线收发器，用于接收或发射无线信号；其中：电子设备100可以包括本文档来自技高网...

【技术保护点】
1.一种电子设备，所述电子设备包括显示屏、摄像头和处理器，其特征在于，所述电子设备还包括：屏幕发声激励器，所述屏幕发声激励器设置在所述显示屏的下方；其中，所述处理器，用于接入视频通话时，获取该视频通话中的第一图片，对该第一图片进行识别确定该第一图片内嘴巴的第一位置；所述摄像头，用于采集第二图片；所述处理器，还用于对第二图片进行人脸识别确定该第二图片内目标对象的数量，依据所述目标对象的数量控制与所述第一位置控制所述屏幕发声激励器按设定策略播放视频通话的声音。

【技术特征摘要】
1.一种电子设备，所述电子设备包括显示屏、摄像头和处理器，其特征在于，所述电子设备还包括：屏幕发声激励器，所述屏幕发声激励器设置在所述显示屏的下方；其中，所述处理器，用于接入视频通话时，获取该视频通话中的第一图片，对该第一图片进行识别确定该第一图片内嘴巴的第一位置；所述摄像头，用于采集第二图片；所述处理器，还用于对第二图片进行人脸识别确定该第二图片内目标对象的数量，依据所述目标对象的数量控制与所述第一位置控制所述屏幕发声激励器按设定策略播放视频通话的声音。2.根据权利要求1所述的电子设备，其特征在于，所述处理器，具体用于将该第一图片形成输入数据，将该输入数据输入到预设的神经网络模型中计算得到输出结果，依据该输出结果确定该嘴巴的第一位置。3.根据权利要求2所述的电子设备，其特征在于，所述处理器，具体用于获取第一图片中每个像素点的RGB值，将该每个像素点的RGB值按像素点的位置组成输入数据3*H*W，其中H为输入数据的高度值；或，所述处理器，具体用于获取第一图片中每个像素点的HSI值，将该每个像素点的HSI值按像素点的位置组成输入数据3*H*W，其中H为输入数据的高度值，W为输入数据的宽度值。4.根据权利要求1所述的电子设备，其特征在于，所述处理器，具体用于提取嘴巴的预设结果矩阵【B】【B】，以矩阵【B】【B】的尺寸为滑动窗口在输出结果滑动，每滑动一次，获取滑动窗口内的元素值，将滑动窗口获取的元素值与所述预设结果矩阵【B】【B】的元素值执行差计算得到差值矩阵，滑动窗口遍历所述输出结果后，获取差值矩阵中最小的差值矩阵，计算最小的差值矩阵的元素平均值，如所述元素平均值小于设定阈值，确定所述最小的差值矩阵对应的像素点的位置为第一嘴巴的位置。5.根据权利要求1所述的电子设备，其特征在于，所述处理器，具体用于确定目标对象的数量所属的第一区间，依据区间与音量的映射关系确定第一区间对应的第一音量，获取第一位置设定范围内的β个屏幕发声激励器，控制所述β个屏幕发声激励器按所述第一音量播放所述视频通话的声音。6.一种基于屏幕发声的视频通话方法，所述方法应用于电子设备，所述电子设备包括显示屏、摄像头和处理器，其特征在于，所述电子设备还包括：屏幕发声激励器，所述屏幕发声激励器设置在所述显示屏的下方，所述方法包括如下步骤：接入视频通话时，获取该视频通话中的第一图片，对该第一图片进行识别确定该第一图片内嘴巴的第一位置；采集第二图片；第二图片进行人脸识别确定该第二图片内目标对象的数量；依据所述目标对象的数量控制与所述第一位置控制所述屏幕发声激励器按设定策略播放视频通话的声音。7.根据权利要求6所述的方法，其特征在...

【专利技术属性】
技术研发人员：张海平，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东,44