画面帧更新方法、更新装置及存储介质制造方法及图纸

本发明专利技术提供一种画面帧更新方法，其包括：采集前一画面帧展示的用户人体图像的参考人体图像特征点；基于前一画面帧展示的用户人体图像的参考人体图像特征点，在当前画面帧中查找对应的当前人体图像特征点；基于当前画面帧中的当前人体图像特征点，获取当前画面帧中的用户面部图像；将当前画面帧中对应的用户面部图像和已展示的用户面部图像进行匹配；使用当前画面帧中对应的用户面部图像，对匹配的已展示的用户面部图像进行更新操作。示的用户面部图像进行更新操作。示的用户面部图像进行更新操作。

Picture frame updating method, updating device and storage medium

【技术实现步骤摘要】
画面帧更新方法、更新装置及存储介质
[0001]本申请是专利申请号为“201910925947.6”申请日为“2019年09月27日”名称为“基于分帧处理的全景画面展示方法、装置及存储介质”的专利申请的分案申请。


[0002]本专利技术涉及图像处理
，特别是涉及一种画面帧更新方法、更新装置及存储介质。

技术介绍

[0003]随着社会的发展，人们之间的交互越来越紧密，但是同一产品的不同部件的生产地却越来越分散，因此公司产品领导经常需要为了某个生产计划需要和各地的不同公司员工进行联系，或电话会议等。
[0004]现有的电话会议系统中对话双方只能看到摄像头正在拍摄的用户，如交谈的用户位置发生了变化，一般可通过图像识别技术对用户的位置进行刷新，从而实现对该交谈用户的跟踪拍摄。
[0005]但是现有的图像识别技术对用户人脸识别的时间较长，无法对每帧画面均进行有效的人脸识别，如用户移动较快的情况下，容易导致用户人脸跟踪画面的跳帧现象，即用户的人脸画面由一个位置突然跳到另一个位置，从而影响了电视会议系统的画面展示效率。
[0006]故，有必要提供一种基于分帧处理的全景画面展示方法以及装置，以解决现有技术所存在的问题。

技术实现思路

[0007]本专利技术实施例提供一种可流畅的展示移动中的人脸画面、画面展示效率较高的基于分帧处理的全景画面展示方法以及装置，以解决现有的全景画面展示方法以及装置容易出现跳帧现象，进而影响画面展示效率的技术问题。
[0008]本专利技术实施例提供一种基于分帧处理的全景画面展示方法，用于对全景画面进行展示操作，其中所述全景画面包括检测画面帧以及对应的跟踪画面帧，其中一个所述检测画面帧对应至少一个所述跟踪画面帧；且所述跟踪画面帧设置在对应的检测画面帧的后面；所述全景画面展示方法包括：
[0009]如当前画面帧为所述检测画面帧时，根据所述当前画面帧的全景画面信息以及全景声音信息，获取待展示的用户面部图像；并对所述待展示的用户面部图像进行展示操作；
[0010]如当前画面帧为所述跟踪画面帧时，获取前一画面帧展示的用户面部图像的参考面部图像特征点；基于所述参考面部图像特征点，在所述跟踪画面帧中获取对应的用户面部图像；使用所述当前画面帧中的用户面部图像对已展示的用户面部图像进行更新。
[0011]本专利技术实施例还提供一种基于分帧处理的全景画面展示装置，用于对全景画面进行展示操作，其中所述全景画面包括检测画面帧以及对应的跟踪画面帧，其中一个所述检测画面帧对应至少一个所述跟踪画面帧；且所述跟踪画面帧设置在对应的检测画面帧的后
面；所述全景画面展示装置包括：
[0012]检测画面帧展示模块，用于如当前画面帧为所述检测画面帧时，根据所述当前画面帧的全景画面信息以及全景声音信息，获取待展示的用户面部图像；并对所述待展示的用户面部图像进行展示操作；以及
[0013]跟踪画面帧展示模块，用于如当前画面帧为所述跟踪画面帧时，获取前一画面帧展示的用户面部图像的参考面部图像特征点；基于所述参考面部图像特征点，在所述跟踪画面帧中获取对应的用户面部图像；使用所述当前画面帧中的用户面部图像对已展示的用户面部图像进行更新。
[0014]本专利技术还提供一种计算机可读存储介质，其内存储有处理器可执行指令，所述指令由一个或一个以上处理器加载，以执行上述任一的全景画面展示方法。
[0015]相较于现有技术的全景画面展示方法及装置，本专利技术的基于分帧处理的全景画面展示方法及装置对检测画面帧进行用户人脸识别，对跟踪画面帧进行面部图像跟踪，可有效的保证每帧画面中的人脸画面展示效果，避免跳帧现象的发生，进而提高了画面展示效率；有效解决了现有的全景画面展示方法以及装置容易出现跳帧现象，进而影响画面展示效率的技术问题。
附图说明
[0016]图1为本专利技术的基于分帧处理的全景画面展示方法的第一实施例的流程图；
[0017]图2为本专利技术的基于分帧处理的全景画面展示方法的第二实施例的流程图；
[0018]图3为本专利技术的基于分帧处理的全景画面展示方法的第二实施例的步骤S208的流程图；
[0019]图4为本专利技术的全景画面展示装置的第一实施例的结构示意图；
[0020]图5为本专利技术的全景画面展示装置的第一实施例的检测画面帧展示模块的结构示意图；
[0021]图6为本专利技术的全景画面展示装置的第一实施例的跟踪画面帧展示模块的结构示意图；
[0022]图7为本专利技术的全景画面展示装置的第二实施例的结构示意图；
[0023]图8为本专利技术的全景画面展示装置的第二实施例的跟踪画面帧展示模块的结构示意图；
[0024]图9为本专利技术的全景画面展示装置的第二实施例的跟踪画面帧展示模块的第一参考人体图像特征点获取单元的结构示意图；
[0025]图10为本专利技术的全景画面展示方法及全景画面展示装置的具体实施例的流程图；
[0026]图11a至图11e为本专利技术的全景画面展示方法及全景画面展示装置的具体实施例的展示示意图；
[0027]图12为本专利技术的全景画面展示装置所在的电子设备的工作环境结构示意图。
具体实施方式
[0028]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于
本专利技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0029]本专利技术的全景画面展示方法及装置用于对全景画面进行有效展示的电子设备。该电子设备包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。该电子设备优选为接收全景画面、并通过显示屏对该全景画面进行展示的电子终端，即用户可通过固定终端或移动终端查看全景相机实时拍摄的全景画面信息，如会议场景的用户画面等。
[0030]请参照图1，图1为本专利技术的基于分帧处理的全景画面展示方法的第一实施例的流程图。本实施例的全景画面展示方法可使用上述的电子设备进行实施，本实施例中电子设备进行展示的全景画面包括检测画面帧以及跟踪画面帧，其中检测画面帧是指通过对当前画面帧的画面像素检测实现全景画面中的用户面部图像展示的画面帧，由于其需要对当前画面帧进行全面像素检测，因此对系统资源的消耗较高，但是用户面部图像展示的准确性较高；跟踪画面帧是指基于上一帧画面的用户面部图像的特征点检测实现全景画面中的用户面部图像展示的画面帧，由于只需要对特定的特征点进行检测，因此对系统资源的消耗较低，但是由于特征点的不断丢失，用户面部图像展示的准确性较低。
[0031]本实施例的全景画面展示方法通过全景画面的检测画面帧来保证全景画面的用户面部本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种画面帧更新方法，其特征在于，包括：采集所述前一画面帧展示的用户人体图像的参考人体图像特征点；基于所述前一画面帧展示的用户人体图像的参考人体图像特征点，在所述当前画面帧中查找对应的当前人体图像特征点；所述当前人体图像特征点的数量小于等于所述参考人体图像特征点的数量；基于所述当前画面帧中的当前人体图像特征点，获取当前画面帧中的用户面部图像，并将所述当前画面帧中的当前人体图像特征点设定为所述当前画面帧的参考人体图像特征点；将所述当前画面帧中对应的用户面部图像和已展示的用户面部图像进行匹配；使用所述当前画面帧中对应的用户面部图像，对匹配的已展示的用户面部图像进行更新操作。2.根据权利要求1所述的画面帧更新方法，其特征在于，所述画面帧包括检测画面帧以及对应的跟踪画面帧，其中一个所述检测画面帧对应至少一个所述跟踪画面帧；且所述跟踪画面帧设置在对应的检测画面帧的后面；如前一画面帧为检测画面帧，则所述采集所述前一画面帧展示的用户人体图像的参考人体图像特征点的步骤包括：采集所述前一画面帧展示的用户面部图像的参考面部图像特征点；根据所述前一画面帧展示的用户面部图像的参考面部图像特征点，获取对应的用户人体图像的参考人体图像特征点。3.根据权利要求2所述的画面帧更新方法，其特征在于，所述根据所述前一画面帧展示的用户面部图像的参考面部图像特征点，获取对应的用户人体图像的参考人体图像特征点的步骤包括：基于所述用户面部图像的参考面部图像特征点构成用户面部特征框；将所述用户面部特征框向画面帧的下方平移至少一个框位，将平移经过的区域以及所述用户面部特征框的区域设置为用户人体图像特征采集区域；在所述用户人体图像特征采集区域中，采集对应的用户人体图像的参考人体图像特征点。4.根据权利要求1所述的画面帧更新方法，其特征在于，所述画面帧包括检测画面帧以及对应的跟踪画面帧，其中一个所述检测画面帧对应至少一个所述跟踪画面帧；且所述跟踪画面帧设置在对应的检测画面帧的后面；如前一画面帧为跟踪画面帧，则所述采集所述前一画面帧展示的用户人体图像的参考人体图像特征点的步骤为：获取所述前一画面帧展示的用户人体图像的参考人体图像特征点。5.根据...

【专利技术属性】
技术研发人员：熊垚森，邓辉中，杨海军，
申请(专利权)人：深圳看到科技有限公司，
类型：发明
国别省市：