基于分帧处理的全景画面展示方法、装置及存储介质制造方法及图纸

本发明专利技术提供一种基于分帧处理的全景画面展示方法，用于对全景画面进行展示操作，其中全景画面展示方法包括：如当前画面帧为检测画面帧时，根据当前画面帧的全景画面信息以及全景声音信息，获取待展示的用户面部图像；并对待展示的用户面部图像进行展示操作；如当前画面帧为所述跟踪画面帧时，获取前一画面帧展示的用户面部图像的参考面部图像特征点；基于参考面部图像特征点，在跟踪画面帧中获取对应的用户面部图像；使用当前画面帧中的用户面部图像对已展示的用户面部图像进行更新。本发明专利技术对检测画面帧进行用户人脸识别，对跟踪画面帧进行面部图像跟踪，可有效的保证每帧画面中的人脸画面展示效果，避免跳帧现象的发生，进而提高了画面展示效率。

Panoramic display method, device and storage medium based on frame processing

【技术实现步骤摘要】
基于分帧处理的全景画面展示方法、装置及存储介质
本专利技术涉及图像处理
，特别是涉及一种基于分帧处理的全景画面展示方法、装置及对应的存储介质。
技术介绍
随着社会的发展，人们之间的交互越来越紧密，但是同一产品的不同部件的生产地却越来越分散，因此公司产品领导经常需要为了某个生产计划需要和各地的不同公司员工进行联系，或电话会议等。现有的电话会议系统中对话双方只能看到摄像头正在拍摄的用户，如交谈的用户位置发生了变化，一般可通过图像识别技术对用户的位置进行刷新，从而实现对该交谈用户的跟踪拍摄。但是现有的图像识别技术对用户人脸识别的时间较长，无法对每帧画面均进行有效的人脸识别，如用户移动较快的情况下，容易导致用户人脸跟踪画面的跳帧现象，即用户的人脸画面由一个位置突然跳到另一个位置，从而影响了电视会议系统的画面展示效率。故，有必要提供一种基于分帧处理的全景画面展示方法以及装置，以解决现有技术所存在的问题。
技术实现思路
本专利技术实施例提供一种可流畅的展示移动中的人脸画面、画面展示效率较高的基于分帧处理的全景画面展示方法以及装置，以解决现有的全景画面展示方法以及装置容易出现跳帧现象，进而影响画面展示效率的技术问题。本专利技术实施例提供一种基于分帧处理的全景画面展示方法，用于对全景画面进行展示操作，其中所述全景画面包括检测画面帧以及对应的跟踪画面帧，其中一个所述检测画面帧对应至少一个所述跟踪画面帧；且所述跟踪画面帧设置在对应的检测画面帧的后面；所述全景画面展示方法包括：r>如当前画面帧为所述检测画面帧时，根据所述当前画面帧的全景画面信息以及全景声音信息，获取待展示的用户面部图像；并对所述待展示的用户面部图像进行展示操作；如当前画面帧为所述跟踪画面帧时，获取前一画面帧展示的用户面部图像的参考面部图像特征点；基于所述参考面部图像特征点，在所述跟踪画面帧中获取对应的用户面部图像；使用所述当前画面帧中的用户面部图像对已展示的用户面部图像进行更新。本专利技术实施例还提供一种基于分帧处理的全景画面展示装置，用于对全景画面进行展示操作，其中所述全景画面包括检测画面帧以及对应的跟踪画面帧，其中一个所述检测画面帧对应至少一个所述跟踪画面帧；且所述跟踪画面帧设置在对应的检测画面帧的后面；所述全景画面展示装置包括：检测画面帧展示模块，用于如当前画面帧为所述检测画面帧时，根据所述当前画面帧的全景画面信息以及全景声音信息，获取待展示的用户面部图像；并对所述待展示的用户面部图像进行展示操作；以及跟踪画面帧展示模块，用于如当前画面帧为所述跟踪画面帧时，获取前一画面帧展示的用户面部图像的参考面部图像特征点；基于所述参考面部图像特征点，在所述跟踪画面帧中获取对应的用户面部图像；使用所述当前画面帧中的用户面部图像对已展示的用户面部图像进行更新。本专利技术还提供一种计算机可读存储介质，其内存储有处理器可执行指令，所述指令由一个或一个以上处理器加载，以执行上述任一的全景画面展示方法。相较于现有技术的全景画面展示方法及装置，本专利技术的基于分帧处理的全景画面展示方法及装置对检测画面帧进行用户人脸识别，对跟踪画面帧进行面部图像跟踪，可有效的保证每帧画面中的人脸画面展示效果，避免跳帧现象的发生，进而提高了画面展示效率；有效解决了现有的全景画面展示方法以及装置容易出现跳帧现象，进而影响画面展示效率的技术问题。附图说明图1为本专利技术的基于分帧处理的全景画面展示方法的第一实施例的流程图；图2为本专利技术的基于分帧处理的全景画面展示方法的第二实施例的流程图；图3为本专利技术的基于分帧处理的全景画面展示方法的第二实施例的步骤S208的流程图；图4为本专利技术的全景画面展示装置的第一实施例的结构示意图；图5为本专利技术的全景画面展示装置的第一实施例的检测画面帧展示模块的结构示意图；图6为本专利技术的全景画面展示装置的第一实施例的跟踪画面帧展示模块的结构示意图；图7为本专利技术的全景画面展示装置的第二实施例的结构示意图；图8为本专利技术的全景画面展示装置的第二实施例的跟踪画面帧展示模块的结构示意图；图9为本专利技术的全景画面展示装置的第二实施例的跟踪画面帧展示模块的第一参考人体图像特征点获取单元的结构示意图；图10为本专利技术的全景画面展示方法及全景画面展示装置的具体实施例的流程图；图11a至图11e为本专利技术的全景画面展示方法及全景画面展示装置的具体实施例的展示示意图；图12为本专利技术的全景画面展示装置所在的电子设备的工作环境结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术的全景画面展示方法及装置用于对全景画面进行有效展示的电子设备。该电子设备包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。该电子设备优选为接收全景画面、并通过显示屏对该全景画面进行展示的电子终端，即用户可通过固定终端或移动终端查看全景相机实时拍摄的全景画面信息，如会议场景的用户画面等。请参照图1，图1为本专利技术的基于分帧处理的全景画面展示方法的第一实施例的流程图。本实施例的全景画面展示方法可使用上述的电子设备进行实施，本实施例中电子设备进行展示的全景画面包括检测画面帧以及跟踪画面帧，其中检测画面帧是指通过对当前画面帧的画面像素检测实现全景画面中的用户面部图像展示的画面帧，由于其需要对当前画面帧进行全面像素检测，因此对系统资源的消耗较高，但是用户面部图像展示的准确性较高；跟踪画面帧是指基于上一帧画面的用户面部图像的特征点检测实现全景画面中的用户面部图像展示的画面帧，由于只需要对特定的特征点进行检测，因此对系统资源的消耗较低，但是由于特征点的不断丢失，用户面部图像展示的准确性较低。本实施例的全景画面展示方法通过全景画面的检测画面帧来保证全景画面的用户面部图像展示的准确性，通过全景画面的跟踪画面帧来保证全景画面的用户面部图像展示的及时性。因此本实施例的全景画面的检测画面帧对应至少一个跟踪画面帧，跟踪画面帧设置在对应的检测画面帧的后面。如全景画面的第一帧为检测画面帧，第二至第四帧可为对应的跟踪画面帧，第五帧画面为检测画面帧，第六至第八帧可为对应的跟踪画面帧，即第4n+1帧为检测画面帧，第4n+2、4n+3以及4n+4帧为跟踪画面帧，n为大于等于0的整数。当然不同的检测画面帧可对应不同数量的跟踪画面帧，如第一帧对应第二至第四帧画面，第五帧对应第六和第七帧画面等。这样可基于第一帧画面的用户面部图像的特征点来获取第二帧本文档来自技高网...

【技术保护点】
1.一种基于分帧处理的全景画面展示方法，用于对全景画面进行展示操作，其特征在于，所述全景画面包括检测画面帧以及对应的跟踪画面帧，其中一个所述检测画面帧对应至少一个所述跟踪画面帧；且所述跟踪画面帧设置在对应的检测画面帧的后面；所述全景画面展示方法包括：/n如当前画面帧为所述检测画面帧时，根据所述当前画面帧的全景画面信息以及全景声音信息，获取待展示的用户面部图像；并对所述待展示的用户面部图像进行展示操作；/n如当前画面帧为所述跟踪画面帧时，获取前一画面帧展示的用户面部图像的参考面部图像特征点；基于所述参考面部图像特征点，在所述跟踪画面帧中获取对应的用户面部图像；使用所述当前画面帧中的用户面部图像对已展示的用户面部图像进行更新。/n

【技术特征摘要】
1.一种基于分帧处理的全景画面展示方法，用于对全景画面进行展示操作，其特征在于，所述全景画面包括检测画面帧以及对应的跟踪画面帧，其中一个所述检测画面帧对应至少一个所述跟踪画面帧；且所述跟踪画面帧设置在对应的检测画面帧的后面；所述全景画面展示方法包括：
如当前画面帧为所述检测画面帧时，根据所述当前画面帧的全景画面信息以及全景声音信息，获取待展示的用户面部图像；并对所述待展示的用户面部图像进行展示操作；
如当前画面帧为所述跟踪画面帧时，获取前一画面帧展示的用户面部图像的参考面部图像特征点；基于所述参考面部图像特征点，在所述跟踪画面帧中获取对应的用户面部图像；使用所述当前画面帧中的用户面部图像对已展示的用户面部图像进行更新。


2.根据权利要求1所述的基于分帧处理的全景画面展示方法，其特征在于，所述根据所述当前画面帧的全景画面信息以及全景声音信息，获取待展示的用户面部图像的步骤包括：
获取当前画面帧的全景画面信息以及全景声音信息；其中所述全景声音信息包括声音位置信息；
对所述全景画面信息进行人脸识别操作，以获取所述当前场景的用户面部图像以及对应的图像位置信息；
将所述图像位置信息以及所述声音位置信息进行对比操作，以获取待展示的用户面部图像。


3.根据权利要求1所述的基于分帧处理的全景画面展示方法，其特征在于，所述对所述待展示的用户面部图像进行展示操作的步骤包括：
根据待展示的用户面部图像和已展示的用户面部图像，对所述当前画面帧中的至少部分用户的用户面部图像进行展示。


4.根据权利要求3所述的基于分帧处理的全景画面展示方法，其特征在于，所述根据待展示的用户面部图像和已展示的用户面部图像，对所述当前画面帧中的至少部分用户的用户面部图像进行展示的步骤包括：
将所述待展示的用户面部图像和已展示的用户面部图像进行匹配；
使用所述待展示的用户面部图像，对匹配的已展示的用户面部图像进行更新操作。


5.根据权利要求1所述的基于分帧处理的全景画面展示方法，其特征在于，所述获取前一画面帧展示的用户面部图像的参考面部图像特征点；基于所述参考面部图像特征点，在所述当前画面帧中获取对应的用户面部图像的步骤包括：
获取所述前一画面帧展示的用户面部图像的参考面部图像特征点；
基于所述前一画面帧展示的用户面部图像的参考面部图像特征点，在所述当前画面帧中查找对应的当前面部图像特征点；所述当前面部图像特征点的数量小于等于所述参考面部图像特征点的数量；
基于所述当前面部图像特征点，获取所述当前画面帧中的用户面部图像，并将所述当前画面帧中的当前面部图像特征点设定为所述当前画面帧的参考面部图像特征点。


6.根据权利要求1所述的基于分帧处理的全景画面展示方法，其特征在于，所述获取前一画面帧展示的用户面部图像的参考面部图像特征点；基于所述参考面部图像特征点，在所述跟踪画面帧中获取对应的用户面部图像的步骤包括：
如所述前一画面帧为检测画面帧，则采集所述前一画面帧展示的用户面部图像的参考面...

【专利技术属性】
技术研发人员：熊垚森，邓辉中，杨海军，
申请(专利权)人：深圳看到科技有限公司，
类型：发明
国别省市：广东;44