视线校正方法、装置、智能会议终端及存储介质制造方法及图纸

本发明专利技术公开了视线校正方法、装置、智能会议终端及存储介质。该方法包括：获取双摄像头同步捕获的两张当前画面帧，确定两张当前画面帧中各重合被摄点的深度信息，并合并形成一幅当前实景画面帧；检测当前实景画面帧中构成人脸图像的二维关键点，并确定二维关键点的坐标信息；根据二维关键点对应的深度信息及所述坐标信息，在三维空间中校正人脸图像获得二维的人脸正视图像。利用该方法，无需依赖特殊硬件或特殊摄像头，仅需两个普通的摄像头就能高效地对所捕获实景画面帧中被摄人物的视线进行校正处理，其成本消耗低且适用范围广，同时通过双摄像头还能带来更广的捕获视野，由此更好的增强了智能会议终端的实际使用体验。

Line of sight correction method, device, intelligent conference terminal and storage medium

The invention discloses a line of sight correction method, a device, an intelligent conference terminal and a storage medium. The method includes: obtaining dual cameras synchronization capture two current picture frames, determining the coincidence two current picture frame shot depth information points, and combined to form a current real picture frame; a two-dimensional key points of face image detection the real picture frame, and determine the key points of the two-dimensional coordinate information according to the depth of information; the corresponding two-dimensional key points and the coordinate information, correction of face image two-dimensional face face image in 3D space. Using this method, without special hardware or special camera, only two ordinary camera can efficiently capture the real picture frame figures were taken vision correction, its low cost and wide application range, at the same time by two cameras can bring wider capture horizons, therefore better enhancement the application of intelligent conference terminal experience.

【技术实现步骤摘要】
视线校正方法、装置、智能会议终端及存储介质
本专利技术涉及图像处理
，尤其视线校正方法、装置、智能会议终端及存储介质。
技术介绍
随着科技的发展，视频会议也得到更广泛的应用，调查显示，视频会议过程中如果视频双方能够进行眼神交互，则更能给视频参与者带来良好的视频会议体验。一般而言，视频会议时，只有双方视频者盯着摄像头看时，另一方的视频者才觉得画面中的对方与自己存在眼神交互。然而，在视频会议场景中，如果双方视频者均往视频画面看，则视频画面中显示出的对方实则看向别处，此时双方无法进行眼神交流，影响了用户视频会议的视觉体验。目前，技术人员提出了一些视线校正方案来保证视频会议中视频双方的眼神交流，常见的视线校正方案有：对视频设备中显示设备的改进，如采用半透明镜子或半透明显示屏实现视线校正，或者采用特殊的摄像头(如RGB-D摄像头)结合相应的算法实现视线校正，上述方案尽管具有较好的视线校正性能，但却需要依赖特殊硬件或特殊摄像头，其均具有较高的成本消耗且可应用的范围也存在限制。此外，技术人员也提出了一些采用普通单目摄像头结合相应算法进行视线校正的方案，但该种方案大多数无法保证在实时性的前提下合成高质量的图像，且该种方案主要依赖普通的单目摄像头进行视线校正，相对上述方案，该方案的视线校正精确性不佳。
技术实现思路
本专利技术实施例提供了视线校正方法、装置、智能会议终端及存储介质，能够对视频会议中的视频者进行高精度的视线校正，解决了视线校正成本消耗过高，适用范围过窄的问题。一方面，本专利技术实施例提供了一种视线校正方法，包括：获取双摄像头同步捕获的两张当前画面帧，确定所述两张当前画面帧中各重合被摄点的深度信息，并合并形成一幅当前实景画面帧；检测所述当前实景画面帧中构成人脸图像的二维关键点，并确定所述二维关键点的坐标信息；根据所述二维关键点对应的深度信息及所述坐标信息，在三维空间中校正所述人脸图像获得二维的人脸正视图像。另一方面，本专利技术实施例提供了一种视线校正装置，包括：深度信息确定模块，用于获取双摄像头同步捕获的两张当前画面帧，确定所述两张当前画面帧中各重合被摄点的深度信息；图像拼接合成模块，用于将所述两张当前画面帧合并形成一幅当前实景画面帧；关键点信息确定模块，用于检测所述当前实景画面帧中构成人脸图像的二维关键点，并确定所述二维关键点的坐标信息；人物视线校正模块，用于根据所述二维关键点对应的深度信息及所述坐标信息，在三维空间中校正所述人脸图像获得二维的人脸正视图像。又一方面，本专利技术实施例提供了一种智能会议终端，包括：光轴平行的两个摄像头；一个或多个处理器；存储装置，用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术实施例提供的视线校正方法。再一方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本专利技术实施例提供的视线校正方法。在上述视线校正方法、装置、智能会议终端及存储介质中，首先获取双摄像头同步捕获的两张当前画面帧，确定两张当前画面帧中各重合被摄点的深度信息，并合并形成一幅当前实景画面帧；然后检测当前实景画面帧中构成人脸图像的二维关键点并确定二维关键点的坐标信息；最终根据二维关键点对应的深度信息及坐标信息在三维空间中校正人脸图像获得二维的人脸正视图像。上述视线校正方法、装置、智能会议终端及存储介质，与现有的视线校正方案相比，本专利技术的方案无需依赖特殊硬件或特殊摄像头，仅需两个普通的摄像头就能高效地对所捕获实景画面帧中被摄人物的视线进行校正处理，其成本消耗低且适用范围广，同时通过双摄像头还能带来更广的捕获视野，由此更好的增强了智能会议终端的实际使用体验。附图说明图1为本专利技术实施例一提供的一种视线校正方法的流程示意图；图2a为本专利技术实施例二提供的一种视线校正方法的流程示意图；图2b～图2c给出了基于本专利技术实施例二提供的视线校正方法进行视线校正的处理流程图；图2d给出了一组存在一个被摄人物的待进行视线校正的第一实景画面帧；图2e给出了对上述一组第一实景画面帧进行视线校正处理后的校正效果图；图2f给出了一组存在多个被摄人物的待进行视线校正的第二实景画面帧；图2g给出了对上述一组第二实景画面帧进行视线校正处理后的校正效果图；图3为本专利技术实施例三提供的一种视线校正装置的结构框图；图4为本专利技术实施例四提供的一种智能会议终端的硬件结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1为本专利技术实施例一提供的一种视线校正方法的流程示意图，该方法适用于视频通话时对所捕获画面帧中的人物进行视线校正的情况，该方法可以由视线校正装置执行，其中该装置可由软件和/或硬件实现，并一般集成在具有视频通话功能的智能终端上。在本实施例中，所述智能终端具体可以是手机、平板电脑、笔记本等智能移动终端，也可以是台式计算机、智能会议终端等固定式的具有视频通话功能的电子设备。本实施例优选的设定其应用场景为通过固定不动的智能终端进行视频通话，且优选地认为进行视频通话时视频者双方的实现均看向视频画面，此时基于本专利技术提供的视线校正方法，可以让视频者双方自然地对视实现视频通话时的视线交流。如图1所示，本专利技术实施例一提供的一种视线校正方法，包括如下操作：S101、获取双摄像头同步捕获的两张当前画面帧，确定该两张当前画面帧中各重合被摄点的深度信息，并合并形成一幅当前实景画面帧。在本实施例中，在基于智能终端进行视频通话时，主要通过智能终端的摄像头捕获视频者当前所处场景的画面信息，本实施例中的智能终端具有两个光轴平行的摄像头，即所述智能终端具有双摄像头。在视频通话过程中，双摄像头可同步捕获当前所在场景的当前画面帧。可以理解的是，由于双摄像头在智能终端上的安装位置不同，同步捕获的当前所在场景中的当前画面帧也不完全重合，但所述两张当前画面帧中仍存在同时被捕获的被摄点，本实施例将同时存在于所述两张当前画面帧中的被摄点称为重合被摄点。在本实施例中，可以根据设定的画面帧立体匹配算法确定两张当前画面帧中各重合被摄点的视差值，之后，根据摄像头具有的焦距、各重合被摄点到所在当前画面帧中的视差值以及双摄像头光心连线的距离，可以确定各重合被摄点的深度信息。其中，所述深度信息具体可理解为重合被摄点到智能终端的深度值。此外，本实施例还可以对所捕获的两张画面帧进行合并拼接处理，由此将两张当前画面帧合并形成一幅当前实景画面帧。S102、检测当前实景画面帧中构成人脸图像的二维关键点，并确定二维关键点的坐标信息。本步骤可以根据关键点检测算法检测当前实景画面帧中的是否存在人脸图像并可确定构成人脸图像的二维关键点。具体地，可以根据人脸具有的特征标识在所述当前实景画面帧中检测构成人脸图像的二维关键点，同时可以确定各二维关键点在当前实景画面帧中的具体坐标信息。一般地，可将人脸中的双眼、鼻子以及两嘴角作为人脸的最基本特征标识，由此可以在当前画面帧中检测出构成人脸图像的五个二维关键点。示例性的，所述二维关键点的个数不限于五个，还可以是8个、10本文档来自技高网...

【技术保护点】
一种视线校正方法，其特征在于，包括：获取双摄像头同步捕获的两张当前画面帧，确定所述两张当前画面帧中各重合被摄点的深度信息，并合并形成一幅当前实景画面帧；检测所述当前实景画面帧中构成人脸图像的二维关键点，并确定所述二维关键点的坐标信息；根据所述二维关键点对应的深度信息及所述坐标信息，在三维空间中校正所述人脸图像获得二维的人脸正视图像。

【技术特征摘要】
1.一种视线校正方法，其特征在于，包括：获取双摄像头同步捕获的两张当前画面帧，确定所述两张当前画面帧中各重合被摄点的深度信息，并合并形成一幅当前实景画面帧；检测所述当前实景画面帧中构成人脸图像的二维关键点，并确定所述二维关键点的坐标信息；根据所述二维关键点对应的深度信息及所述坐标信息，在三维空间中校正所述人脸图像获得二维的人脸正视图像。2.根据权利要求1所述的方法，其特征在于，所述获取双摄像头同步捕获的两张当前画面帧，确定所述两张当前画面帧中各重合被摄点的深度信息，并合并形成一幅当前实景画面帧，包括：获取双摄像头在当前视频场景下同步捕获的两张当前画面帧；对所述两张当前画面帧进行立体匹配，获得所述两张当前画面帧中各重合被摄点的视差值；根据各重合被摄点的视差值及深度计算公式，确定各重合被摄点的深度信息；根据设定的图像合并策略，将所述两张当前画面帧合并成一幅无缝高分辨率的当前实景画面帧。3.根据权利要求1所述的方法，其特征在于，在所述确定所述两张当前画面帧中各重合被摄点的深度信息之后，还包括：基于所述各重合被摄点的深度信息，形成所述各重合被摄点对应的深度图；基于设定的图像平滑算法对所述深度图进行平滑优化处理，获得与所述各重合被摄点对应的优化后的深度信息。4.根据权利要求1所述的方法，其特征在于，在根据所述二维关键点对应的深度信息及所述坐标信息，在三维空间中校正所述人脸图像获得二维的人脸正视图像之后，还包括：将所述当前实景画面帧中的人脸图像替换为所述人脸正视图像，获得校正实景画面帧；对所述校正实景画面帧进行边缘融合处理，并显示处理后的校正实景图像帧。5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述二维关键点对应的深度信息及所述坐标信息，在三维空间中校正所述人脸图像获得二维的人脸正视图像，包括：查找各重合被摄点的深度信息，确定所述二维关键点对应的深度信息；根据所述深度信息及所述坐标信息，对预设的三维人...

【专利技术属性】
技术研发人员：杨铭，
申请(专利权)人：广州视源电子科技股份有限公司，
类型：发明
国别省市：广东,44