眼神调节方法、装置及存储介质制造方法及图纸

本申请涉及一种眼神调节方法、装置及存储介质，属于图像处理技术领域，该方法包括：获取包括目标眼部图像的目标图像；获取眼神调节网络；基于目标眼部图像和眼神调节网络得到调节后的眼部图像，目标眼部图像的眼神角度相对于调节后的眼部图像中眼神角度的眼神角度之差为期望调节角度；可以解决通过改变硬件设备使得用户同时观看屏幕和摄像头，导致眼神矫正效率较低的问题；由于眼神调节网络可以基于期望调节角度生成编码图像、基于目标眼部图像和编码图像生成校正后的眼部图像，对校正后的眼部图像进行像素位置调节和颜色调节；因此可以实现基于眼神调节网络对眼部图像的眼神调节，无需改变硬件设备，可以提高眼神矫正效率。

Eye adjustment method, device and storage medium

【技术实现步骤摘要】
眼神调节方法、装置及存储介质
本申请涉及一种眼神调节方法、装置及存储介质，属于图像处理

技术介绍
视频会议系统(又称会议电视系统)是指两个或两个以上不同地方的个人或群体，通过传输线路及多媒体设备，将声音、影像及文件资料互传，实现即时且互动的沟通，以实现远程会议的系统。现有的视频会议系统，摄像头一般设置于显示屏的上方或下方位置。这样，用户在观看显示屏的同时，摄像头能够不受显示屏的阻挡，而拍摄到用户。但是摄像头位于显示屏的上方或者下方，而用户视线是直视显示屏，摄像机采集得到的眼部图像效果是眼神上扬或下撇的状态，另一端与会人员观看到的图像是不存在眼神交互的图像。为了提高视频会议效果，通常需要对与会人员的眼神进行校正。在一种典型的校正方法中，通过使用专门的硬件设备使得用户同时观看屏幕和摄像头。但是，专门的硬件设备需要对已有的视频会议系统进行改造，眼神校正效率较低。
技术实现思路
本申请提供了一种眼神调节方法、装置及存储介质，可以解决通过改变硬件设备使得用户同时观看屏幕和摄像头，导致眼神矫正效率较低的本文档来自技高网...

【技术保护点】
1.一种眼神调节方法，其特征在于，所述方法包括：/n获取包括目标眼部图像的目标图像；/n获取眼神调节网络，所述眼神调节网络包括第一网络模型、与所述第一网络模型相连的第二网络模型、以及与所述第二网络模型相连的第三网络模型；所述第一网络模型用于基于输入的期望调节角度生成具有所述期望调节角度的编码图像，所述第二网络模型用于基于输入的图像和所述编码图像生成对输入的图像进行校正得到的校正后的眼部图像，所述第三网络模型用于对所述校正后的眼部图像进行像素位置调节和颜色调节；/n基于所述目标眼部图像和所述眼神调节网络得到调节后的眼部图像，所述目标眼部图像的眼神角度相对于所述调节后的眼部图像中眼神角度的眼神角度...

【技术特征摘要】
1.一种眼神调节方法，其特征在于，所述方法包括：
获取包括目标眼部图像的目标图像；
获取眼神调节网络，所述眼神调节网络包括第一网络模型、与所述第一网络模型相连的第二网络模型、以及与所述第二网络模型相连的第三网络模型；所述第一网络模型用于基于输入的期望调节角度生成具有所述期望调节角度的编码图像，所述第二网络模型用于基于输入的图像和所述编码图像生成对输入的图像进行校正得到的校正后的眼部图像，所述第三网络模型用于对所述校正后的眼部图像进行像素位置调节和颜色调节；
基于所述目标眼部图像和所述眼神调节网络得到调节后的眼部图像，所述目标眼部图像的眼神角度相对于所述调节后的眼部图像中眼神角度的眼神角度之差为所述期望调节角度。


2.根据权利要求1所述的方法，其特征在于，所述获取眼神调节网络之前，包括：
获取多个样本图像，所述多个样本图像包括具有各个眼神角度的图像；
获取损失函数；
使用所述多个样本图像和所述损失函数对预设网络模型进行训练，得到所述眼神调节网络。


3.根据权利要求2所述的方法，其特征在于，所述使用所述多个样本图像和所述损失函数对预设网络模型进行训练，得到所述眼神调节网络，包括：
对每张样本图像进行眼部关键点检测，得到n个眼部关键点，所述n为正整数；
对于每张样本图像，基于对应的n个眼部关键点中每个眼部关键点的位置确定样本锚框，得到每个关键点对应的样本锚框；
将所述多张样本图像进行两两组合，并确定每组图像组合中眼神角度之差，得到训练集；所述训练集包括多组训练数据，每组训练数据包括基准样本图像、待调节样本图像、所述待调节样本图像对应的样本锚框以及所述待调节样本图像相对于所述基准样本图像的眼神角度之差；
将所述训练数据中的眼神角度之差、所述待调节样本图像、以及所述待调节样本图像对应的样本锚框输入所述预设网络模型，使用所述损失函数、所述训练数据中的基准样本图像对所述预设网络模型进行训练，得到所述眼神调节网络。


4.根据权利要求3所述的方法，其特征在于，所述将所述训练数据中的眼神角度之差、待调节样本图像、以及所述待调节样本图像对应的样本锚框输入所述预设网络模型，包括：
将所述训练数据中的眼神角度之差输入所述预设网络模型中的第一网络模型；
将所述待调节样本图像、所述待调节样本图像对应的样本锚框和所述第一网络模型的输出结果输入所述预设网络模型中的第二网络模型；
将所述待调节样本图像和所述第二网络模型的输出结果输入所述预设网络模型中的第三网络模型。


5.根据权利要求2所述的方法，其特征在于，所述损失函数包括第一损失函数、第二损失函数和第三损失函数；
所述第一损失函数用于使所述调节后的眼部图像与真实图像在像素级别的差异总和最小化；
所述第二损失函数用于使所述预设网络模型的模型输出结果的眼部结构与真实图像的眼部结构之间的差异最小化；
所述第三损失函数用于使所述预设网络模型的模型输出结果的眼部颜色与真实图像的眼部颜色之间的差异最小化。


6...

【专利技术属性】
技术研发人员：范蓉蓉，毛晓蛟，章勇，曹李军，
申请(专利权)人：苏州科达科技股份有限公司，
类型：发明
国别省市：江苏;32