提升人像照片清晰度的方法及装置制造方法及图纸

本发明专利技术涉及一种提升人像照片清晰度的方法及装置，包括将原始图像切片输入至清晰度模型中得第一图像；将待处理图像输入到人脸识别模型中获取原始人脸框矩形，处理后得到内扩展人脸框矩形、外扩展人脸框矩形；外扩展人脸框矩形对原始图像进行裁剪为人脸图像；输入到人脸清晰度模型中对第二图像中的人脸进行清晰度处理，输出第三图像；根据人像掩膜图像和黑色掩膜图像，得到羽化人像掩膜图像；以其像素值为权重计算最终图像的像素值，将所述羽化人像掩膜图像与第一图像相融合，输出最终图像。本发明专利技术对照片进行人脸识别与分割，对照片使用常规清晰度提升与人脸清晰度提升相结合的方法，以达到照片背景与人脸都能达到满意的清晰度提升效果。

【技术实现步骤摘要】
提升人像照片清晰度的方法及装置
本专利技术属于图像处理
，具体涉及一种提升人像照片清晰度的方法及装置。
技术介绍
随着移动终端应用的普及以及移动终端摄像头的拍摄质量提升，越来越多的用户把移动终端拍摄的照片存储到移动设备中，同时也会将老旧照片存储在移动设备中，于是推动了用户对于老旧照片清晰度提升的需求日益高涨。相关技术中，在现有的提升照片清晰度的图片编辑类应用中，一方面只能通过联网的方式，把照片上传到服务器上进行清晰度提升，这种方法要求用户联网，同时可能由于网络慢或服务器处理压力过大等，导致整体流程慢、用户等待过久等问题；另一方面，只能对照片进行通用性的清晰度提升，这种提升方法在人脸上的效果并不明显。
技术实现思路
有鉴于此，本专利技术的目的在于克服现有技术的不足，提供一种提升人像照片清晰度的方法及装置，以解决现有技术中在无法联网时对人像照片提升清晰度在人脸上的效果不明显的问题。为实现以上目的，本专利技术采用如下技术方案：一种提升人像照片清晰度的方法，包括：获取原始图像，并根据所述原始图像，获取多个原始图像切片；将所述原始图像切片输入至清晰度模型中，所述清晰度模型对所述原始图像切片进行清晰度处理，得到多个图像切片，将得到的多个图像切片进行拼接，得到第一图像；根据所述原始图像，获取待处理图像，将所述待处理图像输入到人脸识别模型中，所述人脸识别模型对所述待处理图像进行人脸识别，并在识别到人脸时获取原始人脸框矩形，对所述原始人脸框矩形以不同比例进行放大，分别得到内扩展人脸框矩形、外扩展人脸框矩形；根据所述外扩展人脸框矩形对所述原始图像进行裁剪，输出第二图像；其中，所述第二图像为人脸图像；将所述第二图像输入到人脸清晰度模型中，所述人脸清晰度模型对所述第二图像中的人脸进行清晰度处理，输出第三图像；将所述第二图像输入到人像分割模型中，所述人像分割模型对所述第二图像进行人像分割处理，输出人像掩膜图像；创建与所述外扩展人脸框矩形大小一致且像素为0的黑色掩膜图像，根据所述人像掩膜图像和黑色掩膜图像，得到扩展人像掩膜图像；对所述扩展人像掩膜图像进行膨胀操作，得到羽化人像掩膜图像；以所述羽化人像掩膜图像的像素值为权重计算最终图像的像素值，根据所述像素值和原始人脸框矩形的位置将所述羽化人像掩膜图像与第一图像相融合，输出最终图像。进一步的，还包括：在所述原始图像输入到人脸识别模型中时，如果无法识别到人脸，则将所述第一图像确定为最终图像。进一步的，所述根据所述原始图像，获取多个原始图像切片，包括：对所述原始图像以128x128的像素大小进行裁剪，得到多个128x128的原始图像切片；其中，对于所述原始图像边缘不满128长度的地方，采用拉伸的方式进行填补。进一步的，所述根据所述原始图像，获取待处理图像，包括：将所述原始图像保持宽高比例进行尺寸缩放至预设像素大小并记录缩放因子；将所述缩放至预设像素大小的图像确定为待处理图像。进一步的，所述在识别到人脸时获取原始人脸框矩形，对所述原始人脸框矩形进行缩小和放大，分别得到内扩展人脸框矩形、外扩展人脸框矩形，包括：在识别到人脸时，记录所述人脸识别模型返回的所有的人脸在所述待处理图像的缩放人脸框矩形；对所有的所述缩放人脸框矩形进行缩放还原操作，即将矩形的坐标乘以所述缩放因子，得到所有的原始人脸框矩形；对所有的所述原始人脸框矩形扩大1.25倍，得到外扩展人脸框矩形；对所有的所述原始人脸框矩形扩大1.125倍，得到内扩展人脸框矩形。进一步的，所述计算最终图像的像素值，包括：获取所述羽化人像掩膜图像中的像素值、以及羽化人像掩膜图像中的像素值在所述第三图像中对应的像素值以及第一图像的像素值；根据所述羽化人像掩膜图像中的像素值、以及羽化人像掩膜图像中的像素值在所述第三图像中对应的像素值计算所述羽化人像掩膜图像中的像素值的权重；根据所述权重、第一图像的像素值以及羽化人像掩膜图像的像素值计算最终图像的像素值。进一步的，所述最终图像的像素值的计算公式为：R＝F·a+N(1-a)其中，R表示最终图像的像素值，F表示第三图像的像素值，N表示第一图像的像素值，a表示羽化人像掩膜图像的像素值。进一步的，所述清晰度模型接收像素大小为128x128的输入图像，输出像素大小为256x256的清晰度的输出图像。本申请实施例提供一种提升人像照片清晰度的装置，包括：获取模块，用于获取原始图像，并根据所述原始图像，获取多个原始图像切片；第一处理模块，用于将所述原始图像切片输入至清晰度模型中，所述清晰度模型对所述原始图像切片进行清晰度处理，得到多个图像切片，将得到的多个图像切片进行拼接，得到第一图像；识别模块，用于根据所述原始图像，获取待处理图像，将所述待处理图像输入到人脸识别模型中，所述人脸识别模型对所述待处理图像进行人脸识别，并在识别到人脸时获取原始人脸框矩形，对所述原始人脸框矩形以不同比例进行放大，分别得到内扩展人脸框矩形、外扩展人脸框矩形；根据所述外扩展人脸框矩形对所述原始图像进行裁剪，输出第二图像；其中，所述第二图像为人脸图像；第二处理模块，用于将所述第二图像输入到人脸清晰度模型中，所述人脸清晰度模型对所述第二图像中的人脸进行清晰度处理，输出第三图像；第三处理模块，用于将所述第二图像输入到人像分割模型中，所述人像分割模型对所述第二图像进行人像分割处理，输出人像掩膜图像；创建模块，用于创建与所述外扩展人脸框矩形大小一致且像素为0的黑色掩膜图像，根据所述人像掩膜图像和黑色掩膜图像，得到扩展人像掩膜图像；膨胀模块，用于对所述扩展人像掩膜图像进行膨胀操作，得到羽化人像掩膜图像；输出模块，用于以所述羽化人像掩膜图像的像素值为权重计算最终图像的像素值，根据所述像素值和原始人脸框矩形的位置将所述羽化人像掩膜图像与第一图像相融合，输出最终图像。进一步的，还包括：确定模块，用于在所述原始图像输入到人脸识别模型中时，如果无法识别到人脸，则将所述第一图像确定为最终图像。本专利技术采用以上技术方案，能够达到的有益效果包括：本专利技术提供一种提升人像照片清晰度的方法及装置，所述方法包括获取原始图像，并根据所述原始图像，获取多个原始图像切片；将所述原始图像切片输入至清晰度模型中，所述清晰度模型对所述原始图像切片进行清晰度处理，得到多个图像切片，将得到的多个图像切片进行拼接，得到第一图像；根据所述原始图像，获取待处理图像，将所述待处理图像输入到人脸识别模型中，所述人脸识别模型对所述待处理图像进行人脸识别，并在识别到人脸时获取原始人脸框矩形，对所述原始人脸框矩形以不同比例进行放大，分别得到内扩展人脸框矩形、外扩展人脸框矩形；根据所述外扩展人脸框矩形对所述原始图像进行裁剪，输出第二图像；其中，所述第二图像为人脸图像；将所述第二图像输入到人脸清晰度模型中，所述人脸清晰度模本文档来自技高网...

【技术保护点】
1.一种提升人像照片清晰度的方法，其特征在于，包括：/n获取原始图像，并根据所述原始图像，获取多个原始图像切片；/n将所述原始图像切片输入至清晰度模型中，所述清晰度模型对所述原始图像切片进行清晰度处理，得到多个图像切片，将得到的多个图像切片进行拼接，得到第一图像；/n根据所述原始图像，获取待处理图像，将所述待处理图像输入到人脸识别模型中，所述人脸识别模型对所述待处理图像进行人脸识别，并在识别到人脸时获取原始人脸框矩形，对所述原始人脸框矩形以不同比例进行放大，分别得到内扩展人脸框矩形、外扩展人脸框矩形；根据所述外扩展人脸框矩形对所述原始图像进行裁剪，输出第二图像；其中，所述第二图像为人脸图像；/n将所述第二图像输入到人脸清晰度模型中，所述人脸清晰度模型对所述第二图像中的人脸进行清晰度处理，输出第三图像；/n将所述第二图像输入到人像分割模型中，所述人像分割模型对所述第二图像进行人像分割处理，输出人像掩膜图像；/n创建与所述外扩展人脸框矩形大小一致且像素为0的黑色掩膜图像，根据所述人像掩膜图像和黑色掩膜图像，得到扩展人像掩膜图像；/n对所述扩展人像掩膜图像进行膨胀操作，得到羽化人像掩膜图像；/n以所述羽化人像掩膜图像的像素值为权重计算最终图像的像素值，根据所述像素值和原始人脸框矩形的位置将所述羽化人像掩膜图像与第一图像相融合，输出最终图像。/n...

【技术特征摘要】
1.一种提升人像照片清晰度的方法，其特征在于，包括：
获取原始图像，并根据所述原始图像，获取多个原始图像切片；
将所述原始图像切片输入至清晰度模型中，所述清晰度模型对所述原始图像切片进行清晰度处理，得到多个图像切片，将得到的多个图像切片进行拼接，得到第一图像；
根据所述原始图像，获取待处理图像，将所述待处理图像输入到人脸识别模型中，所述人脸识别模型对所述待处理图像进行人脸识别，并在识别到人脸时获取原始人脸框矩形，对所述原始人脸框矩形以不同比例进行放大，分别得到内扩展人脸框矩形、外扩展人脸框矩形；根据所述外扩展人脸框矩形对所述原始图像进行裁剪，输出第二图像；其中，所述第二图像为人脸图像；
将所述第二图像输入到人脸清晰度模型中，所述人脸清晰度模型对所述第二图像中的人脸进行清晰度处理，输出第三图像；
将所述第二图像输入到人像分割模型中，所述人像分割模型对所述第二图像进行人像分割处理，输出人像掩膜图像；
创建与所述外扩展人脸框矩形大小一致且像素为0的黑色掩膜图像，根据所述人像掩膜图像和黑色掩膜图像，得到扩展人像掩膜图像；
对所述扩展人像掩膜图像进行膨胀操作，得到羽化人像掩膜图像；
以所述羽化人像掩膜图像的像素值为权重计算最终图像的像素值，根据所述像素值和原始人脸框矩形的位置将所述羽化人像掩膜图像与第一图像相融合，输出最终图像。


2.根据权利要求1所述的方法，其特征在于，还包括：
在所述原始图像输入到人脸识别模型中时，如果无法识别到人脸，则将所述第一图像确定为最终图像。


3.根据权利要求1所述的方法，其特征在于，所述根据所述原始图像，获取多个原始图像切片，包括：
对所述原始图像以128x128的像素大小进行裁剪，得到多个128x128的原始图像切片；
其中，对于所述原始图像边缘不满128长度的地方，采用拉伸的方式进行填补。


4.根据权利要求1所述的方法，其特征在于，所述根据所述原始图像，获取待处理图像，包括：
将所述原始图像保持宽高比例进行尺寸缩放至预设像素大小并记录缩放因子；将所述缩放至预设像素大小的图像确定为待处理图像。


5.根据权利要求4所述的方法，其特征在于，所述在识别到人脸时获取原始人脸框矩形，对所述原始人脸框矩形进行缩小和放大，分别得到内扩展人脸框矩形、外扩展人脸框矩形，包括：
在识别到人脸时，记录所述人脸识别模型返回的所有的人脸在所述待处理图像的缩放人脸框矩形；
对所有的所述缩放人脸框矩形进行缩放还原操作，即将矩形的坐标乘以所述缩放因子，得到所有的原始人脸框矩形；
对所有的所述原始人脸框矩形扩大1.25倍，得到外扩展人脸框矩形；对所有的所述原始人脸框矩形扩大1.125倍，得到内扩展人脸...

【专利技术属性】
技术研发人员：林青山，
申请(专利权)人：广州光锥元信息科技有限公司，
类型：发明
国别省市：广东;44