一种钢琴键盘图像的形变恢复方法及系统技术方案

本发明专利技术公开了一种钢琴键盘图像的形变恢复方法及系统。该方法包括：以样本图像为输入，以样本图像中黑键的像素坐标以及设定白键的角点的像素坐标为标签，训练神经网络，得到角点检测模型；将标定图像输入角点检测模型，得到输出结果，标定图像为与待恢复形变图像同一摄像机拍摄的、已知设定白键的角点的现实坐标的图像；删除输出结果中识别错误的白键角点的像素坐标；根据白键角点的像素坐标以及标定图像中设定白键的角点的现实坐标，求解摄像机的内外参数和畸变参数；根据待恢复形变图像上各像素点的像素坐标，结合摄像机的内外参数和畸变参数，计算待恢复形变图像上各像素点的现实坐标。本发明专利技术能够简便快捷的实现对钢琴键盘图像的形变恢复。

【技术实现步骤摘要】
一种钢琴键盘图像的形变恢复方法及系统
本专利技术涉及图像处理
，特别是涉及一种钢琴键盘图像的形变恢复方法及系统。
技术介绍
广角摄像机能够捕捉到大视角的景物图像信息，可应用于较近距离录制钢琴教学视频。然而，广角摄像机成像后的图像存在畸变，不利于视频的视觉体验，所以需要通过摄像机标定技术，对图像的几何畸变进行修正。传统广角摄像机的修正，需要依赖特定材料的图像(如黑白棋盘纸的畸变图像)，检测出其中的网格角点，方可进一步计算出摄像机的内外参数及畸变参数并进行畸形图像修正。但是，特定材料的图像这一要求对于修正钢琴教学视频的图像畸变是极其不便的。
技术实现思路
本专利技术的目的是提供一种简便的钢琴键盘图像形变恢复方法及系统。为实现上述目的，本专利技术提供了如下方案：一种钢琴键盘图像的形变恢复方法，包括：以样本图像为输入，以样本图像中黑键的像素坐标以及设定白键的角点的像素坐标为标签，训练神经网络，得到角点检测模型，所述样本图像为钢琴键盘图像，所述设定白键为与黑键具有设定位置关系的白键；将标定图像输入所述角点检测模型，得到输出结果，所述标定图像为与待恢复形变图像同一摄像机拍摄的、已知设定白键的角点的现实坐标的图像；根据所述输出结果中的黑键的像素坐标以及黑键与设定白键的所述设定位置关系，删除所述输出结果中识别错误的白键角点的像素坐标，得到去误差后的白键角点的像素坐标；根据去误差后的白键角点的像素坐标以及标定图像中设定白键的角点的现实坐标，求解拍摄所述标定图像的摄像机的内外参数和畸变参数；根据所述待恢复形变图像上各像素点的像素坐标，结合所述摄像机的内外参数和畸变参数，计算待恢复形变图像上各像素点的现实坐标。可选的，所述内外参数包括体现像素坐标系与相机坐标系变换的内参数和体现相机坐标系与世界坐标系变换的外参数；所述畸变参数包括径向畸变参数和切向畸变参数。可选的，所述根据去误差后的白键角点的像素坐标以及标定图像中设定白键的角点的现实坐标，求解拍摄所述标定图像的摄像机的内外参数和畸变参数，具体包括：对去误差后的白键角点的像素坐标进行线性回归，得到线性回归线；从所述线性回归线的一端到另一端，结合黑键与白键的位置关系，依次确定去误差后的白键角点对应的所述现实坐标；根据像素坐标、现实坐标以及摄像机内外参数、畸变参数之间的关系式以及白键角点的像素坐标和现实坐标，计算所述摄像机的内外参数、畸变参数。可选的，所述根据所述待恢复形变图像上各像素点的像素坐标，结合所述摄像机的内外参数和畸变参数，计算待恢复形变图像上各像素点的现实坐标，具体包括：将所述待恢复形变图像上像素点的像素坐标以及所述摄像机的内外参数和畸变参数代入像素坐标、现实坐标以及摄像机内外参数、畸变参数之间的关系式，得到待恢复形变图像上像素点的现实坐标。可选的，所述设定白键为相邻两组黑键之间的白键。可选的，相邻两组黑键之间有两个白键，所述设定白键的角点为两个白键中某一白键与另一白键的相邻边的上下两个角点。可选的，所述黑键的像素坐标为黑键四个角点的像素坐标。本专利技术还提供了一种钢琴键盘图像的形变恢复系统，包括：角点检测模型训练模块，用于以样本图像为输入，以样本图像中黑键的像素坐标以及设定白键的角点的像素坐标为标签，训练神经网络，得到角点检测模型，所述样本图像为钢琴键盘图像，所述设定白键为与黑键具有设定位置关系的白键；角点检测模块，用于将标定图像输入所述角点检测模型，得到输出结果，所述标定图像为与待恢复形变图像同一摄像机拍摄的、已知设定白键的角点的现实坐标的图像；去误差模块，用于根据所述输出结果中的黑键的像素坐标以及黑键与设定白键的所述设定位置关系，删除所述输出结果中识别错误的白键角点的像素坐标，得到去误差后的白键角点的像素坐标；相机参数求取模块，用于根据去误差后的白键角点的像素坐标以及标定图像中设定白键的角点的现实坐标，求解拍摄所述标定图像的摄像机的内外参数和畸变参数；形变恢复模块，用于根据所述待恢复形变图像上各像素点的像素坐标，结合所述摄像机的内外参数和畸变参数，计算待恢复形变图像上各像素点的现实坐标。可选的，所述设定白键为相邻两组黑键之间的白键。可选的，相邻两组黑键之间有两个白键，所述设定白键的角点为两个白键中某一白键与另一白键的相邻边的上下两个角点。根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：本专利技术提供的钢琴键盘图像形变恢复方法及系统采用深度学习网络识别钢琴的特定角点，然后根据特定角点已知的现实坐标，计算摄像机的内外参数以及畸变参数，最后根据待恢复形变图像上各像素点的像素坐标以及摄像机的内外参数和畸变参数，计算待恢复形变图像上各像素点的现实坐标，实现对图像的形变恢复。本专利技术采用深度学习网络识别特定角点，进而计算摄像机的内外参数和畸变参数，简便快捷，提高了效率，同时，结合黑键选取用于网络学习的特定角点，并结合黑键去除识别错误的角点，提高了角点的识别精度，保障了摄像机内外参数和畸变参数计算的准确性，进而保障了钢琴键盘图像形变恢复的精度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例1提供的钢琴键盘图像的形变恢复方法流程示意图；图2为本专利技术实施例1中各坐标系的关系示意图；图3为本专利技术实施例1中图像畸变示意图；图4为本专利技术实施例1中钢琴键盘标注图；图5为本专利技术实施例1中回归线示意图；图6为本专利技术实施例1中畸变图像角点编号示意图；图7为本专利技术实施例1中世界坐标系中设定白键角点的部分示意图；图8为本专利技术实施例1中角点检测模型的输入图；图9为本专利技术实施例1中角点检测模型的网络设计示意图；图10为本专利技术实施例1中的钢琴键盘检测图；图11为本专利技术实施例1中角点检测模型的输出结果示意图；图12为本专利技术实施例2提供的钢琴键盘图像的形变恢复系统结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。实施例1参见图1，本实施例提供了一种钢琴键盘图像的形变恢复方法，该方法包括：步骤101：以样本图像为输入，以样本图像中黑键的像素坐标以及设定白键的角点的像素坐标为标签，训练神经网络，得到角点检测模型，所述样本图像为钢琴本文档来自技高网...

【技术保护点】
1.一种钢琴键盘图像的形变恢复方法，其特征在于，包括：/n以样本图像为输入，以样本图像中黑键的像素坐标以及设定白键的角点的像素坐标为标签，训练神经网络，得到角点检测模型，所述样本图像为钢琴键盘图像，所述设定白键为与黑键具有设定位置关系的白键；/n将标定图像输入所述角点检测模型，得到输出结果，所述标定图像为与待恢复形变图像同一摄像机拍摄的、已知设定白键的角点的现实坐标的图像；/n根据所述输出结果中的黑键的像素坐标以及黑键与设定白键的所述设定位置关系，删除所述输出结果中识别错误的白键角点的像素坐标，得到去误差后的白键角点的像素坐标；/n根据去误差后的白键角点的像素坐标以及标定图像中设定白键的角点的现实坐标，求解拍摄所述标定图像的摄像机的内外参数和畸变参数；/n根据所述待恢复形变图像上各像素点的像素坐标，结合所述摄像机的内外参数和畸变参数，计算待恢复形变图像上各像素点的现实坐标。/n

【技术特征摘要】
1.一种钢琴键盘图像的形变恢复方法，其特征在于，包括：
以样本图像为输入，以样本图像中黑键的像素坐标以及设定白键的角点的像素坐标为标签，训练神经网络，得到角点检测模型，所述样本图像为钢琴键盘图像，所述设定白键为与黑键具有设定位置关系的白键；
将标定图像输入所述角点检测模型，得到输出结果，所述标定图像为与待恢复形变图像同一摄像机拍摄的、已知设定白键的角点的现实坐标的图像；
根据所述输出结果中的黑键的像素坐标以及黑键与设定白键的所述设定位置关系，删除所述输出结果中识别错误的白键角点的像素坐标，得到去误差后的白键角点的像素坐标；
根据去误差后的白键角点的像素坐标以及标定图像中设定白键的角点的现实坐标，求解拍摄所述标定图像的摄像机的内外参数和畸变参数；
根据所述待恢复形变图像上各像素点的像素坐标，结合所述摄像机的内外参数和畸变参数，计算待恢复形变图像上各像素点的现实坐标。


2.根据权利要求1所述的钢琴键盘图像的形变恢复方法，其特征在于，所述内外参数包括体现像素坐标系与相机坐标系变换的内参数和体现相机坐标系与世界坐标系变换的外参数；所述畸变参数包括径向畸变参数和切向畸变参数。


3.根据权利要求1所述的钢琴键盘图像的形变恢复方法，其特征在于，所述根据去误差后的白键角点的像素坐标以及标定图像中设定白键的角点的现实坐标，求解拍摄所述标定图像的摄像机的内外参数和畸变参数，具体包括：
对去误差后的白键角点的像素坐标进行线性回归，得到线性回归线；
从所述线性回归线的一端到另一端，结合黑键与白键的位置关系，依次确定去误差后的白键角点对应的所述现实坐标；
根据像素坐标、现实坐标以及摄像机内外参数、畸变参数之间的关系式以及白键角点的像素坐标和现实坐标，计算所述摄像机的内外参数、畸变参数。


4.根据权利要求1所述的钢琴键盘图像的形变恢复方法，其特征在于，所述根据所述待恢复形变图像上各像素点的像素坐标，结合所述摄像机的内外参数和畸变参数，计算待恢复形变图像上各像素点的现实坐标，具体包括：
将所述待恢复形变图像上像素点...

【专利技术属性】
技术研发人员：罗秋明，沙士豪，温志伟，
申请(专利权)人：深圳阿图科技有限公司，
类型：发明
国别省市：广东;44