一种读写场景读写姿势的识别方法技术

本发明专利技术提供了一种读写场景读写姿势的识别方法，步骤为：S1,获取读写场景中的原始图像、桌面或书本的图像信息；S2,对读写元素的原始图像进行算法检测，依据坐标认定方法得出桌面、书本和人脸的空间三维坐标；S3,利用已知物体在三维空间的坐标，在图像上一一对应的图像像素坐标以及相机内参数进而求解出此时相机相对于空间已知物体的外参数，即旋转向量以及平移向量；S4，对旋转向量进行数据分析处理，求解出此时相机相对于已知物体空间坐标的三维姿态欧视角；S5，依据物体的三维姿态欧视角判断读写姿势和读写距离是否符合标准；本方法可有效判断用户读书时的姿势及阅读距离是否正确，有效预防近视。

A Recognition Method of Reading and Writing Posture in Reading and Writing Scene

【技术实现步骤摘要】
一种读写场景读写姿势的识别方法
本专利技术涉及图像识别
，具体涉及一种读写场景读写姿势的识别方法。
技术介绍
我国近视人数已超6亿，几乎占到中国总人口数量的50％，近视发病呈现年龄早、进展快、程度深的趋势。据调查报告显示，学生视力不良问题突出。四年级、八年级学生视力不良检出率分别为36.5％、65.3％，其中四年级女生视力中度不良和重度不良比例分别为18.6％、10.4％，男生分别为16.4％、9％；八年级女生视力中度不良和重度不良比例分别为24.1％、39.5％，男生分别为22.1％、31.7％。实际上，我国青少年的整体视力情况不容不乐观，有数据显示，青少年近视率已经高居世界第一。其中近距离用眼和手机、电脑等电子产品的不间断使用有极大的关系。从近年发展趋势来看，青少年因为学习姿势的不规范以及过早接触电子产品使得近视的风险在逐渐增大，从小便戴上了眼镜。
技术实现思路
本专利技术要解决的技术问题是提供一种可以自动识别当前读写场景读写姿势的方法，以判断使用者的读写姿势以及读写距离是否符合标准。为实现上述目的，本专利技术采用如下技术方案：一种读写场景读写姿势的识别方法，其特征在于，步骤包括：S1,通过相机或红外线或雷达等装置获取读写场景中的原始图像、桌面或书本的图像信息，所述图像信息包括桌面或书本的边框或两个到四个的顶点；S2,对读写元素的原始图像进行算法检测，依据坐标认定方法得出桌面、书本和人脸的空间三维坐标；S3,利用已知物体在三维空间的坐标，在图像上一一对应的图像像素坐标以及相机内参数进而求解出此时相机相对于空间已知物体的外参数，即旋转向量以及平移向量；S4，对旋转向量进行数据分析处理，求解出此时相机相对于已知物体空间坐标的三维姿态欧视角；S5，依据物体的三维姿态欧视角判断读写姿势和读写距离是否符合标准。进一步的，人脸检测将图片按照固定要求代入训练好的人脸检测模型，获得左右眼、鼻子、两个嘴角的5个点的位置以及为人脸的可信度。进一步的，所述三维欧视角包括偏航角Yaw，滚轮角Roll，俯仰角Pitch，判断姿势错误的情况包括：Yaw在[0,30)区间内；Yaw在[30,45)区间内，并且Roll小于-10；Yaw大于等于45，并且Roll小于0；Yaw在[-10,0)区间内，并且Roll小于-3；Yaw在[-40,-30)区间内，并且Roll小于-5；Yaw在[-30,-10)区间内，并且Roll小于-10；Yaw大于-40，并且Roll小于-30。进一步的，确定桌面、书本和人脸的空间三维坐标之前，需要先得出相机的内参数，所述相机的内参数包括基本参数和畸变系数变量，所述基本参数包括图像光轴主点，X,Y方向焦距，所述畸变系数向量包括切向畸变系数和径向畸变系数。进一步的，采用针孔成像模型计算得出物体的三维坐标，设定一个投影中心，主点为穿过光轴的图像主点，(X,Y,Z)为空间坐标系下的物体坐标，(x，y，z)为图像像素坐标。进一步的，利用相机内参数，相机外参数以及自定义的3D空间坐标点(0.0,0.0,0.0)，(1.5,0.0,0.0,)，(0.0,0.0,1.5)，即分别对应空间原点，空间X轴，空间Y轴，空间Z轴，求解出一一对应的图像2D坐标点；使用OpenCV提供的projectPoints函数解算出已知空间轴坐标点对应的图像坐标上的坐标点，最后将对应图像坐标点连在一起即为物体的空间坐标系。进一步的，所述人脸检测训练是通过MTCNN，将人脸区域检测与人脸关键点检测放在了一起，基于cascade框架的，总体分为PNet、RNet和ONet三层网络结构。进一步的，所述MTCNN特征描述子主要包括三个部分，人脸/非人脸分类器、边界框回归和地标定位。进一步的，根据获得的桌面或者书本四个顶点坐标，根据四个顶点计算出四边形对角线的交叉点坐标，又根据得到的人眼坐标即左右眼的坐标的中心点，计算出交叉点到人眼中心点的距离，根据这个距离与相机焦距的比例关系可以算出，人眼到桌面或者书本的实际距离。进一步的，人眼到桌面或者书本距离小于35厘米则认为该姿势错误。本专利技术提供的一种读写场景读写姿势的识别方法的有益效果在于：可以有效获取使用者阅读时的体态姿势和距离并对不正确的予以提醒，通过阅读姿势和阅读距离的双重检测判断达到了更佳的检测效果，以及时矫正降低近视眼的发生概率；利用单目相机即可获取准确的三维姿态欧视角，然后通过欧视角的比对进行有效判断，准确率高，且仅使用单目相机成本低，实用性广；设置的单目相机具有一定角度，有效规避了轻微低头和晃动的计算误差。附图说明图1为本专利技术整体流程图；图2为针孔成像模型的计算示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本专利技术的保护范围。实施例：一种读写场景读写姿势的识别方法。一种读写场景读写姿势的识别方法，其特征在于，步骤包括：单目相机采集图片并发送至处理器存储分析；利用单目相机相对于被检测物体平面的三维姿态欧视角，即俯仰角、偏航角、滚轮角；首先，通过相机标定得出相机的内参数，然后利用已知物体在三维空间的坐标，在图像上一一对应的图像像素坐标以及相机内参数进而求解出此时相机相对于空间已知物体的外参数，即旋转向量以及平移向量，最后对旋转向量进行数据分析处理，求解出此时相机相对于已知物体空间坐标的三维姿态欧视角。相机标定：在这里，摄像头的成像模型是以针孔成像为准的，但是由于透镜本身以及相机制造工艺等问题，致使成像模型不能百分百的按照针孔成像模型输出图像，输出图像必然存在畸变。因此，需要对相机进行标定，标定的目的是求解出相机内参数，内参数包括相机基本参数(图像光轴主点，X,Y方向焦距)以及畸变系数向量(切向畸变系数，径向畸变系数)。采用棋盘标定法进行相机的标定，棋盘标定法的基本思想是通过三维场景中拍摄同一棋盘标定板在不同方向，不同位置的多张棋盘图片，因为每一张棋盘图片的角点都是等间距的，即棋盘角点的空间三维坐标是已知的(三维空间坐标系相对于每一张棋盘物体而言)，然后计算出每张棋盘图像在图像平面的像素坐标，有了每张棋盘图的三维空间坐标以及对应的图像像素平面的二维像素坐标一一对应投影关系，进而求出相机的内参数。OpenCV提供calibrateCamera()函数进行标定，利用该函数得出相机的内参数，包括相机基本矩阵：畸变系数变量:D:(k1,k2,p1,p2[,k3[,k4,k5,k6]])，其中k1,k2为径向畸变，p1,p2为切向畸变，对普通摄像头我们一般只需要前四个系数，但对于畸变很大的摄像头，如鱼眼摄像头，我们应采用5-8个系数变量。相机姿态估计关键算法是解决N点透视投影问题，也称作PNP(Persperctive-N-Point)问题，在这里，我们以针孔成像模型为准。O为投影中心，主点(u0,v0)为穿过光轴的图像主点。(X,Y,Z)为空间坐标系下的物体坐标，这里的参考坐标系为相机的投影中心，(x，y，z)为图像像素坐标，图像像素坐标的原点为左上角。u0根据上述的针孔投影关系，x＝f*(X/Z)，我们可以容易地本文档来自技高网...

【技术保护点】
1.一种读写场景读写姿势的识别方法，其特征在于，步骤包括：S1,获取读写场景中的原始图像、桌面或书本的图像信息；S2,对读写元素的原始图像进行算法检测，依据坐标认定方法得出桌面、书本和人脸的空间三维坐标；S3,利用已知物体在三维空间的坐标，在图像上一一对应的图像像素坐标以及相机内参数进而求解出此时相机相对于空间已知物体的外参数，即旋转向量以及平移向量；S4，对旋转向量进行数据分析处理，求解出此时相机相对于已知物体空间坐标的三维姿态欧视角；S5，依据物体的三维姿态欧视角判断读写姿势和读写距离是否符合标准。

【技术特征摘要】
1.一种读写场景读写姿势的识别方法，其特征在于，步骤包括：S1,获取读写场景中的原始图像、桌面或书本的图像信息；S2,对读写元素的原始图像进行算法检测，依据坐标认定方法得出桌面、书本和人脸的空间三维坐标；S3,利用已知物体在三维空间的坐标，在图像上一一对应的图像像素坐标以及相机内参数进而求解出此时相机相对于空间已知物体的外参数，即旋转向量以及平移向量；S4，对旋转向量进行数据分析处理，求解出此时相机相对于已知物体空间坐标的三维姿态欧视角；S5，依据物体的三维姿态欧视角判断读写姿势和读写距离是否符合标准。2.如权利要求1所述的读写场景读写姿势的识别方法，其特征在于：人脸检测将图片按照固定要求代入训练好的人脸检测模型，获得左右眼、鼻子、两个嘴角的5个点的位置以及为人脸的可信度。3.如权利要求2所述的读写场景读写姿势的识别方法，其特征在于：所述三维欧视角包括偏航角Yaw，滚轮角Roll，俯仰角Pitch，判断姿势错误的情况包括：Yaw在[0,30)区间内；Yaw在[30,45)区间内，并且Roll小于-10；Yaw大于等于45，并且Roll小于0；Yaw在[-10,0)区间内，并且Roll小于-3；Yaw在[-40,-30)区间内，并且Roll小于-5；Yaw在[-30,-10)区间内，并且Roll小于-10；Yaw大于-40，并且Roll小于-30。4.如权利要求1所述的读写场景读写姿势的识别方法，其特征在于：确定桌面、书本和人脸的空间三维坐标之前，需要先得出相机的内参数，所述相机的内参数包括基本参数和畸变系数变量，所述基本参数包括图像光轴主点，X,Y方向焦距，所述畸变系数向量包括切向畸变系数和径向...

【专利技术属性】
技术研发人员：覃端峰，冯小娇，
申请(专利权)人：火石信科广州科技有限公司，
类型：发明
国别省市：广东,44