一种基于智能距离感知技术的婴儿监护方法技术

本发明专利技术公开了一种基于智能距离感知技术的婴儿监护方法，对婴儿周围的环境进行取景；对采集的图像中婴儿分割出来；判定分割出来的婴儿相对于床的距离。本申请提出了利用带池化索引的方法对图像分割算法中的上采样部分进行改进，使得在上采样过程中，可以获得更多的特征信息，以提高语义分割在图像的边界轮廓上的精准性。实验表明，提出的带池化索引的方法在边缘轮廓的准确性上优于现在较为流行的语义分割算法；同时利用立体视觉算法，智能感知婴儿在真实场景中的实际距离，提高对婴儿的监护效率。

An infant monitoring method based on intelligent distance sensing technology

【技术实现步骤摘要】
一种基于智能距离感知技术的婴儿监护方法
本专利技术涉及计算机视觉
，具体的内容涉及到立体视觉和图像分割领域，特别涉及一种基于智能距离感知技术的婴儿监护方法。
技术介绍
随着"二胎"政策的开放，用更加智能的技术以减轻父母劳累同时减少婴儿危险的需求日益强烈。由于婴儿身体器官尚未发育完全，其自主能力差且无法用言语表达情感，同时由于父母无法时刻陪伴在婴儿身边，婴儿受到意外的风险较高，因此，本文提出了一种利用相机基于立体视觉的婴儿智能监护方案。我们需要加强对婴儿的监护以减少危险发生。目前市场上的婴儿监护都是简单的通过传感器或摄像头与手机等设备进行远程连接。父母通过终端设备观察婴儿的情况，通过传感器，对温度、湿度、空气质量进行监控检测。有的通过摄像头这种非接触式的监护有防止儿童蹬被子：利用红外透视镜，通过儿童身上盖着被子与没有盖被子(或者部分盖被子)时发出的红外能量差异，对儿童身上盖被子的状态进行判断。知名的婴儿监护软件BabbyCam思路是利用图像识别技术检测婴儿人脸是否出现在婴儿床上。父母也可以通过手机APP即时观察到婴儿的实时状态。现实中防止婴儿翻出床沿，目前主要有利用摄像头，监护婴儿是否在床上，主体的思路是：周期性地保存摄像头所捕获的图像，比较相邻两张图像的差异。当噪声点数达到一定的程度，发出报警信息。还有一种方案是在床体放置红外感应装置。对婴儿试图翻出婴儿床进行预警。但这些对于预防婴儿翻出床沿的方案有的起不到预防的作用，有的成本太高，不适合应用的推广。还有提出利用传统图像分割的方法，将婴儿与背景分割出来，然后再根据分割后的婴儿图像与婴儿床的空间距离关系来进行婴儿监护。为了将目标从图像区域中分离出来，传统图像分割主要的方法有基于边缘的分割、基于图论的分割和基于聚类的分割。1)基于边缘的分割。基于图像内不同物体边界的轮廓像素点灰度值两边具有明显的变化的原理，通过灰度图像的二阶导数是否过零点来判断图像中物体的轮廓。常用的边缘检测微分算子有Sobel算子、Laplace算子，但是这种方法不能保证物体边缘分割的连续性或是形成闭环，对图像中的小区域分割的效果也不好。2)基于图论的分割。利用图论的方法，将图像看成是带权重的无方向图，将图像分为不同的子集，通过计算权重图，不断迭代权重。GraphCut算法是在此基础上又加上了两个叫终端顶点的顶点，将分割问题转化为求最小割的问题。还有如利用图像的灰度和区域边界信息的GrabCut等图论的算法。3)基于聚类的分割。是先将图像中的像素分割为超像素块，然后再进行区域融合。基于核密度梯度估计的Meanshift算法，通过建立一个高维的球，通过Meanshift向量不断迭代到图像密度最大的地方，在图像上形成超像素块。SLIC(simplelineariterativeclustering)算法是K-means算法在图像分割中的应用，它将图像中的像素点变为五维的向量，通过图像中像素的距离以及像素颜色相似大小来构造距离的度量标准。然而，聚类算法对初始点的选择较敏感，分割效果会受到影响，抗干扰性差。
技术实现思路
本专利技术提出了一种基于智能距离感知技术的婴儿监护方法，目的是优化图像语义分割方法，利用立体视觉的方法，提高婴儿监护系统的效率。为实现本专利技术的目的，本专利技术提供的一种基于智能距离感知技术的婴儿监护方法，包括如下步骤：步骤一：对婴儿周围的环境进行取景；步骤二：对采集的图像中婴儿分割出来；步骤三：判定分割出来的婴儿相对于床的距离，从而判断婴儿是否有跌落的危险；当判定距离小于预设阈值的时候，进行报警；其中，通过语义分割方法对采集的图像进行分割。进一步地，通过语义分割方法对采集的图像进行分割是基于全卷积神经网络的编码器-解码器结构，通过改进深度卷积神经网络，利用VGG-19网络的卷积池化部分作为图像的特征提取器，改进带池化索引结构，对婴儿图像进行语义分割。进一步地，所述全卷积神经网络分为两个阶段，即编码阶段和解码阶段，在编码阶段利用深度卷积神经网络VGG-19模型的架构，去除网络中的全连接层，保留池化过程中对于最大池化位置保存的信息；每一层的Encoder都对应着一层Deconder；在解码阶段，利用编码阶段保存的最大池化信息，还原对应位置的最大值信息，通过这种方式完成对图像的上采样，将特征图的分辨率放大至和原图像同样的大小，在解码器网络的后端接入一个softmax分类器对每个像素生成类别概率，形成一个和类别数相等的通道数概率图，预测网络输出概率值最大所对应的类别。进一步地，在上采样过程中，通过池化索引的方式，将特征图中对应索引位置的权值设为与待上采样相等的值，在对应池化核的其他位置，将权值设为最大特征值的一半，保证了图像通过池化过滤出最大特征位置信息的同时，将最大特征位置周围的特征也进行了还原。进一步地，使用双目相机的方式进行测距；其中，双目相机在世界空间坐标系下X-O-Y平面的投影的几何结构中，OR、OT是两个相机的光心，空间中任意一点P在两像平面的投影点为p、p′，XR、XT为其到像平面原点的距离，两相机之间距离，即基线长度为b，Z为P点到基线的距离，F为光心到像平面的距离，即焦距大小，可知ΔPpp′～ΔPOROT，所以有以下关系：令D＝XR-XT，可得：同理，可以得到P点的其他坐标信息：其中，(xR，yR)和(xT，yT)分别为空间P点在双目相机的相平面上的投影点坐标，D为两张图像的视差(disparity)。通过视差可以计算物体距离相机的距离；然后对相机进行标定，标定主要是为了获取相机的内参数、外参数以及畸变系数；通过进行标定建立相机成像的几何模型，来计算物体的空间三维信息，立体标定是计算空间上位置不同的两个相机之间的几何关系，得到相机间旋转和平移的对应关系，最终得到物体的三维空间信息。进一步地，利用MATLAB工具箱进行标定，计算得出相机的内参矩阵、径向畸变、切向畸变、旋转矩阵、平移向量，标定过程中，选取的标定板均匀分布在图像的各个角落，可以有效的计算出透镜的径向畸变和切向畸变。进一步地，通过下述方法进行图像中不同物体距离的计算：首先通过双目相机得到空间物体的具体坐标值：其中，uL、uR表示左右相机距离各像平面左边缘的像素距离；fx是通过标定的内参值；d＝uL-uR。b为两相机的光心距离；以左相机光心为世界坐标系原点，u、v表示像素坐标系下点的坐标；uo、vo为左相机图像平面的中心原点在像素坐标系下的坐标值；通过联立方程组，转化为齐次坐标，以矩阵的形式得到:其中X＝W*Xw,Y＝W*Yw,Z＝W*Zw，由于双目相机间的旋转矩阵T在x方向的数值表示相机2在相机1的水平方向的平移量，有b＝-Tx。令u0、u0′为左右相机图像平面的原点水平分量在像素坐标系下的坐标值，由于两个数值的差值很小，因此近似为0，所以得到下列等式：令则可以推出：通常Q被称为重投影矩阵，通过4×4的重投影矩阵Q，可以将本文档来自技高网...

【技术保护点】
1.一种基于智能距离感知技术的婴儿监护方法，其特征在于，包括如下步骤：/n步骤一：对婴儿周围的环境进行取景；步骤二：对采集的图像中婴儿分割出来；步骤三：判定分割出来的婴儿相对于床的距离，从而判断婴儿是否有跌落的危险；当判定距离小于预设阈值的时候，进行报警；其中，通过语义分割方法对采集的图像进行分割。/n

【技术特征摘要】
1.一种基于智能距离感知技术的婴儿监护方法，其特征在于，包括如下步骤：
步骤一：对婴儿周围的环境进行取景；步骤二：对采集的图像中婴儿分割出来；步骤三：判定分割出来的婴儿相对于床的距离，从而判断婴儿是否有跌落的危险；当判定距离小于预设阈值的时候，进行报警；其中，通过语义分割方法对采集的图像进行分割。


2.根据权利要求1所述的一种基于智能距离感知技术的婴儿监护方法，其特征在于，通过语义分割方法对采集的图像进行分割是基于全卷积神经网络的编码器-解码器结构，通过改进深度卷积神经网络，利用VGG-19网络的卷积池化部分作为图像的特征提取器，改进带池化索引结构，对婴儿图像进行语义分割。


3.根据权利要求2所述的一种基于智能距离感知技术的婴儿监护方法，其特征在于，所述全卷积神经网络分为两个阶段，即编码阶段和解码阶段，在编码阶段利用深度卷积神经网络VGG-19模型的架构，去除网络中的全连接层，保留池化过程中对于最大池化位置保存的信息；每一层的Encoder都对应着一层Deconder；在解码阶段，利用编码阶段保存的最大池化信息，还原对应位置的最大值信息，通过这种方式完成对图像的上采样，将特征图的分辨率放大至和原图像同样的大小，在解码器网络的后端接入一个softmax分类器对每个像素生成类别概率，形成一个和类别数相等的通道数概率图，预测网络输出概率值最大所对应的类别。


4.根据权利要求3所述的一种基于智能距离感知技术的婴儿监护方法，其特征在于，在上采样过程中，通过池化索引的方式，将特征图中对应索引位置的权值设为与待上采样相等的值，在对应池化核的其他位置，将权值设为最大特征值的一半，保证了图像通过池化过滤出最大特征位置信息的同时，将最大特征位置周围的特征也进行了还原。


5.根据权利要求3所述的一种基于智能距离感知技术的婴儿监护方法，其特征在于，使用双目相机的方式进行测距；其中，双目相机在世界空间坐标系下X-O-Y平面的投影的几何结构中，OR、OT是两个相机的光心，空间中任意一点P在两像平面的投影点为p、p′，XR、XT为其到像平面原点的距离，两相机之间距离，即基线长度为b，Z为P点到基线的距离，F为光心到像平面的距离，即焦距大小，可知ΔPpp′～ΔPOROT，所以有以下关系：



令D＝XR-XT，可得：



同理，可以得到P点的其他坐...

【专利技术属性】
技术研发人员：吕森，陈仁海，王晋超，冯志勇，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12