监测牙刷位置的方法及其牙刷和设备技术

本发明专利技术涉及智能牙刷技术领域，具体来说是一种监测牙刷位置的方法及其牙刷和设备，包括如下步骤：获取包含人脸的图像以及包含人脸和牙刷的图像；利用所述包含人脸的图像检测人脸位置并建立人脸坐标系；利用所述包含人脸和牙刷的图像检测牙刷的位置；分析牙刷在所述人脸坐标系中的位置并判断牙刷所在的第一分类区域；获取牙刷的姿态数据并判断牙刷所在的第二分类区域。本发明专利技术能根据包含人脸的图像以及包含人脸和牙刷的图像获得牙刷所在的第一分类区域；还能通过多轴传感器和分类器获得牙刷所在的第二分类区域，从而得到牙刷的位置，并能判断是否属于有效刷牙并统计在每个第二分类区域的有效刷牙时间，从而能够指引用户对口腔空间进行全面的清洁。

Methods of monitoring the position of toothbrush and its toothbrush and equipment

The invention relates to the technical field of intelligent toothbrush, in particular to a method for monitoring the position of toothbrush and a toothbrush and a device thereof, which comprises the following steps: obtaining an image including a face and an image including a face and a toothbrush; detecting a face position and establishing a face coordinate system with the image including a face; detecting a toothbrush position with the image including a face and a toothbrush; and Analyze the position of the toothbrush in the face coordinate system and determine the first classification area where the toothbrush is located; obtain the posture data of the toothbrush and determine the second classification area where the toothbrush is located. The invention can obtain the first classification area of the toothbrush according to the image including the face and the image including the face and the toothbrush, and can obtain the second classification area of the toothbrush through the multi-axis sensor and the classifier, so as to obtain the position of the toothbrush, judge whether it belongs to the effective toothbrush and count the effective toothbrush time in each second classification area, so as to guide the user Clean the oral space thoroughly.

【技术实现步骤摘要】
监测牙刷位置的方法及其牙刷和设备
本专利技术涉及智能牙刷
，具体来说是一种监测牙刷位置的方法及其牙刷和设备。
技术介绍
我国专利公开号CN107811722A公开了一种智能电动牙刷、牙刷空间姿态获取系统及方法，该方法对电动牙刷和人脸建立统一的空间三维坐标系，将牙刷空间初始位置投影到基准投影平面上，获取牙刷投影，并计算人脸投影和牙刷投影在基准投影平面上的相对位置，获取牙刷相对于人体牙齿方位的初始位置数据。但是现有技术在对牙刷位置的获取过程中，可能出现不够准确的问题。ManonKok,JeroenD.HolyandThomasB.Schon在“UsingInertialSensorsforPositionandOrientationEstimation”一文中公开了使用惯性传感器的位置和方向估计方法，YiSun，XiaogangWang,XiaoouTang在“DeepConvolutionalNetworkCascadeforFacialPointDetection”一文中公开了一种基于级联卷积神经网络的人脸特征点定位方法，能够通过卷积神经网络实现人脸图像的识别及特征点的定位，NannanWang，XinboGao，DachengTao，XuelongLi在“FacialFeaturePointDetection:AComprehensiveSurvey”一文中公开了人脸特征点检测的方法，2015年5月28日发布的期刊Nature第521期436–444页刊载了名为深度学习的文章，其也对人工神经网络的内容进行了阐述。因此，本专利技术在结合上述现有技术的基础上，设计了一种新型的监测牙刷位置的方法及其牙刷和设备。
技术实现思路
本专利技术的目的在于解决现有技术的不足，提供一种监测牙刷位置的方法及其牙刷和设备，更为准确地获取刷牙时的牙刷位置，以便于统计刷牙时对牙齿区域内各部位的清洁时间是否足够。为了实现上述目的，设计一种监测牙刷位置的方法，所述的方法包括如下步骤：（1）获取包含人脸的图像以及包含人脸和牙刷的图像；（2）利用所述包含人脸的图像检测人脸位置并建立人脸坐标系；（3）利用所述包含人脸和牙刷的图像检测牙刷的位置；（4）分析牙刷在所述人脸坐标系中的位置并判断牙刷所在的第一分类区域；（5）获取牙刷的姿态数据并判断牙刷所在的第二分类区域。优选地，所述方法还包括：（6）通过压力传感器判断是否属于有效刷牙并统计在每个第二分类区域的有效刷牙时间。优选地，所述方法还包括：（7）在终端设备上输出结果以供用户使用。优选地，所述方法还包括：通过人工神经网络、SVM分类器或逻辑回归方法判断牙刷所在的第二分类区域。优选地，所述判断牙刷所在的第二分类区域包括：将所述第一分类区域采用向量表达，将所述牙刷的姿态数据进行归一化，并将所述牙刷所在的第一分类区域的向量与经过归一化的牙刷的姿态数据一同输入到人工神经网络的输入层，经过至少一层隐藏层，并最终得到为Softmax层的输出层，从而给出牙刷的当前姿态属于某个第二分类区域的概率。优选地，步骤（2）进一步包括检测人脸朝向，所述人脸朝向包含头部的俯仰、横滚和航向角三种姿态角。优选地，所述人脸位置由面部多个特征点标定，从所述人脸坐标系中的特征点可以判断牙齿所在的位置。优选地，所述检测牙刷的位置是通过用于目标检测的深度神经网络完成。优选地，所述深度神经网络是SSD网络，所述SSD网络以负责特征提取的卷积神经网络在不同层级的输出作为输入，将人脸图像预先分成8x8的网格，在每个格点上设置四个不同长宽比的先验框，针对每个先验框，输出层给出在所述的先验框附近牙刷存在的可能性，以及当存在牙刷时，牙刷相对于所述的先验框的x,y方向的位移，及在长宽上的偏差，最后通过非极大值抑制的方式筛选出最有可能存在牙刷的位置，并通过标注过的数据集进行训练，所述的标注过的数据集中的每张人脸图像中均标注出了牙刷的位置。优选地，所述检测牙刷的位置是通过设置标识的方法来判断的。优选地，所述牙刷的姿态数据是通过多轴传感器获取的。本专利技术还涉及一种采用所述的监测牙刷位置的方法的设备，所述设备包括牙刷、图像采集单元和处理器，所述牙刷上设有多轴传感器。本专利技术再涉及一种采用所述的监测牙刷位置的方法的牙刷，所述牙刷包括图像采集单元、多轴传感器和处理器。优选地，所述牙刷为电动牙刷，所述图像采集单元设置在所述电动牙刷的附件上。专利技术的有益效果本专利技术所提供的监测牙刷位置的方法及其牙刷和设备的优点包括但不限于：本专利技术所提供的监测牙刷位置的方法及其牙刷和设备，能根据包含人脸的图像以及包含人脸和牙刷的图像获得牙刷所在的第一分类区域，从而获取刷牙时的牙刷位置以便于统计刷牙时对牙齿区域内各部位的清洁时间是否足够；优选地，还能进一步通过多轴传感器和分类器获得牙刷所在的第二分类区域，从而准确得到牙刷所处的位置，并能优选地结合牙刷上设有的压力传感器，判断是否属于有效刷牙并统计在每个第二分类区域的有效刷牙时间，从而能够指引用户对口腔空间进行全面而有效的清洁。附图说明图1是一实施方式中本专利技术的用于监测牙刷位置的设备的示意图；图2是一实施方式中本专利技术监测牙刷位置的方法的流程示意图；图3是一实施方式中本专利技术的卷积神经网络的示意图；图4是一实施方式中本专利技术的SSD网络的示意图1；图5是一实施方式中本专利技术的SSD网络的示意图2；图6是一实施方式中本专利技术的SSD网络的示意图3；图7是一实施方式中本专利技术通过人工神经网络输出第二分类区域的示意图；图中：1.牙刷2.嵌设有图像采集单元的镜子。具体实施方式下面结合附图对本专利技术作进一步说明，这种装置及方法的结构和原理对本专业的人来说是非常清楚的。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。参见图1，本实施方式中，所述的用于所述的监测牙刷位置的方法的设备，包括用于采集用户刷牙时的人脸的图像以及包含人脸和牙刷的图像的图像采集单元，用于进一步获取牙刷的位置数据的多轴传感器；用于根据用户刷牙时的人脸的图像检测人脸位置和建立人脸坐标系，并根据包含人脸和牙刷的图像输出牙刷所在的第一分类区域，而后再根据多轴传感器的数据输出牙刷所在的第二分类区域的处理器。其中图像采集单元可以采用例如摄像机、带有摄像功能的手机等，优选地，所述的图像采集单元设置在所述电动牙刷的附件上，例如电动牙刷的底座，又或者图像采集单元设置也能设置于玻璃上。所述的多轴传感器可以采用九轴IMU传感器，九轴IMU传感器能内置于牙刷内，且九轴IMU传感器以及图像采集单元分别通过无线或有线的方式实现与处理器的信号连接，例如通过蓝牙或WiFi实现连接。此外，在所述的牙刷上还设有用于检测牙刷的刷头所受的压力的压力传感器，处理器将压力传感器的数值在设定的范围内的时间认定为牙刷在当前所处的第二分类区域的有效刷牙时间。本实施方式中还提供一种采用所述的监测牙刷位置本文档来自技高网...

【技术保护点】
1.一种监测牙刷位置的方法，其特征在于，所述的方法包括如下步骤：/n（1）获取包含人脸的图像以及包含人脸和牙刷的图像；/n（2）利用所述包含人脸的图像检测人脸位置并建立人脸坐标系；/n（3）利用所述包含人脸和牙刷的图像检测牙刷的位置；/n（4）分析牙刷在所述人脸坐标系中的位置并判断牙刷所在的第一分类区域；/n（5）获取牙刷的姿态数据并判断牙刷所在的第二分类区域。/n

【技术特征摘要】
1.一种监测牙刷位置的方法，其特征在于，所述的方法包括如下步骤：
（1）获取包含人脸的图像以及包含人脸和牙刷的图像；
（2）利用所述包含人脸的图像检测人脸位置并建立人脸坐标系；
（3）利用所述包含人脸和牙刷的图像检测牙刷的位置；
（4）分析牙刷在所述人脸坐标系中的位置并判断牙刷所在的第一分类区域；
（5）获取牙刷的姿态数据并判断牙刷所在的第二分类区域。


2.根据权利要求1所述的监测牙刷位置的方法，其特征在于，所述方法还包括：
（6）通过压力传感器判断是否属于有效刷牙并统计在每个第二分类区域的有效刷牙时间。


3.根据权利要求1-2中任一项所述的监测牙刷位置的方法，其特征在于，所述方法还包括：
（7）在终端设备上输出结果以供用户使用。


4.根据权利要求1-3中任一项所述的监测牙刷位置的方法，其特征在于，通过人工神经网络、SVM分类器或逻辑回归方法判断牙刷所在的第二分类区域。


5.根据权利要求1-4中任一项所述的监测牙刷位置的方法，其特征在于，所述判断牙刷所在的第二分类区域包括：将所述第一分类区域采用向量表达，将所述牙刷的姿态数据进行归一化，并将所述牙刷所在的第一分类区域的向量与经过归一化的牙刷的姿态数据一同输入到人工神经网络的输入层，经过至少一层隐藏层，并最终得到为Softmax层的输出层，从而给出牙刷的当前姿态属于某个第二分类区域的概率。


6.根据权利要求1-5中任一项所述的监测牙刷位置的方法，其特征在于，步骤（2）进一步包括检测人脸朝向，所述人脸朝向包含头部的俯仰、横滚和航向角三种姿态角。


7.根据权利要求1-6中任一项所述的监测牙刷位置的方法，...

【专利技术属性】
技术研发人员：林俊濠，崔彧玮，
申请(专利权)人：赫比上海家用电器产品有限公司，珊口上海智能科技有限公司，
类型：发明
国别省市：上海;31