一种基于面部姿态图像估计的桌面升降控制方法技术

本发明专利技术提供了一种基于面部姿态图像估计的桌面升降控制方法，包括：根据用户图像，获取带遮挡头部彩色图像和有空洞头部深度图像；将带遮挡头部彩色图像和有空洞头部深度图像输入至人脸图像融合去噪模块，进行去噪得到去遮挡头部彩色图像和去空洞头部深度图像；检测模块得到二维热力图；通过姿态估计模块将二维热力图转化为关键点二维坐标；将关键点二维坐标与去空洞头部深度图像结合得到关键点二维坐标的深度信息，并输入多层感知机网络，得到头部姿态图像和关键点三维坐标；通过控制端内置的预存关键点三维坐标和桌面状态之间的数据进行比较，得到校正数据；控制端根据校正数据对桌面状态进行控制。本发明专利技术实施例使对桌面状态进行智能控制。态进行智能控制。态进行智能控制。

【技术实现步骤摘要】
一种基于面部姿态图像估计的桌面升降控制方法


[0001]本专利技术涉及图像数据处理
，具体而言，涉及一种基于面部姿态图像估计的桌面升降控制方法。

技术介绍

[0002]自古以来，人们的劳动工作就是一种运动，可以锻炼人的体质。不过随着现代信息技术的飞速发展，互联网技术已普及全球和各个领域，越来越多的人开始坐着工作，而且一坐就是一整天，传统的工作平台实际上就是一种办公桌，此种办公桌的高度一般是不可以调节的，而且很多办公桌都是采购的标准，办公桌由于高度统一，因而通用性较差，无法满足不同身高的使用者的具体需求。如果办公桌的高度太高或者太低，使用者总会或多或少地觉得不舒服，比如腰酸背痛或者手臂酸痛等等，长期使用会对使用者的健康带来不良影响。但是大多数情况下，使用者不得不长期忍受与自己身高不匹配的办公桌，所能做得最多也就是调节一下椅子的高度；如果连椅子的高度也不可以调节，那就只能在椅子上增加一个垫子。 此种方式可以在一定程度上有所改善，但是改善有限。近些年来，源于人们生活水平的提升和对生活品质需求的提升，办公桌由固定式发展出了可手控升降的办公桌。目前的手动控制升降的办公桌一般配备有一个控制板，控制板上设有上 / 下按键。只要按动上 / 下按键，电动推杆就会驱动桌面在一定范围内上升或者下降，以更好地满足用户的需求。这种办公桌虽然原理较简单，适用性也比较强，可以适合不同人群对办公桌使用高度的需求，好像因为可以升降，使一切都变得简单了。但是此类手动控制升降的办公桌，对于一般人的使用习惯只能控制到一个自己觉的合适的高度，但无法确定此时的高度是否为符合自己健康有利的科学高度，也无法保证用眼距离是否都在一个合理的范围内，因此需要改进。
[0003]根据人体工学的研究发现，用户的不同行为所需保证良好坐姿的桌面高度和用眼距离都是不同的，基于人脸姿态估计的任务自适应智能升降，很完美地解决了此类问题。本系统通过建立神经网络模型，并使用人脸姿态估计和行为识别算法，通过摄像头实时拍摄用户的行为，当用户的头部姿态发生转变时实时的提醒用户是否升降或者调整桌面的倾斜度，根据人体工学将桌面升降到符合用户健康的有利高度，因而不但使用方便、更加智能化还有益于使用者的健康和舒适。同时，由于用户在工作可能佩戴口罩等遮挡物，使得大部分人脸及关键点被遮挡，无法完成准确的检测。

技术实现思路

[0004]因此，本专利技术实施例提供一种基于面部姿态图像估计的桌面升降控制方法，实现对桌面状态的智能控制。
[0005]为解决上述问题，本专利技术提供一种基于面部姿态图像估计的桌面升降控制方法，包括：步骤S100：通过前端图像采集设备实时采集用户图像；步骤S200：根据所述用户图像，获取带遮挡头部彩色图像和有空洞头部深度图像；步骤S300：将所述带遮挡头部彩色图像和所述有空洞头部深度图像输入至人脸图像融合去噪模块，进行去噪得到去遮挡头部彩色
图像和去空洞头部深度图像；步骤S400：将所述去遮挡头部彩色图像和所述去空洞头部深度图像发送至检测模块，并通过检测模块得到二维热力图；步骤S500：将所述二维热力图发送至姿态估计模块，通过所述姿态估计模块将所述二维热力图转化为关键点二维坐标；步骤S600：将所述关键点二维坐标与所述去空洞头部深度图像结合得到所述关键点二维坐标的深度信息，并输入多层感知机网络，得到头部姿态图像和关键点三维坐标；步骤S700：将所述头部姿态图像和所述关键点三维坐标发送至控制端，通过所述控制端内置的预存关键点三维坐标和桌面状态之间的数据进行比较，得到校正数据；步骤S800：所述控制端根据所述校正数据对桌面状态进行控制。
[0006]与现有技术相比，采用该技术方案所达到的技术效果：由于随着互联网的发展，出现了越来越多的室内办公久坐的职业，且往往一坐就是一整天，传统的办公桌都是固定高度，或者可以通过桌脚的升降对桌面的高度进行调节但是对于一般人的使用习惯只能控制到一个自己觉的合适的高度，但无法确定此时的高度是否为符合自己健康有利的科学高度，也无法保证用眼距离是否都在一个合理的范围内。因此本申请通过前端图像采集设备实时采集用户图像，且通过用户图像对桌面状态进行调整，从而使桌面的高度调整至符合用户的科学高度，具体根据用户图像，获取带遮挡头部彩色图像和有空洞头部深度图像后，将带遮挡头部彩色图像和有空洞头部深度图像输入至人脸图像融合去噪模块，进行去噪得到去遮挡头部彩色图像和去空洞头部深度图像，再将去遮挡头部彩色图像和去空洞头部深度图像发送至检测模块，并通过检测模块得到二维热力图，接着将二维热力图发送至姿态估计模块，通过姿态估计模块将二维热力图转化为关键点二维坐标，其次将关键点二维坐标与去空洞头部深度图相结合得到关键点二维坐标的深度信息，并输入多层感知机网络，得到头部姿态图像和关键点三维坐标，最后将头部姿态图像和关键点三维坐标发送至控制端，通过控制端内置的预存关键点三维坐标和桌面状态之间的数据进行比较，得到校正数据，且通过校正数据对桌面的状态进行控制，从而实现通过用户姿态实现桌面状态的自动转换。
[0007]在本专利技术的一个实例中，所述步骤S200具体包括：步骤S210：所述人脸图像融合去噪模块主体使用transformer，分别对所述带遮挡头部彩色图像和所述有空洞头部深度图像进行分块并使用不同的线性映射层获得第一彩色图像特征向量和第一深度图像特征向量；步骤S220：通过局部自注意力机制对所述带遮挡头部彩色图像和所述有空洞头部深度图像的图像特征进行融合，并结合所述带遮挡头部彩色图像和所述有空洞头部深度图像的位置编码信息输入编码器模块中，分离出第二彩色图像特征向量和第二深度图像特征向量；步骤S230：将所述第二彩色图像特征向量送入至彩色图像解码器模块，将所述第二深度图像特征向量送入至深度图像解码器模块；步骤S240：将所述第一彩色图像特征向量和所述第二彩色图像特征向量结合得到所述去遮挡头部彩色图像，将所述第一深度图像特征向量和所述第二深度图像特征向量结合得到所述去空洞头部深度图像。
[0008]与现有技术相比，采用该技术方案所达到的技术效果：通过将人脸图像融合去噪模块主体使用transformer，且分别对带遮挡头部彩色图像和有空洞头部深度图像进行分块并使用不同的线性映射层获得第一彩色图像特征向量和第一深度图像特征向量，且通过局部自注意力机制分离出第二彩色图像特征向量和第二深度图像特征向量，通过第一彩色图像特征向量和第二彩色图像特征向量结合得到去遮挡头部彩色图像，将第一深度图像特
征向量和第二深度图像特征向量结合得到去空洞头部深度图像，从而提高获得的带遮挡头部彩色图像和有空洞头部深度图像的准确度。
[0009]在本专利技术的一个实例中，还包括：人脸图像融合去噪模块训练方法，所述人脸图像融合去噪模块训练方法具体包括：通过随机掩码对图像进行遮挡处理，生成所述带遮挡头部彩色图像和所述有空洞头部深度图像，并通过生成的所述带遮挡头部彩色图像和所述有空洞头部深度图像进行步骤S210
‑
S240，从而实现训练。
[0010]与现有技术相比，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于面部姿态图像估计的桌面升降控制方法，其特征在于，包括：步骤S100：通过前端图像采集设备实时采集用户图像；步骤S200：根据所述用户图像，获取带遮挡头部彩色图像和有空洞头部深度图像；步骤S300：将所述带遮挡头部彩色图像和所述有空洞头部深度图像输入至人脸图像融合去噪模块，进行去噪得到去遮挡头部彩色图像和去空洞头部深度图像；步骤S400：将所述去遮挡头部彩色图像和所述去空洞头部深度图像发送至检测模块，并通过检测模块得到二维热力图；步骤S500：将所述二维热力图发送至姿态估计模块，通过所述姿态估计模块将所述二维热力图转化为关键点二维坐标；步骤S600：将所述关键点二维坐标与所述去空洞头部深度图像结合得到所述关键点二维坐标的深度信息，并输入多层感知机网络，得到头部姿态图像和关键点三维坐标；步骤S700：将所述头部姿态图像和所述关键点三维坐标发送至控制端，通过所述控制端内置的预存关键点三维坐标和桌面状态之间的数据进行比较，得到校正数据；步骤S800：所述控制端根据所述校正数据对桌面状态进行控制。2.根据权利要求1所述的基于面部姿态图像估计的桌面升降控制方法，其特征在于，所述步骤S200具体包括：步骤S210：所述人脸图像融合去噪模块主体使用transformer，分别对所述带遮挡头部彩色图像和所述有空洞头部深度图像进行分块并使用不同的线性映射层获得第一彩色图像特征向量和第一深度图像特征向量；步骤S220：通过局部自注意力机制对所述带遮挡头部彩色图像和所述有空洞头部深度图像的图像特征进行融合，并结合所述带遮挡头部彩色图像和所述有空洞头部深度图像的位置编码信息输入编码器模块中，分离出第二彩色图像特征向量和第二深度图像特征向量；步骤S230：将所述第二彩色图像特征向量送入至彩色图像解码器模块，将所述第二深度图像特征向量送入至深度图像解码器模...

【专利技术属性】
技术研发人员：项乐宏，夏银水，李裕麒，王翀，蓝艇，
申请(专利权)人：乐歌人体工学科技股份有限公司，
类型：发明
国别省市：