一种基于视觉的儿童食指指点表达需求行为观测系统技术方案

本发明专利技术公开了一种基于视觉的儿童食指指点表达需求行为观测系统；包括控制模块，所述控制模块上电性连接有驱动模块，所述驱动模块上电性连接有第一摄像机和第二摄像机，所述第一摄像机和所述第二摄像机上电性连接有图像处理模块，所述图像处理模块上电性连接有数据处理模块，还包括有两把椅子、一个玩具和一张桌子，所述桌子放置在检测空间的内部，两把所述椅子放置在所述桌子的两端，所述玩具放置在所述桌子的上部，所述第一摄像机和所述第二摄像机分别设置在所述桌子的正上方和后侧方；本发明专利技术是基于多个传感器视觉系统将更有利于综合捕捉行为细节，自动检测判断儿童食指指点表达需求的行为，从而精准评价儿童食指指点表达需求技能。需求技能。需求技能。

【技术实现步骤摘要】
一种基于视觉的儿童食指指点表达需求行为观测系统


[0001]本专利技术属于儿童需求行为观测
，具体涉及一种基于视觉的儿童食指指点表达需求行为观测系统。

技术介绍

[0002]食指指点行为在普通儿童发育过程中自然发展形成，灵活应用于社交沟通场景。由于该行为发展的自然而然，常常被父母或带养人忽略。而在部分儿童中食指指点行为出现发育延迟或障碍，是早期识别社交行为发育异常的重要指标。食指指点行为是一种通常在社交活动中，用来将自己或他人的注意力引导向某物的手势，是人类独有的、通用的手势，是语言交流的基础。包含手指指向，并结合视觉在人与物品中的转换获取他人参与儿童对某一事物的兴趣，形成共同注意。在全人与人的互动中，测评人员很难同时捕捉儿童手部姿势、头部、眼神转换信息，准确评价指点行为完成水平。
[0003]因此，基于多传感器视觉系统将更有利于综合捕捉行为细节，利用手势识别技术、指向检测技术、视线估计技术，自动检测判断儿童食指指点表达需求的行为，从而精准评价儿童食指指点表达需求技能。

技术实现思路

[0004]本专利技术的目的在于提供一种基于视觉的儿童食指指点表达需求行为观测系统，以解决上述
技术介绍
中提出的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种基于视觉的儿童食指指点表达需求行为观测系统，包括控制模块，所述控制模块上电性连接有驱动模块，所述驱动模块上电性连接有第一摄像机和第二摄像机，所述第一摄像机和所述第二摄像机上电性连接有图像处理模块，所述图像处理模块上电性连接有数据处理模块，所述数据处理模块与所述控制模块电性连接，所述控制模块用于实现对系统进行控制调节，并且实现对数据信息进行计算处理，所述驱动模块用于实现对所述第一摄像机和所述第二摄像机的运行进行驱动，所述处理模块用于实现对数据信息进行计算处理，所述图像处理模块用于实现对所述第一摄像机和所述第二摄像机采集的图像信息进行处理；
[0006]还包括有两把椅子、一个玩具和一张桌子，所述桌子放置在检测空间的内部，两把所述椅子放置在所述桌子的两端，所述玩具放置在所述桌子的上部，所述第一摄像机和所述第二摄像机分别设置在所述桌子的正上方和后侧方，所述玩具是医师用来吸引儿童注意力，进而触发食指指点表达需求行为，所述第一摄像机和所述第二摄像机用于拍摄记录下整个范式评估过程，所述第二摄像机的拍摄视频用于食指指点表达需求范式中检测医师头部位置和儿童视线方向，所述第一摄像机的拍摄视频用于检测所述玩具和儿童手部位置，以及儿童的手势和指向。
[0007]优选的，所述控制模块上电性连接有调压模块，所述调压模块上电性连接有供电模块，所述供电模块采用的是市电网，所述调压模块中包括有降压电路、整流电路、稳压电
路、滤波电路和防浪涌电路，所述降压电路用于实现对所述市电网的高电压进行降低，所述整流电路用于实现对所述市电网的交流电压进行转成直流电压，所述稳压电路和所述滤波电路分别用于实现对电压进行稳定和实现对直流电压中的交流电压进行滤除，所述防浪涌电路用于防止电压冲击峰值过大损坏后续电子设备。
[0008]优选的，所述控制模块上电性连接有通讯模块，所述通讯模块上电性连接有上位机，所述通讯模块用于实现对数据进行上传到所述上位机，完成数据信息的通讯传输，所述通讯模块采用的是无线通讯、光纤通讯和蓝牙通讯中的一种或者多种。
[0009]优选的，所述控制模块上电性连接有辅助模块，所述辅助模块中包括有显示屏、控制按键、声光警示器和存储模块，所述显示屏用于实现对数据信息进行显示，所述控制按键用于实现控制调节操作，所述声光警示器用于在出现异常情况下进行报警，所述存储模块中包括有用于存储系统运行程序体的ROM存储器、用于存储系统运行日志的RAM存储器和用于实现缓冲存储的缓存器。
[0010]优选的，所述图像处理模块中包括有图像特征采集子模块、图像灰度处理子模块、去噪子模块和AI学习子模块，所述AI学习子模块用于学习图像处理技术，使得所述图像特征采集子模块、所述图像灰度处理子模块、所述去噪子模块能够有效的实现对图像进行计算处理。
[0011]优选的，所述数据处理模块中包括有用于实现对数据信息进行接收的采集电路、用于实现对数据信息进行模数转换的转换电路、用于实现对数据信息进行滤除杂波的滤波电路和用于实现对数据信息进行放大的增益电路。
[0012]优选的，当医师使用所述玩具后，并将玩具放置在所述桌子后，检测儿童手指指向与玩具的关系和儿童视线方向与医师眼部的关系，将二者耦合在一起最终判定儿童的食指指点表达需求的行为，且自动监测方法主要分为三个部分，分别为指向识别、视线估计和耦合评估；
[0013]所述第一摄像机用于实现指向识别的检测，且识别的检测方法是对于所述第一摄像机的视频流操作的，用于确定儿童手势和指向；
[0014]所述第一摄像机用于实现指向识别的检测包括有以下步骤：
[0015]S1、目标物检测：首先，采集儿童测试过程中第一摄像机的视频数据，然后标注出儿童手部位置、手势和玩具位置，形成食指指点范式下目标检测数据集，利用自建数据集训练目标检测网络，将训练好的模型对第一摄像机的拍摄视频进行目标检测，获得儿童手部中心位置O和玩具中心位置O1；
[0016]S2、儿童手势识别：在自建目标检测数据集的基础上，进一步对儿童的手势进行标注，将手势类别分为三种，然后，利用卷积神经网络完成对于儿童手势的训练和分类；
[0017]S3、指向信息检测：指向识别结合了手部指向t1和前臂指向t2，手部指向技术是在儿童手部目标检测的基础上，对手部图像中与指向相关的关键点进行检测，从而获得手部指向，两种不同的指向手势，与指向相关的关键点不同，食指指点手势的指向t1为从食指掌指关节到食指指尖；五指张开手势的指向t1为从中指的掌指关节到中指指尖，前臂指向t2定义为从肘关节到腕关节的指向向量，利用基于深度学习的人体骨架点检测方法检测视频中人体骨架点，获得手部指向t1和前臂指向t2；
[0018]S4、意图指向确定：在手部指向t1和前臂指向t2的基础上，将二者构成的扇形区域Z
定义为指向区域，扇形区域Z的角平分线定义为意图指向t，手部识别框中心O与玩具中心O1连线与意图指向向量t的夹角θ，表征儿童指向偏离目标的程度；
[0019]所述第二摄像机的视频流是用于视线估计的检测，用于检测范式评估过程中，儿童的注意力方向；所述第二摄像机的视频流对视线估计检测的方法如下：
[0020]S5、人脸检测：人脸检测技术基于深度神经网络检测出图像中人脸的位置，获得人脸区域的图像；
[0021]S6、基于面部外观的视线估计：视线估计技术利用了基于外观的视线估计方法，获得第二摄像机的图像中的儿童视线方向，该视线方向p结合了儿童的头部姿态和儿童眼部状态，较准确的表示儿童视线方向；
[0022]S7、儿童视线确定：同时，利用人体关键点检测方法获得医师头部位置，儿童眼部中心C与医师头部中心C1位置连线方向与儿童视线方向p与的夹角表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉的儿童食指指点表达需求行为观测系统，包括控制模块，其特征在于：所述控制模块上电性连接有驱动模块，所述驱动模块上电性连接有第一摄像机和第二摄像机，所述第一摄像机和所述第二摄像机上电性连接有图像处理模块，所述图像处理模块上电性连接有数据处理模块，所述数据处理模块与所述控制模块电性连接，所述控制模块用于实现对系统进行控制调节，并且实现对数据信息进行计算处理，所述驱动模块用于实现对所述第一摄像机和所述第二摄像机的运行进行驱动，所述处理模块用于实现对数据信息进行计算处理，所述图像处理模块用于实现对所述第一摄像机和所述第二摄像机采集的图像信息进行处理；还包括有两把椅子、一个玩具和一张桌子，所述桌子放置在检测空间的内部，两把所述椅子放置在所述桌子的两端，所述玩具放置在所述桌子的上部，所述第一摄像机和所述第二摄像机分别设置在所述桌子的正上方和后侧方，所述玩具是医师用来吸引儿童注意力，进而触发食指指点表达需求行为，所述第一摄像机和所述第二摄像机用于拍摄记录下整个范式评估过程，所述第二摄像机的拍摄视频用于食指指点表达需求范式中检测医师头部位置和儿童视线方向，所述第一摄像机的拍摄视频用于检测所述玩具和儿童手部位置，以及儿童的手势和指向。2.根据权利要求1所述的一种基于视觉的儿童食指指点表达需求行为观测系统，其特征在于：所述控制模块上电性连接有调压模块，所述调压模块上电性连接有供电模块，所述供电模块采用的是市电网，所述调压模块中包括有降压电路、整流电路、稳压电路、滤波电路和防浪涌电路，所述降压电路用于实现对所述市电网的高电压进行降低，所述整流电路用于实现对所述市电网的交流电压进行转成直流电压，所述稳压电路和所述滤波电路分别用于实现对电压进行稳定和实现对直流电压中的交流电压进行滤除，所述防浪涌电路用于防止电压冲击峰值过大损坏后续电子设备。3.根据权利要求1所述的一种基于视觉的儿童食指指点表达需求行为观测系统，其特征在于：所述控制模块上电性连接有通讯模块，所述通讯模块上电性连接有上位机，所述通讯模块用于实现对数据进行上传到所述上位机，完成数据信息的通讯传输，所述通讯模块采用的是无线通讯、光纤通讯和蓝牙通讯中的一种或者多种。4.根据权利要求1所述的一种基于视觉的儿童食指指点表达需求行为观测系统，其特征在于：所述控制模块上电性连接有辅助模块，所述辅助模块中包括有显示屏、控制按键、声光警示器和存储模块，所述显示屏用于实现对数据信息进行显示，所述控制按键用于实现控制调节操作，所述声光警示器用于在出现异常情况下进行报警，所述存储模块中包括有用于存储系统运行程序体的ROM存储器、用于存储系统运行日志的RAM存储器和用于实现缓冲存储的缓存器。5.根据权利要求1所述的一种基于视觉的儿童食指指点表达需求行为观测系统，其特征在于：所述图像处理模块中包括有图像特征采集子模块、图像灰度处理子模块、去噪子模块和AI学习子模块，所述AI学习子模块用于学习图像处理技术，使得所述图像特征采集子模块、所述图像灰度处理子模块、所述去噪子模块能够有效的实现对图像进行计算处理。6.根据权利要求1所述的一种基于视觉的儿童食指指点表达需求行为观测系统，其特征在于：所述数据处理模块中包括有用于实现对数据信息进行接收的采集电路、用于实现对数据信息进行模数转换的转换电路、用于实现对数据信息进行滤除杂波的滤波电路和用
于实现对数据信息进行放大的增益电路。7.根据权利要求1所述的一种基于视觉的儿童食指指点表达需求行为观测系统，其特征在于：当医师使用所述玩具后，并将玩具放置在所述桌子后，检测儿童手指指向与玩具的关系和儿童视线方向与医师眼部的关系，将二者耦合在一起最终判定儿童的食指指点表达需求的行为，且自动监测方法主要分为三个部分，分别为指向识别、视线估计和耦合评估；所述第一摄像机用于实现指向识别的检测，且识别的检测方法是对于所述第一摄像机的视频流操作的，用于确定儿童手势和指向；所述第一摄像机用于实现指向识别的检测包...

【专利技术属性】
技术研发人员：徐秀，徐琼，李慧萍，周秉睿，刘洪海，王志永，
申请(专利权)人：复旦大学附属儿科医院，
类型：发明
国别省市：