手语数据采集方法、设备、存储介质技术

本申请公开了一种手语数据采集方法、设备、存储介质，其中，方法包括：当采集对象进行手语动作时，利用至少一个传感器对采集对象进行数据采集，得到至少一条传感器数据；根据至少一条传感器数据，确定采集对象的手语动作的至少一个位姿参数；根据至少一个位姿参数，控制三维虚拟模型进行手语动作，进行手语动作的三维虚拟模型构成三维手语数据。上述方法实现了三维手语数据采集的自动化过程，对数据采集人员的专业要求低，数据采集效率高，有利于有效降低三维手语数据的采集成本。效降低三维手语数据的采集成本。效降低三维手语数据的采集成本。

【技术实现步骤摘要】
手语数据采集方法、设备、存储介质


[0001]本申请涉及交互
，尤其是一种手语数据采集方法、设备、存储介质。

技术介绍

[0002]手语是一种靠动作/视觉交际的多模式协同语言，手语在语言障碍人士交流、智能人机交互等领域有着广泛的应用，手语数据采集具有重要的研究意义和社会意义。
[0003]相关技术中，手语数据采集方法包括利用颜色相机和深度相机对手语视频进行采集和标注，生成二维手语动画；或者，通过建模师和动画师手动构建三维手语动画。
[0004]然而，二维手语动画无法提供手语动作的空间位姿信息，准确性不佳；通过建模师和动画师手动构建三维手语动画，手语采集专业要求高，采集效率低下，以上手语动画采集方法均存在采集效果不佳的问题。

技术实现思路

[0005]本申请实施例提供一种手语数据采集方法、设备、存储介质，用于解决现有的手语数据采集方法存在的采集效率低、采集效果不佳的问题。
[0006]第一方面，本申请提供了一种手语数据采集方法，所述方法包括：
[0007]当采集对象进行手语动作时，利用至少一个传感器对所述采集对象进行数据采集，得到至少一条传感器数据；
[0008]根据所述至少一条传感器数据，确定所述采集对象的所述手语动作的至少一个位姿参数；
[0009]根据所述至少一个位姿参数，控制三维虚拟模型进行所述手语动作，进行所述手语动作的所述三维虚拟模型构成三维手语数据。
[0010]利用采集的传感器数据确定采集对象的手语动作的至少一个位姿参数，并根据确定出的手语动作的至少一个位姿参数，控制三维虚拟模型进行相应的手语动作，有利于有效提高三维手语数据采集的采集效率，位姿参数能够准确清楚描述采集对象的手语动作的三维位姿信息，有效保证了采集的三维手语数据的准确性和实用性。
[0011]进一步地，所述手语动作包括手势动作，所述利用至少一个传感器对所述采集对象进行数据采集，得到至少一条传感器数据，包括：
[0012]利用具有运动传感器的手套设备和具有运动传感器的手腕设备，对所述采集对象进行数据采集，得到至少一条传感器数据；
[0013]所述根据所述至少一条传感器数据，确定所述采集对象的所述手语动作的至少一个位姿参数，包括：
[0014]根据所述至少一条传感器数据，确定所述采集对象的至少一个手部关键点的六自由度，得到所述采集对象的所述手势动作的第一位姿参数，其中，所述手部关键点包括手指关键点、手掌关键点和手腕关键点。
[0015]利用传感器数据确定采集对象的手部关键点的六自由度，能够准确确定采集对象
手势动作的三维位姿信息，能够有效保证采集的三维手语数据的准确性和实用性，有利于提高三维手语数据的采集效率。
[0016]进一步地，所述根据所述至少一个位姿参数，控制三维虚拟模型进行所述手语动作，包括：
[0017]将所述第一位姿参数输入所述三维虚拟模型，控制所述三维虚拟模型对应的至少一个手部关键点进行所述手势动作。
[0018]根据确定出的采集对象的手势动作的第一位姿参数，控制三维虚拟模型对应的手部关键点完成相应的手势动作，实现了手势动作的自动化采集，有利于提高手势动作采集的采集精度和采集效率。
[0019]进一步地，所述手语动作包括表情动作、口型动作和肢体动作，所述利用至少一个传感器对所述采集对象进行数据采集，得到至少一条传感器数据，包括：
[0020]利用具有图像传感器的图像采集设备，对所述采集对象进行数据采集，得到至少一条图像数据；
[0021]所述根据所述至少一条传感器数据，确定所述采集对象的所述手语动作的至少一个位姿参数，包括：
[0022]利用预设的算法模型，确定所述至少一条图像数据所表征的所述表情动作的第二位姿参数、所述口型动作的第三位姿参数和所述肢体动作的第四位姿参数。
[0023]利用传感器数据确定采集对象的表情动作、口型动作和肢体动作的三维位姿信息，有利于降低三维手语数据采集的专业要求度，能够有效控制三维手语数据的采集成本。
[0024]进一步地，所述利用预设的算法模型，确定所述至少一条图像数据所表征的所述表情动作的第二位姿参数、所述口型动作的第三位姿参数和所述肢体动作的第四位姿参数，包括：
[0025]利用预设的算法模型，确定所述至少一条图像数据中的至少一个五官关键点和至少一个骨骼关键点；
[0026]根据标准的三维人脸模型，确定所述至少一个五官关键点中的每一个五官关键点的六自由度，得到所述第二位姿参数和所述第三位姿参数；确定所述至少一个骨骼关键点中的每一个骨骼关键点的六自由度，得到所述第四位姿参数。
[0027]利用传感器数据确定采集对象的五官关键点和骨骼关键点的六自由度，能够实现对采集对象的手语动作的准确还原，有利于提高三维手语数据采集的有效性和实用性。
[0028]进一步地，所述根据所述至少一个位姿参数，控制三维虚拟模型进行所述手语动作，包括：
[0029]将所述第二位姿参数和所述第三位姿参数输入所述三维虚拟模型，控制所述三维虚拟模型对应的至少一个五官关键点进行所述表情动作和所述口型动作；
[0030]将所述第四位姿参数输入所述三维虚拟模型，控制所述三维虚拟模型对应的至少一个骨骼关键点进行所述肢体动作。
[0031]根据确定出的采集对象的手语动作的位姿参数，控制三维虚拟模型对应的各关键点完成相应的手语动作，实现了三维手语数据采集的自动化进程，有效提高了三维手语数据采集的采集效率和采集效果。
[0032]进一步地，当所述手语动作包括手势动作时，所述方法还包括：
[0033]确定所述采集对象的所述手势动作的手势类型，根据手势类型与第一位姿参数的映射关系，确定与所述手势类型对应的所述第一位姿参数；
[0034]其中，确定所述映射关系的方法包括：
[0035]利用具有运动传感器的手套设备和具有运动传感器的手腕设备，对每一种手势类型的手势动作进行数据采集，得到所述每一种手势类型对应的传感器数据；
[0036]根据所述每一种手势类型对应的传感器数据，确定所述每一种手势类型对应的所述第一位姿参数，得到所述映射关系。
[0037]根据手势类型与第一位姿参数的映射关系，确定与采集对象的手势类型匹配的第一位姿参数，有效降低了确定第一位姿参数的专业性要求，提高了确定手势动作的三维位姿信息的效率，保证了手势动作还原的准确性。
[0038]进一步地，所述具有运动传感器的手套设备包括数据手套，所述具有运动传感器的手腕设备包括设在在手腕处的位置追踪器。
[0039]利用数据手套和位置追踪器确定采集对象的手势动作的第一位姿参数，实现方式简单，自动化程度高，有利于有效提高三维手语数据的采集效率。
[0040]进一步地，所述具有图像传感器的图像采集设备包括多个摄像设备，所述多个摄像设备呈圆弧形状分布，所述多个摄像设备等间距分布。
[0041]利用摄像设备本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手语数据采集方法，其特征在于，包括：当采集对象进行手语动作时，利用至少一个传感器对所述采集对象进行数据采集，得到至少一条传感器数据；根据所述至少一条传感器数据，确定所述采集对象的所述手语动作的至少一个位姿参数；根据所述至少一个位姿参数，控制三维虚拟模型进行所述手语动作，进行所述手语动作的所述三维虚拟模型构成三维手语数据。2.根据权利要求1所述的方法，其特征在于，所述手语动作包括手势动作，所述利用至少一个传感器对所述采集对象进行数据采集，得到至少一条传感器数据，包括：利用具有运动传感器的手套设备和具有运动传感器的手腕设备，对所述采集对象进行数据采集，得到至少一条传感器数据；所述根据所述至少一条传感器数据，确定所述采集对象的所述手语动作的至少一个位姿参数，包括：根据所述至少一条传感器数据，确定所述采集对象的至少一个手部关键点的六自由度，得到所述采集对象的所述手势动作的第一位姿参数，其中，所述手部关键点包括手指关键点、手掌关键点和手腕关键点。3.根据权利要求2所述的方法，其特征在于，所述根据所述至少一个位姿参数，控制三维虚拟模型进行所述手语动作，包括：将所述第一位姿参数输入所述三维虚拟模型，控制所述三维虚拟模型对应的至少一个手部关键点进行所述手势动作。4.根据权利要求1所述的方法，其特征在于，所述手语动作包括表情动作、口型动作和肢体动作，所述利用至少一个传感器对所述采集对象进行数据采集，得到至少一条传感器数据，包括：利用具有图像传感器的图像采集设备，对所述采集对象进行数据采集，得到至少一条图像数据；所述根据所述至少一条传感器数据，确定所述采集对象的所述手语动作的至少一个位姿参数，包括：利用预设的算法模型，确定所述至少一条图像数据所表征的所述表情动作的第二位姿参数、所述口型动作的第三位姿参数和所述肢体动作的第四位姿参数。5.根据权利要求4所述的方法，其特征在于，所述利用预设的算法模型，确定所述至少一条图像数据所表征的所述表情动作的第二位姿参数、所述口型动作的第三位姿参数和所述肢体动作的第四位姿参数，包括：利用预设的算法模型，确定所述至少一条图像数据中的至少一个五官关键点和至少一个骨骼关键点；根据标准的三维人脸模型，确定所述至少一个五官关键点中的每一个五官关键点的六自由度，得到所述第二位姿参数和所述第三位姿参数；确定所述至少一个骨骼关键点中的每一个骨骼关键点的六自由度，得到所述第四位姿参数。6.根据权利要求5所述的方法，其特征在于，所述根据所述至少一个位姿参数，控制三维虚拟模型进行所述手语动作，包括：
将所述第二位姿参数和所述第三位姿参数输入所述三维虚拟模型，控制所述三维虚拟模型对应的至少一个五官关键点进行所述表情动作和所述口型动作；将所述第四位姿参数输入所述三维虚拟模型，控制所述三维虚拟模型对应的至少一个骨骼关键点进行所述肢体动作。7.根据权利要求1-6任一项所述的方法，其特征在于，当所述手语动作包括手势动作时，所述方法还包括：确定所述采集对象的所述手势动作的手势类型，根据手势类型与第一位姿参数的映射关系，确定与所述手势类型对应的所述第一位姿参数；其中，确定所述映射关系的方法包括：利用具有运动传感器的手套设备和具有运动传感器的手腕设备，对每一种手势类型的手势动作进行数据采集，得到所述每一种手势类型对应的传感器数据；根据所述每一种手势类型对应的传感器数据，确定所述每一种手势类型对应的所述第一位姿参数，得到所述映射关系。8.根据权利要求2或3所述的方法，其特征在于，所述具有运动传感器的手套设备包括数据手套，所述具有运动传感器的手腕设备包括设在在手腕处的位置追踪器。9.根据权利要求4-6任一项所述的方法，其特征在于，所述具有图像传感器的图像采集设备包括多个摄像设备，所述多个摄像设备呈圆弧形状分布，所述多个摄像设备等间距分布。10.一种手语数据采集装置，其特征在于，包括至少一个具有传感器的数据采集设备和处理器，所述处理器包括第一处理单元和第二处理单元，其中，所述至少一个具有传感器的数据采集设备用于当采集对象进行手语动作时，对所述采...

【专利技术属性】
技术研发人员：卢飞翔，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：