【技术实现步骤摘要】
本专利技术涉及数字媒体和人机交互领域，它要求用户输入手语视频，然后在手语视 频库中检索相似的视频片断。
技术介绍
近几年来，中国很多电视台比如北京新闻等，都提供了手语播报的功能，以帮助聋 现残疾人士观看新闻内容。基于内容的视频检索和管理是目前数字媒体领域比较热门的研 究方向。但是，对于手语视频这种比较特殊的视频形式，如何有效地根据内容管理这些视频 是一个亟待解决的问题。在这种情况下，将大量的手语视频的存储和查找从全人工的方式 中解脱出来更是大势所趋。要做到这一点，就必须分析手语的内容并且加以分析和特征生 成，以方便管理。手语的3D特征的获取在不借助于数据手套的情况下几乎是不可能的，而 分析手语新闻，主持人也是不带数据手套的。现有的手语处理技术借助数据手套，限制了用 户使用的灵活性。那么，通过手部运动追踪，提取坐标速度和形状以建立分段的手语新闻特 征并检索是一种可行的并且方便快捷的方法。
技术实现思路
为了解决现有技术手语处理只能借助于数据手套，并且速度较慢的技术缺陷，本 专利技术的目的在于提出一种对大量的手语视频进行建立特征库和有效管理的手语检索的方 法。为了达成所述目的，本专利技术提供一种手语检索方法，所述方法的技术方案包括如 下步骤步骤S1 对手语进行视频解码并提取图像底层纹理特征、颜色特征和轮廓特征， 根据手语运动特征生成手语特征库，用手语追踪双手方法得到手语特征为双手运动的坐标 特征、双手运动的速度特征和双手的形状特征，进而构成时间序列特征，并以手语特征的字 符串存储下来；步骤S2 对于用户输入的视频用坐标、速度和形状特征表示，得到用户输入视频 的字...
【技术保护点】
一种手语检索的方法，其特征在于，所述方法的步骤如下：步骤Ｓ１：对手语进行视频解码并提取图像底层纹理特征、颜色特征和轮廓特征，根据手语运动特征生成手语特征库，用手语追踪双手方法得到手语特征为双手运动的坐标特征、双手运动的速度特征和双手的形状特征，进而构成时间序列特征，并以手语特征的字符串存储下来；步骤Ｓ２：对于用户输入的视频用坐标、速度和形状特征表示，得到用户输入视频的字符串；步骤Ｓ３：利用字符串编辑距离算法对检索时用户输入手语视频的字符串和手语特征的字符串进行距离度量，得到输入视频和手语特征库中视频的相似度量。
【技术特征摘要】
1.一种手语检索的方法，其特征在于，所述方法的步骤如下步骤S1 对手语进行视频解码并提取图像底层纹理特征、颜色特征和轮廓特征，根据 手语运动特征生成手语特征库，用手语追踪双手方法得到手语特征为双手运动的坐标特 征、双手运动的速度特征和双手的形状特征，进而构成时间序列特征，并以手语特征的字符 串存储下来；步骤S2:对于用户输入的视频用坐标、速度和形状特征表示，得到用户输入视频的字 符串；步骤S3 利用字符串编辑距离算法对检索时用户输入手语视频的字符串和手语特征 的字符串进行距离度量，得到输入视频和手语特征库中视频的相似度量。2.根据权利要求1所述的手语检索的方法，其特征在于，所述双手追踪和定位的步骤 如下步骤S11 获取输入计算机的手语新闻视频帧或摄像头视频，对于手语新闻或者摄像 头视频进行检测，如果检测视频帧中有人脸，则进行步骤S12的操作；如果检测视频帧中没 有人脸，则对此视频帧不做处理返回计算机输入端；步骤S12 根据视频帧中的人脸坐标，得到人脸下方距离人脸中心一倍人脸直径的胸 部位置作为极坐标的中心，建立极坐标系，以刻画后续双手位置；步骤S13 将视频帧转化为亮度色度颜色空间(YUV)，并且映射到色度二维空间，利用 肤色的良好的聚类性质分割肤色，肤色分割的公式为3.根据权利要求1所述的手语检索的方法，其特征在于，所述双手运动的的坐标特征 是双手位置的极坐标表示；把极坐标值(p，e)，在空间中离散化为多个字符，从而一帧的 左右手坐标用两个字符表示，一段视频则对应了两个字符串。4.根据权利要求1所述的手语检索的方法，其特征在于，所述双手运动的速度特征记 录了手语运动序列的轨迹，轨迹的运动方向同样离散化为多个字符。5.根据权利要求1所述的手语检索的方法，其特征在于，所述手语特征中的形状特征 是利用手部轮廓的一阶矩和二阶矩得到左右手椭圆拟合后的椭圆长短轴和倾斜角度，同样 将形状信息表示为字符，进而表示为字符串以表达时间序列特征。6.根据权利要求1所述的手语检索的方法，其特征在于，所述时间序列特征是左手和 ...
【专利技术属性】
技术研发人员：张师林，李和平，张树武，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：11[中国|北京]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。