基于体态控制的语义信息采集系统及方法技术方案

本发明专利技术涉及法律咨询服务领域，具体涉及一种基于体态控制的语义信息采集系统及方法，其中，系统包括图像采集模块、声音采集模块、服务器和输出模块，服务器包括语音识别模块、肢体语言分析模块、法律数据库和处理模块；图像采集模块和声音采集模块分别用于实时获取用户的视频数据和声音信息；语音识别模块，用于接收并处理声音信息，生成相应的文本信息；肢体语言分析模块，用于接收并处理视频数据，生成图像数据；并提取图像数据中的特征信息，生成肢体语言信息；法律数据库，用于预先存储若干法律信息；处理模块，用于接收并处理肢体语言信息和文本信息。采用本方案能够解决法律服务机器人无法采集到准确的语义信息的问题。

Semantic information collection system and method based on body control

【技术实现步骤摘要】
基于体态控制的语义信息采集系统及方法
本专利技术涉及法律咨询服务领域，具体涉及一种基于体态控制的语义信息采集系统及方法。
技术介绍
目前，中国社会正处于一个产业转型的阶段，人们对于法律服务的需求也日益增加，法律工作者每天为了应付各种各样的法律咨询伤透了脑筋，于是法律服务机器人应运而生。法律服务机器人依托互联网、大数据和云计算技术，能有效整合法治宣传、法律援助、律师、公证、司法鉴定、人民调解、社区矫正等资源，为社会公众提供全方位、全天候、不间断的法律宣传、法律咨询、服务指引服务。例如，中国专利公开号为CN109108989A的文件中公开了一种语义识别的法律服务专用机器人，涉及法律咨询领域，包括机器人本体以及设置在机器人本体内的服务器；所述机器人本体，包括用来采集咨询问题的采集端；所述服务器，包括用来对咨询问题进行法律语义提取的语义识别模块，所述语义识别模块包括存储并实时更新有多个法律词汇的词汇存储模块；语义识别模块从咨询问题中提取词语，并将每个词语与词汇存储模块中的法律词汇进行对比，用匹配成功的法律词汇替换咨询问题中的词语。采用该方案能够及时获知咨询者所表达的法律意思，进而快速提供针对性的法律服务；且现有技术中，人们如果遇到较为常见的法律问题可直接与智能普法机器人语音交流，从而提高用户体验和减轻工作人员的压力。但通常，两者在进行语音交流时会出现言语失误的情况，尤其对于心情焦急的咨询者来说，发生言语失误的概率会更高，这将对语音识别的后续工作造成障碍，导致法律服务机器人无法采集到准确的语义信息。r>
技术实现思路
本专利技术意在于提供一种基于体态控制的语义信息采集系统及方法，以解决法律服务机器人无法采集到准确的语义信息的问题。本专利技术提供的基础方案为：基于体态控制的语义信息采集系统，包括图像采集模块、声音采集模块、服务器和输出模块，服务器包括语音识别模块、肢体语言分析模块、法律数据库和处理模块，其中：图像采集模块和声音采集模块分别用于实时获取用户的视频数据和声音信息；语音识别模块，用于接收并处理声音信息，生成相应的文本信息；肢体语言分析模块，用于接收并处理视频数据，生成图像数据；并提取图像数据中的特征信息，生成肢体语言信息；法律数据库，用于预先存储若干法律信息；处理模块，用于接收并处理肢体语言信息和文本信息，若采集到的肢体语言信息与文本信息不符，生成告警信号，提示用户重新确认；反之，则提取出文本信息中的关键字信息并根据关键字信息从法律数据库中匹配出相应的法律信息，并根据法律信息生成法律建议书；输出模块，用于接收并显示法律建议书。本专利技术的工作原理及优点在于：相较于现有技术中，智能法律服务机器人与咨询者语音互动后，就能够根据咨询者提供的信息推送出相应的法律信息。本方案采用语音信息和肢体语言信息相结合的方式，综合判断用户的意图。由于人在向外界传达完整的信息的时候，单纯的语言成分只占7％，声调占38％，另外55％的信息都需要由非语言的体态来传达；而且肢体语言通常是一个人的下意识举动，所以与语言相比，体态更具真实性和代表性。使用时，首先由声音采集模块作为输入端，接收用户的声音模拟信号，经过语音识别模块转换为计算机能够识别的数字信号，处理后生成文本信息；不同之处在于，本方案中还加入图像采集模块，用于获取用户在与智能法律服务机器人进行语音互动过程中的视频数据，并由肢体语言分析模块处理生成肢体语言信息。当处理模块判断出肢体语言信息与文本信息不符，便提示用户重新确认传达的信息是否准确。反之，如果肢体语言信息与语言表达的意图相符，则由处理模块提取文本信息中的关键字，并从法律数据库中匹配出相应的法律信息，最后向用户推送法律信息。综上，采用本方案能够为群众提供更加便捷、专业、全面的法律咨询服务，减轻法律工作者的任务量；同时在用户说话的同时，结合采集该用户的肢体语言信息，辅助进行语音准确度的识别和判断，从而提高语义信息的准确性。进一步，语音识别模块包括语音特征提取子模块、语料数据库和结果生成子模块，其中：语音特征提取子模块，用于采用滤波和分帧对声音信息进行预处理；并根据傅里叶变换处理声音信息，生成特征向量；语料数据库，用于预先存储若干语音样本信息；结果生成子模块，用于根据深度神经网络处理语音样本信息，经过多次迭代训练，得到训练成功的语言模型；并根据HMM算法处理特征向量，将特征向量匹配到语言模型中，生成相应的文本信息。有益效果：众所周知，由于采集到的声音信息为波形图(声波)，而波形在时域上几乎没有描述能力，所以采用傅里叶变换能够将声音信息从时域转换为频域，频域变换后提取的特征参数能够用于识别；相较于现有技术中采用的动态时间归整算法，本方案中采用的HMM(隐马尔可夫)算法能够适用于连续大词汇量的语音识别系统，并且识别准确率更高。进一步，肢体语言分析模块包括图像预处理子模块、目标检测子模块以及肢体语言判断子模块，其中：图像预处理子模块，用于采用灰度转化、中值滤波和直方图均衡化对视频数据进行处理；目标检测子模块，目标检测子模块，用于预先设定分隔阈值，并根据帧间差分法处理视频数据，对视频数据中相邻两帧图像的像素点灰度值进行差运算，若差值的绝对值大于分隔阈值，则提取出图像中的人手区域；目标检测子模块还用于对人手区域采用二值化处理，生成第一窗口信息；肢体语言判断子模块，用于根据目标跟踪算法处理第一窗口信息，生成以胳膊肘作为原点、前臂作为纵轴、后臂作为横轴的二维坐标系；并将前臂与后臂垂直时，前臂的区域划定为第一窗口信息的中间区域；当前臂向左右摆动离开中间区域时，判断为否定语义信息。有益效果：用户与法律服务机器人进行语音交流的过程中，通常采用挥手的方式表达否定；在此过程中，前臂以胳膊肘为支点有规律地摆动。则可以选择使用帧间差分法来进行运动目标的提取，由于帧间差分法的基本原理是，目标在持续的运动过程中相邻像素间的灰度会发生变化，通过比较同一背景下不同时刻的两帧图像，便能够看出运动目标在背景下的运动情况，通过差分运算，选取合适的分隔阈值，使灰度值未发生变化的部分被抵消掉；采用本方案能够利用这种灰度变化的差异将运动中的手臂图像提取出来。在肢体语言中的。进一步，目标检测子模块还用于根据轮廓特征提取图像中用户的头部区域，生成第二窗口信息，其中第二窗口信息中还包括用户的面部五官；肢体语言判断子模块还用于以面部五官作为参照对象，并判断相邻两帧图像中参照对象的相对位置信息，如果相对位置信息为纵向变化，则判定为肯定语义信息，反之，如果相对位置信息为横向变化，判定为否定语义信息。有益效果：肢体语言中除了一般的手势，还包含点头和摇头；交谈过程中用户对于肯定和否定分别采用点头和摇头表示，且这一般是下意识触发的，相对于语言更具真实性；本方案中同样采用帧间差分法进行提取，不同之处仅在于参照对象选用面部五官，如眼睛、耳朵、鼻子、眉毛、嘴巴；所以用户在点头时，以相邻两帧图像中前一帧图像的面部五官为原点，当前帧图像中的面部五官本文档来自技高网...

【技术保护点】
1.基于体态控制的语义信息采集系统，包括图像采集模块、声音采集模块、服务器和输出模块，其特征在于，服务器包括语音识别模块、肢体语言分析模块、法律数据库和处理模块，其中：/n图像采集模块和声音采集模块分别用于实时获取用户的视频数据和声音信息；/n语音识别模块，用于接收并处理声音信息，生成相应的文本信息；/n肢体语言分析模块，用于接收并处理视频数据，生成图像数据；并提取图像数据中的特征信息，生成肢体语言信息；/n法律数据库，用于预先存储若干法律信息；/n处理模块，用于接收并处理肢体语言信息和文本信息，若采集到的肢体语言信息与文本信息不符，生成告警信号，提示用户重新确认；反之，则提取出文本信息中的关键字信息并根据关键字信息从法律数据库中匹配出相应的法律信息，并根据法律信息生成法律建议书；/n输出模块，用于接收并显示法律建议书。/n

【技术特征摘要】
1.基于体态控制的语义信息采集系统，包括图像采集模块、声音采集模块、服务器和输出模块，其特征在于，服务器包括语音识别模块、肢体语言分析模块、法律数据库和处理模块，其中：
图像采集模块和声音采集模块分别用于实时获取用户的视频数据和声音信息；
语音识别模块，用于接收并处理声音信息，生成相应的文本信息；
肢体语言分析模块，用于接收并处理视频数据，生成图像数据；并提取图像数据中的特征信息，生成肢体语言信息；
法律数据库，用于预先存储若干法律信息；
处理模块，用于接收并处理肢体语言信息和文本信息，若采集到的肢体语言信息与文本信息不符，生成告警信号，提示用户重新确认；反之，则提取出文本信息中的关键字信息并根据关键字信息从法律数据库中匹配出相应的法律信息，并根据法律信息生成法律建议书；
输出模块，用于接收并显示法律建议书。


2.根据权利要求1所述的基于体态控制的语义信息采集系统，其特征在于：语音识别模块包括语音特征提取子模块、语料数据库和结果生成子模块，其中：
语音特征提取子模块，用于采用滤波和分帧对声音信息进行预处理；并根据傅里叶变换处理声音信息，生成特征向量；
语料数据库，用于预先存储若干语音样本信息；
结果生成子模块，用于根据深度神经网络处理语音样本信息，经过多次迭代训练，得到训练成功的语言模型；并根据HMM算法处理特征向量，将特征向量匹配到语言模型中，生成相应的文本信息。


3.根据权利要求1所述的基于体态控制的语义信息采集系统，其特征在于：肢体语言分析模块包括图像预处理子模块、目标检测子模块以及肢体语言判断子模块，其中：
图像预处理子模块，用于采用灰度转化、中值滤波和直方图均衡化对视频数据进行处理；
目标检测子模块，目标检测子模块，用于预先设定分隔阈值，并根据帧间差分法处理视频数据，对视频数据中相邻两帧图像的像素点灰度值进行差运算，若差值的绝对值大于分隔阈值，则提取出图像中的人手区域；目标检测子模块还用于对人手区域采用二值化处理，生成第一窗口信息；
肢体语言判断子模块，用于根据目标跟踪算法处理第一窗口信息，生成以胳膊肘作为原点、前臂作为纵轴、后臂作为横轴的二维坐标系；并将前臂与后臂垂直时，前臂的区域划定为第一窗口信息的中间区域；当前臂向左右摆动离开中间区域时，判断为否定语义信息。


4.根据权利要求3所述的基于体态控制的语义信息采集系统，其特征在于：目标检测子模块还用于根据轮廓特征提取图像中用户的头部区域，生成第二窗口信息，其中第二窗口信息中还包括用户的面部五官；
肢体语言判断子模块还用于以面部五官作为参照对象，并判断相邻两帧图像中参照对象的相对位置信息，如果相对位置信息为纵向变化，则判定为肯定语义信息，反之，如果相对位置信息为横向变化，判定为否定语义信息。


5.根据权利要求3所述的基于体态控制的语义信息采集系统，其特征在于：所述图像预处理子模块还用于根据Gray＝(R*30+G*5...

【专利技术属性】
技术研发人员：吴怡，
申请(专利权)人：重庆百事得大牛机器人有限公司，
类型：发明
国别省市：重庆;50