一种基于多场景互动的多模态英语教学系统技术方案

本发明专利技术提供了一种基于多场景互动的多模态英语教学系统，包括服务器、交互终端、角色创建模块、场景切换模块、语言转换模块、交互模块和处理器，角色创建模块用于对互动的角色进行创建，以建立多角色的场景对话；场景切换模块用于对各个角色所选定的场景进行切换，以实现不同对话场景的语义和语境的表达；语言转换模块根据场景切换模块所设定的场景，将角色的语言进行识别，并将其转换为与设定场景匹配的语言；交互模块用于对多个交互终端进行配对，以实现对设备之间的交互控制；本发明专利技术通过采用动作采集模块用于对使用者的动作进行采集，使得使用者的动作能够被采集，并对创建的角色进行动作的控制或者传导动作。动作的控制或者传导动作。动作的控制或者传导动作。

【技术实现步骤摘要】
一种基于多场景互动的多模态英语教学系统


[0001]本专利技术涉及英语教学
，尤其涉及一种基于多场景互动的多模态英语教学系统。

技术介绍

[0002]英语教学承担培养学生基本英语素养和发展学生思维能力的任务，即学生通过英语课程掌握基本的英语语言知识，发展基本的英语听说读写技能，初步形成用英语与他人交流的能力，进一步促进思维能力的发展，为今后继续学习英语和用英语学习其他相关科学文化知识奠定基础，英语教学过程中常常需要通过英语对话场景的练习来进行口语互动。
[0003]如CN209265774U现有技术公开了一种英语教学互动装置，目前口语互动中往往采用教师直接口头设置英语对话场景，无法生动的展示英语对话场景且在切换英语对话场景时易出现混杂重复的情况。
[0004]另一种典型的如CN213365803U的现有技术公开的一种商务英语教学用互动装置，英语教学承担培养学生基本英语素养和发展学生思维能力的任务，即学生通过英语课程掌握基本的英语语言知识，发展基本的英语听说读写技能，初步形成用英语与他人交流的能力，进一步促进思维能力的发展，为今后继续学习英语和用英语学习其他相关科学文化知识奠定基础，英语教学过程中常常需要通过英语对话场景的练习来进行口语互动，但是目前在商务英语的教学中，当进行口语类的互动时，往往采用教师直接通过口头设定商务英语的对话场景，易造成无法清晰明确的展示英语对话场景，同时在切换商务英语的对话场景时，易出现混淆的情况。
[0005]为了解决本领域普遍存在无法切换场景、互动场景少、交互体验差和场景切换复杂等等问题，作出了本专利技术。

技术实现思路

[0006]本专利技术的目的在于，针对目前所存在的不足，提出了一种基于多场景互动的多模态英语教学系统。
[0007]为了克服现有技术的不足，本专利技术采用如下技术方案：
[0008]一种基于多场景互动的多模态英语教学系统，包括服务器、交互终端、角色创建模块、场景切换模块、语言转换模块、交互模块和处理器，
[0009]所述处理器分别与角色创建模块、场景切换模块、语言转换模块、交互模块控制连接；
[0010]所述服务器分别与所述角色创建模块、所述场景切换模块、所述语言转换模块和交互模块连接；
[0011]所述角色创建模块用于对互动的角色进行创建，以建立多角色的场景对话；
[0012]所述场景切换模块用于对各个角色所选定的场景进行切换，以实现不同对话场景
的语义和语境的表达；
[0013]所述语言转换模块根据所述场景切换模块所设定的场景，将角色的语言进行识别，并将其转换为与设定场景匹配的语言；所述交互模块用于与所述交互终端进行配对，以实现对所述交互终端的交互数据进行采集；其中，所述交互终端用于对使用者的动作和语音数据进行采集，并将采集采集到的数据传输至所述交互模块中；所述语言转换模块包括采集单元和设定单元，所述设定单元用于对角色的语境进行设定；所述采集单元采集使用者发出的声音；
[0014]所述采集单元包括支撑构件、录音构件和采集构件，所述录音构件和所述采集构件设置在所述支撑构件上，其中，所述支撑构件用于固定在使用者的颈部；所述支撑构件包括固定环和支撑杆，所述支撑杆的一端与所述固定环连接，所述支撑杆的另一端朝向远离所述固定环的一侧伸出且所述采集构件设置在其端部；
[0015]所述支撑杆的杆体上设置有供所述录音构件放置的存储腔，使所述录音构件隐藏在所述存储腔中；
[0016]所述录音构件包括拾音阵列和传输器，所述拾音阵列用于对所述使用者的声音进行采集；所述传输器将拾音阵列的声音数据向所述服务器传输；
[0017]所述采集构件设置在所述支撑杆上朝向使用者的嘴巴一侧，并对所述使用者的口型变化进行采集；所述采集构件包括采集探头和存储单元，所述采集探头对所述使用者嘴巴的图像数据进行采集；所述存储单元对所述采集探头采集的数据进行存储；
[0018]所述采集单元还包括分析构件，所述分析构件用于对所述录音构件捕获的声音数据进行分析；所述分析构件包括语音云数据库、裁剪器和语音识别工具，所述裁剪器用于对声音数据进行裁剪，并与所述语音云数据库进行比对；所述语音云数据库存储有各种语音对话的场景，并对所述使用者的语音数据进行分析后，匹配该对话场景对话下的回应；
[0019]获取一个触发周期中所述使用者的语音数据，并通过所述裁剪器将所述语音数据进行裁剪，形成一个语音片段矩阵Voice，
[0020][0021]其中，m为声音片段数，n为采样点，a
ij
表示第i个采样点的第j个声音片段；
[0022]对声音片段矩阵中的声音片段进行检测，以过滤掉一些无效的声音片段，依次对所述声音片段进行声音能量的检测：
[0023]其中，第a
ij
声音片段的声音能量Q(a
ij
)为：
[0024]Q(a
ij
)＝G2(a
ij
)
·
Δt
[0025]式中，G(a
ij
)为声音信号在第i个采样点的第j个声音片段的采样的幅值；
△
t为每次采样的时长
[0026]计算每个片段的所述声音能量后，计算出时间长度为T的声音片段的声音能量R，计算公式：
[0027][0028]式中，N为声音片段的总数，满足：N＝T/
△
t；T为声音片段的时间长度；根据R的取值，确定语音片段矩阵Voice中的有效成分，并对矩阵进行更新形成有效片段矩阵Voice
’
。
[0029]可选的，所述设定单元包括偏好收集器和数据库，所述偏好收集器用于收集所述使用者的设定的数据；所述数据库根据所述偏好收集器的数据，调用所述服务器中存储的语言数据，并存储在本地的存储器中；
[0030]其中，所述偏好收集器生成一个采集所述使用者个人喜好的情境信息，基于情境信息生成包括用户偏好、兴趣或习惯中的至少一个用户简档，以实现识别用户的表达或行为规则。
[0031]可选的，所述场景切换模块包括场景建立单元和显示单元，所述场景建立单元基于设定或选定的场景数据源建立对话场景；所述显示单元用于显示所述对话场景；其中，各个所述对话场景预置在所述数据库中，并在所述使用者选定后，调用选定的对话场景。
[0032]可选的，所述交互模块包括授权单元和配对单元，所述授权单元用于验证设备是否经过授权；所述配对单元用于与交互终端进行配对，以建立数据传输关系；
[0033]所述授权单元包括授权器和存储器，所述授权器识别交互终端的识别码，并建立数据传输通道；所述存储器用于对所述交互终端的配对历史进行存储，若所述交互终端在存储器中有记录，且正处于激活状态，则恢复其数据传输通道。
[0034]可选的，所述角色创建模块对各个使用者扮演的角色进行创建，其中，所述角色创建模块包括验证单元和创建单元，所述验证单元对所述使用者的身份进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多场景互动的多模态英语教学系统，包括服务器和交互终端，其特征在于，包括角色创建模块、场景切换模块、语言转换模块、交互模块和处理器，所述处理器分别与角色创建模块、场景切换模块、语言转换模块、交互模块控制连接；所述服务器分别与所述角色创建模块、所述场景切换模块、所述语言转换模块和交互模块连接；所述角色创建模块用于对互动的角色进行创建，以建立多角色的场景对话；所述场景切换模块用于对各个角色所选定的场景进行切换，以实现不同对话场景的语义和语境的表达；所述语言转换模块根据所述场景切换模块所设定的场景，将角色的语言进行识别，并将其转换为与设定场景匹配的语言；所述交互模块用于与所述交互终端进行配对，以实现对所述交互终端的交互数据进行采集；其中，所述交互终端用于对使用者的动作和语音数据进行采集，并将采集采集到的数据传输至所述交互模块中；所述语言转换模块包括采集单元和设定单元，所述设定单元用于对角色的语境进行设定；所述采集单元采集使用者发出的声音，并配合分析单元对使用者的语音进行识别；所述采集单元包括支撑构件、录音构件和采集构件，所述录音构件和所述采集构件设置在所述支撑构件上，其中，所述支撑构件用于固定在使用者的颈部；所述支撑构件包括固定环和支撑杆，所述支撑杆的一端与所述固定环连接，所述支撑杆的另一端朝向远离所述固定环的一侧伸出且所述采集构件设置在其端部；所述支撑杆的杆体上设置有供所述录音构件放置的存储腔，使所述录音构件隐藏在所述存储腔中；所述录音构件包括拾音阵列和传输器，所述拾音阵列用于对所述使用者的声音进行采集；所述传输器将拾音阵列的声音数据向所述服务器传输；所述采集构件设置在所述支撑杆上朝向使用者的嘴巴一侧，并对所述使用者的口型变化进行采集；所述采集构件包括采集探头和存储单元，所述采集探头对所述使用者嘴巴的图像数据进行采集；所述存储单元对所述采集探头采集的数据进行存储；所述采集单元还包括分析构件，所述分析构件用于对所述录音构件捕获的声音数据进行分析；所述分析构件包括语音云数据库、裁剪器和语音识别工具，所述裁剪器用于对声音数据进行裁剪，并与所述语音云数据库进行比对；所述语音云数据库存储有各种语音对话的场景，并对所述使用者的语音数据进行分析后，匹配该对话场景对话下的回应；获取一个触发周期中所述使用者的语音数据，并通过所述裁剪器将所述语音数据进行裁剪，形成一个语音片段矩阵Voice，其中，m为声音片段数，n为采样点，a
ij
表示第i个采样点的第j个声音片段；对声音片段矩阵中的声音片段进行检测，以过滤掉一些无效的声音片段，依次对所述
声音片段进行声音能量的检测：其中，a
ij
声音片段的声音能量Q(a
ij
)为：Q(a
ij
)＝G2(a
ij
)
·

【专利技术属性】
技术研发人员：邓晖，
申请(专利权)人：常德职业技术学院，
类型：发明
国别省市：