【技术实现步骤摘要】
一种可动态调整的讲解方法、装置及电子设备
[0001]本专利技术涉及计算机领域,尤其涉及一种可动态调整的讲解方法、装置及电子设备。
技术介绍
[0002]展厅、博物馆、纪念馆等场所往往有讲解员为观众提讲解服务,帮助观众更好的了解展出内容。使用服务机器人或者屏幕显示的虚拟人等自动讲解设备代替讲解员的工作,可以节省大量人力成本,而且自动讲解设备不会因为疲倦或者疏忽而出现讲解内容的差错。但是与人类讲解员相比,现有的自动讲解设备灵活性不足。譬如,人类讲解员在讲解过程中能根据观众的参与度适当延长或者压缩讲解内容,而现在的自动讲解设备一般只能播放固定长度的讲解词。再如,人类讲解员能暂停讲解以回答观众提问,而且处理完问题后能够通顺的恢复讲解,虽然现在有一部分自动讲解设备能支持讲解被打断,但在恢复讲解时没有考虑前后讲解词内容是否能通顺衔接。上述问题导致观众的参观体验较差,影响自动讲解设备的应用普及。
技术实现思路
[0003]本专利技术的目的在于针对现有技术的不足,提出一种可动态调整的讲解方法、装置及电子设备,以解决现有自动讲解设备灵活性不足的问题。
[0004]为了达到上述目的,本专利技术实施例所采用的技术方案来如下:第一方面,本专利技术实施例提供一种可动态调整的讲解方法,包括:将讲解词转换成讲解文本图,其中所述讲解词具有一个或多个版本,不同版本所需讲解时间不同,所述讲解文本图为有向图,所述有向图的节点包含某一个版本的讲解词片段,所述有向图的有向边表示所连接的两个节点所包含的两个讲解词片段在讲解过程中能按照 ...
【技术保护点】
【技术特征摘要】
1.一种可动态调整的讲解方法,其特征在于,包括:将讲解词转换成讲解文本图,其中所述讲解词具有一个或多个版本,不同版本所需讲解时间不同,所述讲解文本图为有向图,所述有向图的节点包含某一个版本的讲解词片段,所述有向图的有向边表示所连接的两个节点所包含的两个讲解词片段在讲解过程中能按照所述有向边的方向通顺衔接,所述两个讲解词片段属于同一个版本或分属于不同版本;获取观众的视频和音频,识别观众的行为和参与度;依据所述观众的行为动态控制所述讲解文本图的执行过程,执行所述讲解文本图指沿着所述有向图的起始节点到结束节点的一条路径依次访问节点,所述访问节点指讲解所述节点包含的讲解词片段;依据所述观众的参与度动态调整所述讲解文本图的执行路径,所述执行路径指所述讲解文本图的执行过程中所访问的节点的序列。2.根据权利要求1所述的可动态调整的讲解方法,其特征在于,将讲解词转换成讲解文本图,具体包括:对于只具有一个版本的讲解词,在讲解词中找到分隔点序列;分隔点的位置根据讲解被打断后恢复讲解时的合理起始位置定义,即两个前后连续的分隔点之间的文本若在讲解中被打断,则在恢复讲解时必须从所述两个连续的分隔点中的第一个分隔点开始讲解所述两个前后连续的分隔点之间的文本;每两个连续的所述分隔点之间的文本为一个讲解词片段;以所述讲解词片段为节点构建有向图,称为讲解文本图,所述讲解文本图中每个节点包含一个所述讲解词片段;若两个所述讲解词片段在所述讲解词中为前后顺序关系,则将所述讲解文本图中相应的两个节点用有向边连接,所述有向边称为顺序边,所述有向边的方向表示讲解的先后顺序;将包含所述讲解词中第一个片段的节点作为所述讲解文本图的起始节点,将包含所述讲解词中最后一个片段的节点作为所述讲解文本图的结束节点。3.根据权利要求1所述的可动态调整的讲解方法,其特征在于,将讲解词转换成讲解文本图,具体包括:对于具有多个版本的讲解词,选定一个版本作为默认版本,对每一个版本都独立构建所述讲解文本图,得到对应不同版本的多个所述讲解文本图;对于任何位于不同版本的所述讲解文本图的两个节点,若所述两个节点所包含的两个所述讲解词片段在讲解时能通顺衔接,则将所述两个节点用一条有向边连接,所述有向边称为过渡边,所述有向边的方向表示讲解的先后顺序;所述过渡边将对应不同版本的多个所述讲解文本图连接成单一的所述讲解文本图;将包含所述默认版本讲解词中第一个片段的节点作为所述单一的所述讲解文本图的起始节点,将包含所述默认版本讲解词中最后一个片段的节点作为所述单一的所述讲解文本图的结束节点。4.根据权利要求1所述的可动态调整的讲解方法,其特征在于,获取观众的视频和音频,识别观众的行为和参与度,具体包括:使用摄像头获取观众的视频;
使用麦克风获取观众的音频;使用基于深度学习多模态融合的方法识别观众行为,将所述观众的视频和音频输入行为识别网络模型,得到观众的行为;使用基于深度学习端到端的方法识别观众的参与度,将所述观众的视频输入参与度识别网络模型,得到观众的参与度。5.根据权利要求1所述的可动态调整的讲解方法,其特征在于,获取观众的视频和音频,识别观众的行为和参与度之前,还包括:采集真实讲解场景中观众的视频和音频;根据所述观众的视频和音...
【专利技术属性】
技术研发人员:於其之,侯暮寒,金天磊,朱世强,
申请(专利权)人:之江实验室,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。