用于与视频中的人物角色交互的视频互动播放系统技术方案

本发明专利技术提供用于与视频中的人物角色交互的视频互动播放系统，其通过用户界面模块与进行视频互动播放，在视频正常的播放过程中，根据用户发起的指令信息，生成相匹配的对话数据，并从知识库中查找匹配的视频数据和/或应答文本数据；对视频数据进行加工后，通过用户界面模块向用户播放实时生成的视频；根据视频中的人物角色，构建与用户互动的虚拟角色，并结合应答文本数据，对虚拟角色进行语音和动作的动态转化，生成虚拟角色互动视频，并通过用户界面模块播放虚拟角色互动视频，向用户提供与虚拟角色交互的场景界面，其实时接收与识别用户发出的指令信息，正确掌握用户的视频观看需求，确保向用户进行可靠的视频播放，还可创建与用户匹配的虚拟角色进行实时视频互动，改善用户的视频观看体验。善用户的视频观看体验。善用户的视频观看体验。

【技术实现步骤摘要】
用于与视频中的人物角色交互的视频互动播放系统


[0001]本专利技术涉及智能人机互动的
，特别涉及用于与视频中的人物角色交互的视频互动播放系统。

技术介绍

[0002]目前，视频播放器都是单向播放视频，即向用户直接播放视频影像，在视频播放过程中，用户无法与视频画面存在的人物进行互动对话，使得视频观看体验单一。在线上授课或者多媒体授课场景中，学生在观看教学视频存在随时发问的需要，但是教学视频都是预先录制形成，无法与学生进行实时的教学互动。在线上直播等商业场景中，为了实现与观众的互动，都是通过真人直播的方式来实现，但是对于来自不同观众的大量互动信息，真人直播无法对所有互动信息进行全面及时的应答，同样降低直播互动的体验感以及需要耗费较多的人力资源。在视频播放过程中，及时接收和正确识别用户的互动请求，以及向用户实时精确返回互动应答，是实现视频播放互动的决定因素。

技术实现思路

[0003]针对现有技术存在的缺陷，本专利技术提供用于与视频中的人物角色交互的视频互动播放系统，其通过用户界面模块与进行视频互动播放，在视频正常的播放过程中，根据用户发起的指令信息，生成相匹配的对话数据，并从知识库中查找匹配的视频数据和/或应答文本数据；对视频数据进行加工后，通过用户界面模块向用户播放实时生成的视频；根据视频中的人物角色，构建与用户互动的虚拟角色，并结合应答文本数据，对虚拟角色进行语音和动作的动态转化，生成虚拟角色互动视频，并通过用户界面模块播放虚拟角色互动视频，向用户提供与虚拟角色交互的场景界面，其实时接收与识别用户发出的指令信息，正确掌握用户的视频观看需求，确保向用户进行可靠的视频播放，还可创建与用户匹配的虚拟角色进行实时视频互动，改善用户的视频观看体验。
[0004]本专利技术提供用于与视频中的人物角色交互的视频互动播放系统，包括
[0005]用户界面模块，接收用户发起的指令信息，以及向用户提供与虚拟角色交互的场景界面和/或进行视频播放；
[0006]控制模块，根据所述指令信息，触发语言识别模块和/或视频加工模块工作；以及根据来自数字人模块的虚拟角色互动视频，指示所述用户界面模块形成所述与虚拟角色交互的场景界面，和/或根据来自所述视频加工模块的可播放视频，指示所述用户界面模块进行视频播放；
[0007]语言识别模块，对所述指令信息进行分析，生成与所述指令信息匹配的对话数据；
[0008]智能问答模块，根据所述对话数据，从知识库中查找匹配的视频数据和/或应答文本数据；
[0009]视频加工模块，对所述视频数据进行加工处理后，得到可播放视频，并将所述可播放视频发送至所述控制模块；
[0010]所述数字人模块，根据所述应答文本数据，生成所述虚拟角色互动视频，并将所述虚拟角色互动视频发送至所述控制模块。
[0011]进一步，所述用户界面模块在接收用户发起的指令信息之前，包括：
[0012]拍摄当前与所述用户界面模块互动的用户的脸部图像，从所述脸部图像中提取所述用户的脸部特征信息；根据所述脸部特征信息，判断所述用户是否属于合法用户；若属于合法用户，则接收所述用户发起的指令信息；若不属于合法用户，则不接收所述用户发起的指令信息；
[0013]或者，检测当前与所述用户界面模块互动的用户的位置信息，根据所述位置信息，判断所述用户是否位于预定活动范围内；若位于预定活动范围内，则接收所述用户户发起的指令信息；若不位于预定活动范围内，则不接收所述用户发起的指令信息。
[0014]进一步，所述用户界面模块接收用户发起的指令信息之后，还包括：
[0015]将所述指令信息发送至所述控制模块，以此判断所述指令信息属于声音指令信息还是文本指令信息；
[0016]若所述指令信息属于声音指令信息，则对所述声音指令信息进行有用声音信号和背景声音信号分析，判断所述声音指令信息是否属于有效声音指令信息；若属于有效声音指令信息，则直接对所述有效声音指令信息进行内容识别；若不属于有效声音指令信息，则指示所述用户界面模块生成指令信息重新发送提醒消息；
[0017]若所述指令信息属于文本指令信息，则对所述文本指令信息进行文本缺陷分析处理，判断所述文本指令信息是否存在文本错误；若不存在文本错误，则直接对所述有文本指令信息进行内容识别；若存在文本错误，则指示所述用户界面模块生成指令信息重新发送提醒消息。
[0018]进一步，所述控制模块根据所述指令信息，触发语言识别模块和/或视频加工模块工作，包括：
[0019]对所述指令信息进行内容识别，得到所述指令信息包含的指令代码；
[0020]将所述指令代码与预设代码目录进行对比，根据所述对比的结果，触发语言识别模块和/或视频加工模块工作。
[0021]进一步，所述语言识别模块对所述指令信息进行分析，生成与所述指令信息匹配的对话数据，包括：
[0022]当所述指令信息属于声音指令信息，从所述声音指令信息中提取所述用户的语音信息成分；对所述语音信息成分进行语音识别，生成与所述指令信息匹配的文本对话数据；
[0023]当所述指令信息属于文本指令信息，直接生成与所述指令信息匹配的文本对话数据。
[0024]进一步，所述智能问答模块根据所述对话数据，从知识库中查找匹配的视频数据和/或应答文本数据，包括：
[0025]提取所述对话数据包含的所有对话文本词汇，根据所有对话文本词汇，生成所述对话数据对应的特征向量；
[0026]将所述特征向量输入到知识库学习模型中，从所述知识库中查找匹配的视频数据和/或应答文本数据；
[0027]将所述视频数据发送至所述视频加工模块和/或将所述应答文本数据发送至所述
数字人模块。
[0028]所述智能问答模块也可调用ChatGPT、Microsoft New Bing、百度文心一言、讯飞星火等公有的AI分析系统。
[0029]进一步，所述视频加工模块对所述视频数据进行加工处理后，得到可播放视频，并将所述可播放视频发送至所述控制模块，包括：
[0030]对所述视频数据进行分帧处理，得到若干视频图像帧；对所述视频图像帧进行画面内容识别，对所述视频图像帧进行画面修复处理；
[0031]再根据所述用户界面模块的视频播放参数，对所述视频数据进行视频格式转换，得到可播放视频；以及将所述可播放视频打包压缩发送至所述控制模块；
[0032]所述控制模块将所述可播放视频转换为视频流播放信号，并将所述视频流播放信号发送至所述用户界面模块。
[0033]进一步，所述视频加工模块对所述视频图像帧进行画面内容识别，对所述视频图像帧进行画面修复处理，包括：
[0034]步骤S1，在进行画面修复处理之前，利用下面公式(1)，对当前待修复处理的所述视频图像的画面内容，判断画面内容是否在其它视频图像被修复处理过，
[0035][0036]在上述公式(1)中，X(b)表示当前待修复处理的第b帧视频图像的画面内容是否在其它本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.用于与视频中的人物角色交互的视频互动播放系统，包括：用户界面模块，接收用户发起的指令信息，以及向用户提供与虚拟角色交互的场景界面和/或进行视频播放；控制模块，根据所述指令信息，触发语言识别模块和/或视频加工模块工作；以及根据来自数字人模块的虚拟角色互动视频，指示所述用户界面模块形成所述与虚拟角色交互的场景界面，和/或根据来自所述视频加工模块的可播放视频，指示所述用户界面模块进行视频播放；语言识别模块，对所述指令信息进行分析，生成与所述指令信息匹配的对话数据；智能问答模块，根据所述对话数据，从知识库中查找匹配的视频数据和/或应答文本数据；视频加工模块，对所述视频数据进行加工处理后，得到可播放视频，并将所述可播放视频发送至所述控制模块；所述数字人模块，根据所述应答文本数据，生成所述虚拟角色互动视频，并将所述虚拟角色互动视频发送至所述控制模块。2.如权利要求1所述的用于与视频中的人物角色交互的视频互动播放系统，其特征在于：所述用户界面模块在接收用户发起的指令信息之前，包括：拍摄当前与所述用户界面模块互动的用户的脸部图像，从所述脸部图像中提取所述用户的脸部特征信息；根据所述脸部特征信息，判断所述用户是否属于合法用户；若属于合法用户，则接收所述用户发起的指令信息；若不属于合法用户，则不接收所述用户发起的指令信息；或者，检测当前与所述用户界面模块互动的用户的位置信息，根据所述位置信息，判断所述用户是否位于预定活动范围内；若位于预定活动范围内，则接收所述用户户发起的指令信息；若不位于预定活动范围内，则不接收所述用户发起的指令信息。3.如权利要求1所述的用于与视频中的人物角色交互的视频互动播放系统，其特征在于：所述用户界面模块接收用户发起的指令信息之后，还包括：将所述指令信息发送至所述控制模块，以此判断所述指令信息属于声音指令信息还是文本指令信息；若所述指令信息属于声音指令信息，则对所述声音指令信息进行有用声音信号和背景声音信号分析，判断所述声音指令信息是否属于有效声音指令信息；若属于有效声音指令信息，则直接对所述有效声音指令信息进行内容识别；若不属于有效声音指令信息，则指示所述用户界面模块生成指令信息重新发送提醒消息；若所述指令信息属于文本指令信息，则对所述文本指令信息进行文本缺陷分析处理，判断所述文本指令信息是否存在文本错误；若不存在文本错误，则直接对所述有文本指令信息进行内容识别；若存在文本错误，则指示所述用户界面模块生成指令信息重新发送提醒消息。4.如权利要求1所述的用于与视频中的人物角色交互的视频互动播放系统，其特征在于：
所述控制模块根据所述指令信息，触发语言识别模块和/或视频加工模块工作，包括：对所述指令信息进行内容识别，得到所述指令信息包含的指令代码；将所述指令代码与预设代码目录进行对比，根据所述对比的结果，触发语言识别模块和/或视频加工模块工作。5.如权利要求1所述的用于与视频中的人物角色交互的视频互动播放系统，其特征在于：所述语言识别模块对所述指令信息进行分析，生成与所述指令信息匹配的对话数据，包括：当所述指令信息属于声音指令信息，从所述声音指令信息中提取所述用户的语音信息成分；对所述语音信息成分进行语音识别，生成与所述指令信息匹配的文本对话数据；当所述指令信息属于文本指令信息，生成与所述指令信息匹配的文本对话数据。6.如权利要求1所述的用于与视频中的人物角色交互的视频互动播放系统，其特征在于：所述智能问答模块根据所述对话数据，从知识库中查找匹配的视频数据和/或应答文本数据，所述智能问答模块可调用ChatGPT、Microsoft New Bing、百度文心一言、讯飞星火等平台的API；将所述视频数据发送至所述视频加工模块和/或将所述应答文本数据发送至所述数字人模块。7.如权利要求1所述的用于与视频中的人物角色交互的视频互动播放系统，其特征在于：所述智能问答模块根据所述对话数据，从知识库中查找匹配的视频数据和/...

【专利技术属性】
技术研发人员：张程，
申请(专利权)人：广州泓锐信息技术有限公司，
类型：发明
国别省市：