软件定义的儿童动画实时自动生成方法及系统技术方案

本发明专利技术公开了一种软件定义的儿童动画实时自动生成方法和系统，其中，动画生成方法包括：构建动画知识库；对儿童输入的语音识别结果进行纠错，从儿童自然语言文本中提取动画剧本；根据动画剧本，结合动画知识库，进行动画对象的时空规划，得到动画规划时空知识图谱；根据动画规划时空知识图谱，得到可供最终动画展示的动画规约；根据动画规约，组装动画。动画生成系统包括交互层、功能层、知识层和数据持久层。其中，交互层负责处理与儿童进行交互、功能层负责实时自动生成动画、知识层存放动画规划所需的知识、数据持久层存放动画规划的中间结果文件。本方法和系统实现了从儿童自然语音描述的故事到动画片的全自动转化。述的故事到动画片的全自动转化。述的故事到动画片的全自动转化。

【技术实现步骤摘要】
软件定义的儿童动画实时自动生成方法及系统
[0001]

[0002]本专利技术属于计算机辅助动画自动生成领域，具体涉及自然语言理解、剧本生成、动画规划和动画知识库的一种软件定义的儿童动画实时自动生成方法及系统。

技术介绍

[0003]动画作为一种生动的媒体形式一直受到大众、尤其是儿童的喜爱。若能将儿童描述的故事转化为动画，由儿童进行动画创作，对其创造力和语言表达能力有非常积极的提升作用。而且，根据费曼的知识输出法学习，好的“输出”将能更好的带动“输入”的学习，由儿童进行动画创作作为一种“输出”必将为儿童教育带来新的体验。然而动画创作的门槛向来很高。通常，一部动画的制作需要角色设计师、场景设计师、动画师、动画导演等专业人员共同花费许多时间和精力才能完成，现代动画的制作常常需要使用专业软件如Maya、Blender等才能完成。这对儿童来说是很难完成的任务。
[0004]儿童动画自动生成系统面临着自然语言的复杂性、规划的实时性等挑战，需要解决正确理解用户意图、合理美观地排布动画内容、动画快速生成、系统简单易用等问题。近年来，随着信息技术的不断发展，已经有了许多辅助人工生成动画的软件和系统，比如半自动辅助动画生成软件FLASH、HTML5、AdobeAnimate，全自动辅助动画生成系统“天鹅”，智能动画创作系统PNAI等。但通常，这些系统在生成动画时无法做到完全没有人为干预，且输入形式收到很多限制，生成初步的内容后，还需要一定的时间对动画内容进行修改调整，无法做到语音到动画的快速实时生成。这些半自动或全自动人工辅助动画生成系统对儿童这一使用群体来说，仍有较高的使用门槛。

技术实现思路

[0005]针对儿童动画自动生成方面的挑战，本专利技术旨在提供一种根据儿童语音，实时生成动画的方法和系统，其思路是经过自然语言理解得到以角色动作为主体的剧本片段；结合动画知识库对剧本进行时空规划，规划出动画对象的时空状态，进而得到动画规划时空知识图谱；根据知识图谱得到动画规约文件；最后，根据规约文件信息，在Unity中调取动画数据库中的素材信息，自动装配，展示动画呈现给用户。
[0006]实现本专利技术目的的具体技术方案是：一种软件定义的儿童动画实时自动生成方法，包括以下步骤：步骤一：构建动画知识库；步骤二：对儿童输入的语音识别结果进行纠错，从儿童自然语言文本中提取动画剧本；步骤三：根据动画剧本，结合动画知识库，进行动画对象的时空规划，得到动画规划时空知识图谱；
步骤四：根据动画规划时空知识图谱得到可供最终动画展示的动画规约；步骤五：根据动画规约，组装动画。
[0007]所述步骤一具体为：构建动画规划所必须的知识库，包括素材知识库、排布知识库和动作知识库。其中，素材知识库包括素材与名称的映射关系（素材名称映射表）、素材的类别、尺寸、朝向这些素材信息（素材信息表）以及具体的素材（素材库）；排布知识库包含排布区域规则库和取点策略规则库；动作知识库包含动作与类别映射关系（动作类别映射表）、复合动作
‑
原子动作映射关系（复合动作拆分表）和动作轨迹拆分规则。
[0008]所述步骤二具体为：对儿童输入的语音识别结果进行纠错，就是结合素材库内容，对语音识别文本进行分词、词性和词语内容三个方面的的纠错；从儿童自然语言文本中提取动画剧本，即将纠错后的文本以谓语动词为单位拆分为短句，然后针对每一个短句，结合基本句型提取句子中的背景、角色、物品、动作序列、地点标识词信息，生成对应的动画剧本片段。
[0009]所述步骤三具体为：根据步骤二得到的动画剧本，结合动画知识库，对动画对象进行时空规划，得到当前剧本中各个动画对象的动作执行时间、执行轨迹，用这些信息生成动画规划时空知识图谱。
[0010]所述步骤四具体为：根据步骤三动画规划时空知识图谱中的定量信息，结合场景中其他信息，生成当前输入句子对应的动画规约文件。当用户输入所有句子后，将每句话对应的规约文件进行合并，得到展示总动画的规约文件。
[0011]所述步骤五具体为：根据动画规约中的素材信息和时空信息，调取动画素材库中的背景、动画对象外观和动作动画文件素材，在Unity中组装和展示。
[0012]一种实施上述方法的系统，该系统包括：交互层、功能层、知识层和数据持久层。
[0013]交互层负责处理儿童与系统的交互操作，包括语音交互模块、触控交互模块、素材展示模块和动画展示模块。语音交互模块负责获取儿童的语音信息；触控交互模块负责获取儿童的点击、滑动等触控操作；素材展示模块负责将素材库中的素材以缩略图的方式向儿童进行展示；动画展示模块将以生成的动画向儿童播放展示。
[0014]功能层处理动画的自动生成，包括剧本提取模块、动画规划模块和动画组装模块。剧本提取模块负责语音识别与纠错、实体以及实体关系的提取、动作序列的提取；动画规划模块负责规划动画中各个动画对象的时间、动作、排布、路径这些要素，并生成动画规约；动画组装模块负责查找和调用动画素材、生成字幕和配音，得到完整的动画内容。
[0015]知识层存放动画生成所需要的知识库，包括素材知识库、排布知识库和动作知识库。
[0016]数据持久层存放在动画规划过程中产生的各类中间结果，包括动画剧本、动画时空规划知识图谱、动画规约以及最终动画结果文件。
[0017]本专利技术采用软件方法定义动画，将动画形象的各个动作、移动、旋转、尺寸修改这些操作与动画素材本身解耦，并交由软件定义，使得动画内容可以根据需要灵活地改变调整。在进行动画时空规划时时采用基于知识的方法，对动画对象的行动进行时空规划，最终可以在2秒左右得到一句话对应的动画结果。满足了儿童动画生成过程的实时性和易用性。为软件定义的实时动画生成系统提供了参考样例。
附图说明
[0018]图1为本专利技术方法流程图；图2为本专利技术中的动画知识库结构图；图3为本专利技术中的剧本提取示例图；图4为本专利技术中的定性时空规划结果示例图；图5为本专利技术中的定量时空规划结果示例图；图6为本专利技术的系统架构图；图7为本专利技术中的部分排布区域规则；图8为本专利技术中的部分取点策略规则；图9为本专利技术中的部分动作轨迹拆分规则。
具体实施方式
[0019]以下结合附图及实施例对本专利技术进行详细描述。
[0020]一种软件定义的儿童动画规约自动生成方法，具体实现步骤如下：第一步，构建动画知识库动画知识库包括动画规划和组装所必要的知识。其结构如图2所示，包括三个主要部分：素材知识库、排布知识库和动作知识库。其中素材知识库包含了与动画素材相关的信息，排布知识库和动作知识库包含了动画时空规划所必须的信息和规则。
[0021]1）构建素材知识库。素材知识库由素材名称映射表、素材信息表和素材库构成，它们分别存放了素材名称映射、素材的默认信息和素材文件。
[0022]素材名称映射表用于建立自然语言名称和素材之间的映射关系，是一个多对一映射的表结构，键是一个由名称组成的列表，值则直接对应到动画素材库中的一个具体素材。对于角色和物品素材，键列表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种软件定义的儿童动画实时自动生成方法，其特征在于，包括以下步骤：步骤一：构建动画知识库；步骤二：对儿童输入的语音识别结果进行纠错，从儿童自然语言文本中提取动画剧本；步骤三：根据动画剧本，结合动画知识库，进行动画对象的时空规划，得到动画规划时空知识图谱；步骤四：根据动画规划时空知识图谱得到最终动画展示的动画规约；步骤五：根据动画规约，组装动画。2.如权利要求1所述的儿童动画实时自动生成方法，其特征在于，所述步骤一具体为：构建动画规划所必须的知识库，包括素材知识库、排布知识库和动作知识库；其中，素材知识库包括素材与名称的映射关系即素材名称映射表、素材的类别、尺寸、朝向信息即素材信息表以及具体的素材即素材库；排布知识库包含排布区域规则库和取点策略规则库；动作知识库包含动作与类别映射关系即动作类别映射表、复合动作
‑
原子动作映射关系即复合动作拆分表和动作轨迹拆分规则。3.如权利要求1所述的儿童动画实时自动生成方法，其特征在于，所述步骤二具体为：对儿童输入的语音识别结果进行纠错，就是结合素材库内容，对语音识别文本进行分词、词性和词语内容三个方面的纠错；从儿童自然语言文本中提取动画剧本，即将纠错后的文本以谓语动词为单位拆分为短句，然后针对每一个短句，结合基本句型提取句子中的背景、角色、物品、动作序列、地点标识词信息，生成对应的动画剧本片段。4.如权利要求1所述的儿童动画实时自动生成方法，其特征在于，所述步骤三具体为：根据步骤二得到的动画剧本，结合动画知识库，对动画对象进行时空规划，得到当前剧本中各个动画对象的动作执行时间、执行轨迹定量信息，用定量信息生...

【专利技术属性】
技术研发人员：曾惟昊，陈小红，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：