一种流程模型图的多语言文本及语音生成方法技术

本发明专利技术公开了一种流程模型图的多语言文本及语音生成方法，属于流程挖掘领域。本发明专利技术首先识别流程模型图中的模型元素、模型节点文本和模型有向边，并将识别的流程模型存储为标准流程模型文件；然后使用多语言语义依存解析模型元素文本，使用RPST算法解析模型结构，使用带注释流程结构树存储模型元素文本和流程模型结构信息；然后根据文本信息数量和结构复杂度对带注释流程结构树划分，然后使用深度语法树从带注释流程结构树生成流程模型的多语言文本，最后从多语言文本生成流程模型的多语言语音。本发明专利技术能够正确的识别流程模型图中的流程模型，能够正确的解析流程模型的文本及结构，能够生成语法正确的文本和发音正确的语音。

【技术实现步骤摘要】
一种流程模型图的多语言文本及语音生成方法
本专利技术属于流程挖掘领域，具体涉及一种流程模型图的多语言文本及语音生成方法。
技术介绍
通过查阅已有的专利技术专利和文献，并没有方法能够从流程模型图自动生成多语言文本及语音的方法，已有的研究集中在流程模型图的识别、流程模型的文本生成和语音合成三个方面。流程模型图的识别研究了如何从图片中识别出流程模型结构，它使用知识表示、图形匹配、符号识别、几何推理、语义提取等技术，获得模型节点、模型节点文本和模型有向边等信息。流程模型的文本生成研究如何生成流程模型的解释性文本，流程模型的文本需要考虑如何解析流程模型的结构，如何使用文本表达不同的流程模型结构，如何解析模型元素的文本信息，如何优化生成的文本等问题。语音合成技术可以将任意文字信息实时转化为标准流畅的语音朗读出来，他涉及声学、语言学、数字信号处理和计算机科学等多个学科，通过语言处理、韵律处理和声学处理产生人造语音。通过研究现有的成果，并没有研究如何从流程模型图中生成多语言及语音的方法。现有的技术分别研究不同的方向，导致了不同模块之间的输入输出格式不同，例如流程模型图识别获得了流程模型的结构，将其存储成自定义有向图格式，而流程模型的文本生成研究如何从流程模型生成文本，其输入为标准流程模型文件。本专利技术提出了从流程模型图中生成多语言及语音的方法，克服了已有问题。因此从整体来看本专利技术所提出的技术与思路是创新的，是现有方法无法实现的。
技术实现思路
针对现有技术中存在的上述技术问题，本专利技术提出了一种流程模型图的自动识别与理解方法，设计合理，克服了现有技术的不足，具有良好的效果。为了实现上述目的，本专利技术采用如下技术方案：一种流程模型图的多语言文本及语音生成方法，采用流程模型图的识别与理解模块、流程模型的带注释流程结构树生成模块和流程模型的多语言文本及语音生成模块；流程模型图的识别与理解模块，被配置为识别流程模型图中的模型元素、节点文本和有向边，最后将识别的流程模型存储为标准流程模型文件；流程模型的带注释流程结构树生成模块，被配置为使用多语言语义依存分析、多语言翻译、翻译结果筛选和跨语言语法结构调整解析模型元素文本信息，使用RPST(therefinedprocessstructuretree，精炼的流程结构树)算法解析流程模型结构，然后使用带注释流程结构树存储流程结构信息和模型元素文本信息；流程模型的多语言文本及语音生成模块，被配置为划分带注释流程结构树，然后从带注释流程结构树生成多语言文本，最后使用语音合成技术将多语言文本转变为可以听懂的，流利的多语言语音；所述的流程模型图的多语言文本及语音生成方法，包括如下步骤：步骤1：流程模型图的识别与理解；步骤2：流程模型的带注释流程结构树生成；步骤3：流程模型的多语言文本及语音生成。优选地，在步骤1中，具体包括如下步骤：步骤1.1：模型元素识别；即识别流程模型图中包括活动、任务、事件、网关、箭头在内的模型元素；首先构造模型元素的基本图元模板，图元模板包括图片模板、模型元素类型、模型元素宽度和模型元素高度；然后使基本图元模板在流程模型图中滑动，计算图片模板与流程模型图重叠区域的相似度，选择相似度最高的若干区域作为模型元素识别结果，并从识别结果中去除重复识别区域和错误识别区域；步骤1.2：模型节点文本识别；获取所有包含文本的节点的位置和尺寸，然后使用图片切割获取节点所在区域的小图片，最后使用OCR(OpticalCharacterRecognition，光学字符识别)文字识别技术识别图片中的文字，即模型节点的文本；步骤1.3：模型节点有向边识别；对流程模型图做灰度处理，获得流程模型图中每个像素点的灰度值，生成流程模型图的灰度值矩阵，最后根据箭头的位置和模型节点的位置，在灰度值矩阵中遍历找到有向边的开始节点和结束节点；步骤1.4：流程模型存储；在流程模型存储中，根据流程模型图片中模型类型和标准流程模型文件标准，使用xml(EXtensibleMarkupLanguage，可扩展标记语言)的读写库tinyxml(xml解析工具)将识别的流程模型存储为标准流程模型文件；输入：流程模型图中识别的模型节点集合和有向边集合；输出：标准流程模型文件；具体包括如下步骤：步骤1.4.1：设置存储的文件名和编码方式；步骤1.4.2：向标准文件中写入流程模型节点的信息，在写入流程模型节点时，设置节点类型、节点标识和节点文本，同时存储节点的输入边和输出边信息；步骤1.4.3：向标准文件中写入边的信息，在写入流程模型有向边的信息时设置边的标识、输入节点和输出节点；步骤1.4.4：输出标准流程模型文件。优选地，在步骤2中，具体包括如下步骤：步骤2.1：流程模型预处理；识别模型元素文本的语种，构建描述流程模型中包括选择、并发、循环结构的多语言文本模板，构建流程模型中各个领域专业术语的多语言表达；步骤2.2：模型元素文本解析；获取模型元素文本信息，使用多语言语义依存技术解析文本获得主语、动词、宾语、从句，然后使用多语言翻译技术翻译文本信息，并使用翻译结果筛选技术和跨语言语法结构调整优化翻译结果，生成模型元素多语言文本信息；步骤2.3：模型结构解析；获取流程模型的结构，对流程模型结构遍历，使用RPST算法划分流程模型结构，生成流程结构树；步骤2.4：带注释流程结构树生成；将模型元素文本解析的多语言文本信息加入流程结构树，生成带注释的流程结构树。优选地，在步骤3中，具体包括如下步骤：步骤3.1：带注释流程结构树的划分；根据带注释流程结构树中文本信息的长度和结构复杂度，将带注释流程结构树划分成多个子树，保证每个子树生成的文本长度不超过语音生成的最长长度；步骤3.2：多语言文本生成；遍历带注释流程结构树，使用深度语法树组织多语言文本信息，并使用多语言句子模版描述流程模型结构，然后对生成的多语言文本进行主语聚合、动词聚合、宾语聚合，生成流程模型的多语言文本；步骤3.3：多语言语音生成；使用语音合成技术，设置语音合成的文本、语种、语速参数，然后从多语言文本生成流程模型的多语言语音。优选地，在步骤3.1中，带注释流程结构树的划分，具体包括如下步骤：输入：流程模型的带注释流程结构树；输出：流程模型的带注释流程结构子树链表；步骤3.1.1：遍历带注释流程结构树annoTree的所有孩子节点，对于遍历到的节点，将按照其在annoTree中的顺序将孩子节点存入临时带注释流程结构树forest中；步骤3.1.2：统计forest中文本信息的长度和复杂结构的数量；当forest中文本信息数量超过200或包含的复杂结构数目超过10个，将forest存入划分结果链表resolveResult中，同时重新初始化forest，为之后构造带注释流程结构子树做准备。优选地，在步骤3.3中，多语言语音生成，具体包括如下步骤：输入：流程模型的文本链表和文本语种；输出：流程模型文本的语音输出；步骤3.3.1：初始化VoiceRSS(语音合成工具)的转换参数；步骤3.3.2：设置文件格式、音频格式、SSML(SpeechSynthesisMarkupLanguage，语音合成标记语言)文本格式、语速、语种参数；步骤3.3.3：使用VoiceRSS提供的方法将文本本文档来自技高网...

【技术保护点】
1.一种流程模型图的多语言文本及语音生成方法，其特征在于：采用流程模型图的识别与理解模块、流程模型的带注释流程结构树生成模块和流程模型的多语言文本及语音生成模块；流程模型图的识别与理解模块，被配置为识别流程模型图中的模型元素、节点文本和有向边，最后将识别的流程模型存储为标准流程模型文件；流程模型的带注释流程结构树生成模块，被配置为使用多语言语义依存分析、多语言翻译、翻译结果筛选和跨语言语法结构调整解析模型元素文本信息，使用RPST算法解析流程模型结构，然后使用带注释流程结构树存储流程结构信息和模型元素文本信息；流程模型的多语言文本及语音生成模块，被配置为划分带注释流程结构树，然后从带注释流程结构树生成多语言文本，最后使用语音合成技术将多语言文本转变为可以听懂的，流利的多语言语音；所述的流程模型图的多语言文本及语音生成方法，包括如下步骤：步骤1：流程模型图的识别与理解；步骤2：流程模型的带注释流程结构树生成；步骤3：流程模型的多语言文本及语音生成。

【技术特征摘要】
1.一种流程模型图的多语言文本及语音生成方法，其特征在于：采用流程模型图的识别与理解模块、流程模型的带注释流程结构树生成模块和流程模型的多语言文本及语音生成模块；流程模型图的识别与理解模块，被配置为识别流程模型图中的模型元素、节点文本和有向边，最后将识别的流程模型存储为标准流程模型文件；流程模型的带注释流程结构树生成模块，被配置为使用多语言语义依存分析、多语言翻译、翻译结果筛选和跨语言语法结构调整解析模型元素文本信息，使用RPST算法解析流程模型结构，然后使用带注释流程结构树存储流程结构信息和模型元素文本信息；流程模型的多语言文本及语音生成模块，被配置为划分带注释流程结构树，然后从带注释流程结构树生成多语言文本，最后使用语音合成技术将多语言文本转变为可以听懂的，流利的多语言语音；所述的流程模型图的多语言文本及语音生成方法，包括如下步骤：步骤1：流程模型图的识别与理解；步骤2：流程模型的带注释流程结构树生成；步骤3：流程模型的多语言文本及语音生成。2.根据权利要求1所述的流程模型图的多语言文本及语音生成方法，其特征在于：在步骤1中，具体包括如下步骤：步骤1.1：模型元素识别；即识别流程模型图中包括活动、任务、事件、网关、箭头在内的模型元素；首先构造模型元素的基本图元模板，图元模板包括图片模板、模型元素类型、模型元素宽度和模型元素高度；然后使基本图元模板在流程模型图中滑动，计算图片模板与流程模型图重叠区域的相似度，选择相似度最高的若干区域作为模型元素识别结果，并从识别结果中去除重复识别区域和错误识别区域；步骤1.2：模型节点文本识别；获取所有包含文本的节点的位置和尺寸，然后使用图片切割获取节点所在区域的小图片，最后使用OCR文字识别技术识别图片中的文字，即模型节点的文本；步骤1.3：模型节点有向边识别；对流程模型图做灰度处理，获得流程模型图中每个像素点的灰度值，生成流程模型图的灰度值矩阵，最后根据箭头的位置和模型节点的位置，在灰度值矩阵中遍历找到有向边的开始节点和结束节点；步骤1.4：流程模型存储；在流程模型存储中，根据流程模型图片中模型类型和标准流程模型文件标准，使用xml的读写库tinyxml将识别的流程模型存储为标准流程模型文件；输入：流程模型图中识别的模型节点集合和有向边集合；输出：标准流程模型文件；具体包括如下步骤：步骤1.4.1：设置存储的文件名和编码方式；步骤1.4.2：向标准文件中写入流程模型节点的信息，在写入流程模型节点时，设置节点类型、节点标识和节点文本，同时存储节点的输入边和输出边信息；步骤1.4.3：向标准文件中写入边的信息，在写入流程模型有向边的信息时设置边的标识、输入节点和输出节点；步骤1.4.4：输出标准流程模型文件。3.根据权利要求1所述的流程...

【专利技术属性】
技术研发人员：曾庆田，原桂远，段华，刘聪，李超，鲁法明，倪维健，周长红，赵华，林泽东，刁秀丽，温彦，张峰，
申请(专利权)人：山东科技大学，
类型：发明
国别省市：山东,37