使用人工智能从视频中捕获、索引和提取数字工作流的系统和方法技术方案

一种AI系统，其捕获、索引和提取用于设计、制造、操作、维护和维修产品、机器和设备的复杂技术专门知识（know

【技术实现步骤摘要】
【国外来华专利技术】使用人工智能从视频中捕获、索引和提取数字工作流的系统和方法
[0001]相关申请的交叉引用本申请要求2020年3月2日提交的美国临时专利申请第62/984035号的优先权，其公开内容通过引用整体并入本文。


[0002]本专利技术涉及一种用于捕获和编辑视频的系统和方法，并且更具体地，涉及一种用于使用人工智能(在此为AI)从视频中捕获、索引和提取数字处理步骤(例如工作流程)的系统和方法。

技术介绍

[0003]在常规工作或商业环境，例如工业企业中，可提供需要专业技能来操作、维护和/或修理的设备。通常情况下，这些专业技能必须由设备操作员通过教学、培训和/或日常经验随着时间而培养。培养这种专业技能和执行这种技能的知识库可能需要数年时间。通常，技能和知识必须通过一代又一代的设备操作员从专家或高级操作员传递给新手或初级操作员。术语“操作员”并不旨在是限制性的，它包括那些在日常操作期间操作机器的个人，而且也包括任何其他与设备有关的个人，例如那些在维护、修理、升级或替换这种设备方面熟练的个人。最终，这种经验导致更有效的设备操作和与之相关联的任务，提高质本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于对工作流程进行数字化的工作流程分析系统，包括：捕获设备，其用于捕获工作流程的执行，其中，所述工作流程包括由人按顺序执行的各个工作流程步骤，所述捕获设备被配置为在执行所述工作流程步骤期间捕获音频数据和视频数据，并将所述音频数据和所述视频数据数字化以定义工作流程数据；索引系统，其在服务器上操作以处理和索引所述工作流程数据并从所述工作流程数据中自动识别所述工作流程步骤，其中，所述索引系统与所述捕获设备通信以接收和存储所述服务器上的所述工作流程数据，所述索引系统包括处理器和AI模块，所述AI模块与所述处理器一起执行人工智能技术以分析所述工作流程数据并在所述工作流程数据中自动识别所述工作流程步骤，以便生成索引的工作流程数据，所述索引的工作流程数据包括由所述AI模块索引的步骤数据的子集，其中，所述步骤数据包括与每个所述工作流程步骤相关联的文本、音频和/或视频数据；以及构建模块，其在计算设备上操作以生成显示在显示设备上的用户界面，所述构建模块与所述索引系统通信，以接收所述索引数据，并通过所述用户界面将所述索引数据显示给编辑器，以编辑步骤数据的所述子集来定义经编辑的工作流程数据，以便用于随后向一个或多个其他人进行知识转移。2.根据权利要求1所述的工作流程分析系统，其中，所述索引系统的所述用户界面通过显示与所述工作流程步骤相关联的步骤数据的所述子集，选择性地显示所述工作流程步骤。3.根据权利要求2所述的工作流程分析系统，其中，所述步骤数据的所述子集在显示时能够由所述编辑器修改，以便在所述经编辑的工作流程数据中创建步骤数据的经修改的子集。4.根据权利要求1所述的工作流程分析系统，其中，所述构建模块还包括数字编辑工具，用于编辑步骤数据的包括由所述AI模块最初索引的所述文本、音频和/或视频数据的所述子集，以生成所述经编辑的工作流程数据。5.根据权利要求1所述的工作流程分析系统，其还包括在计算设备上操作的工作流程导航模块，所述工作流程导航模块与所述索引系统通信，并包括显示在显示设备上的用户界面，所述导航模块的所述用户界面显示所述经编辑的工作流程数据，以用于向所述其他人的所述知识转移，并包括用于查阅由步骤数据的所述子集表示的所述工作流程步骤的导航工具，所述步骤数据的所述子集是以与所述子集相关联的所述音频和视频数据形式显示的。6.根据权利要求5所述的工作流程分析系统，其中，所述文本数据在所述构建模块中是可编辑的，并且被传递到所述AI模块并由所述AI模块分析，以识别关键词，以便与所述工作流程导航模块中的搜索工具一起使用，以及与在其上执行所述视频数据和音频数据的视频播放器的字幕特征一起使用。7.根据权利要求1所述的工作流程分析系统，其中，所述AI模块转录从所述捕获设备接收的所述工作流程数据的所述音频数据，所述音频数据被存储为所述文本数据，所述AI模块分析所述文本数据以得到与所述音频数据和所述视频数据相关联的关键词，以便生成关键词数据，所述构建模块包括用于搜索所述索引的工作流程数据的搜索模块，以识别与所述关键词相关联的步骤数据的任何所述子集，以便由所述构建模块显示。
8.根据权利要求7所述的工作流程分析系统，还包括在计算设备上操作的工作流程导航模块，所述工作流程导航模块与所述索引系统通信，并包括显示在显示设备上的用户界面，所述导航模块的所述用户界面显示所述已编辑的工作流程数据，并包括导航工具，以查阅由步骤数据的所述子集表示的所述工作流程步骤的导航工具，所述步骤数据的所述子集是以与所述子集相关联的所述音频和视频数据形式显示的，所述导航工具包括用于搜索所述关键词数据并显示与这样的关键词数据链接的任何所述工作流程步骤的搜索工具。9.根据权利要求1所述的工作流程分析系统，其中，所述AI模块转录从所述捕获设备接收的所述工作流程数据的所述音频数据，所述音频数据被转录并存储为所述文本数据，所述AI模块分析所述文本数据以得到与步骤数据的所述子集的所述音频数据和所述视频数据相关联的关键词以生成关键词数据，所述AI模块进一步使用对象识别和活动识别技术中的至少一个来分析所述视频数据并识别与所述关键词相关联的对象和活动并存储所述分析的结果与所述关键词数据。10.根据权利要求1所述的工作流程分析系统，其中，所述构建模块同时显示所述文本数据与所述视频数据，其中，所述文本数据包括指示在每个所述工作流程步骤之间所述文本数据中的断点的断点指示符，其中，所述断点指示符能够在所述文本数据中移动，以用于调整连续工作流程步骤的开始点和结束点，所述工作流程分析系统自动调整所述视频数据的开始点和结束点，以便与所述文本数据的调整相对应。11.根据权利要求1所述的工作流程分析系统，其中，所述AI模块自动分析...

【专利技术属性】
技术研发人员：霞军，
申请(专利权)人：深昊有限公司，
类型：发明
国别省市：