使用人工智能从视频中捕获、索引和提取数字工作流的系统和方法技术方案

一种AI系统，其捕获、索引和提取用于设计、制造、操作、维护和维修产品、机器和设备的复杂技术专门知识（know

【技术实现步骤摘要】
【国外来华专利技术】使用人工智能从视频中捕获、索引和提取数字工作流的系统和方法
[0001]相关申请的交叉引用本申请要求2020年3月2日提交的美国临时专利申请第62/984035号的优先权，其公开内容通过引用整体并入本文。


[0002]本专利技术涉及一种用于捕获和编辑视频的系统和方法，并且更具体地，涉及一种用于使用人工智能(在此为AI)从视频中捕获、索引和提取数字处理步骤(例如工作流程)的系统和方法。

技术介绍

[0003]在常规工作或商业环境，例如工业企业中，可提供需要专业技能来操作、维护和/或修理的设备。通常情况下，这些专业技能必须由设备操作员通过教学、培训和/或日常经验随着时间而培养。培养这种专业技能和执行这种技能的知识库可能需要数年时间。通常，技能和知识必须通过一代又一代的设备操作员从专家或高级操作员传递给新手或初级操作员。术语“操作员”并不旨在是限制性的，它包括那些在日常操作期间操作机器的个人，而且也包括任何其他与设备有关的个人，例如那些在维护、修理、升级或替换这种设备方面熟练的个人。最终，这种经验导致更有效的设备操作和与之相关联的任务，提高质量，更快地执行任务等。因此，有经验的劳动力通常是许多企业或其他操作的关键组成部分。
[0004]然而，在世界大部分地区，设备复杂性的增加和有经验劳动力可用性的差距的扩大对工业企业和其它类型的企业或操作造成负面影响。这些影响包括例如:低效的任务执行；以次优质量执行任务；因错误而返工；专家和新手之间的协作较差；由于专家的可用性和差旅费而导致任务延迟；昂贵且耗时的培训。/>[0005]传统上，并且在今天的大多数情况下，技术专门知识（know
‑
how）在静态文件中捕获，并通过印刷纸张或PDF分发，例如用于提供工作说明，以及记录和报告发现。然而，这种知识转移可能会遭遇低效率、高成本、冗长的培训、低质量和生产力损失。一些最新技术提供了纸质体验的数字复制；以及其他技术提供多媒体或AR解决方案，这些解决方案依赖于新兴的硬件和软件技术，以及需要在内容创作方面进行更高的投资。因此，这些传统的知识转移过程存在显著效率低下以及与之相关联的问题。
[0006]本专利技术的目的是克服这些问题。

技术实现思路

[0007]已经开发了一种AI(人工智能)系统，该系统使用被称为Stephanie的AI模块作为参考。本专利技术的系统捕获、索引和提取用于设计、制造、操作、维护和维修产品、机器和设备的复杂技术专门知识的数字工作流程，并将数字工作流程转变为类似GPS地图的分步交互式工作流程指导。虽然本专利技术的AI系统特别适用于工业企业，但是本专利技术的AI系统也可用
于提取非工业工作流程，例如类似地基于专业技能集和知识库执行的其他过程和任务流程。因此，对工作流程的引用不一定局限于在工业企业中遇到的那些。
[0008]一般而言，AI系统可包括多个系统模块，用于分析各种操作的工作流程，生成工作流程输出，以及发布工作流程指导，并将此数据并入此类操作，以提高工作流程的性能。这些系统模块包括但不限于工作流程捕获器或捕获模块、工作流程索引器或索引模块、工作流程构建器或构建模块、工作流程导航器或导航模块以及技能分析器或分析器模块。工作流程索引器或索引模块可以在其中并入AI模块，该AI模块使用AI来分析所捕获的数据并对其进行索引以用于后续处理，其中各个模块继而可以与AI模块通信，该AI模块分析数据并在模块之间传送数据。其他模块可以并入本专利技术的AI系统。
[0009]更具体地，所述AI系统使用工作流程采集系统，当专家在空间环境中实际执行他们工作或任务时，所述工作流程采集系统捕获并数字化专家的知识和工作流程。工作流程采集系统包括一个或多个视频输入设备，例如从多个视角捕获视频的摄像机，包括但不限于侧视和视点(POV)，其中摄像机可以是头戴式、眼戴式或肩戴式的。AI系统还可以包括其他数据收集设备，以进一步补充视频和音频数据。AI Stephanie系统及其AI模块分析和索引音频和视频的每一帧以及任何其他捕获的数据，以使用一种或多种AI方法从捕获的视频和数据中提取工作流程内容，例如对象、活动和状态，所述AI方法例如NLP(自然语言处理)或计算机视觉，例如对象检测和活动识别。
[0010]提取的数字工作流程（其包括分步信息）优选存储在基于云的企业知识存储库中，其可用于教授和培训这些技术行业的工人，并帮助加快学习新技能的个人的学习曲线，例如取代更高级工人的那些个人。授权用户可以随时随地访问作为交互式教程视频（interactive how
‑
to
‑
videos）的这些数字工作流程内容，并以自己的节奏进行学习。
[0011]更详细地说，本专利技术通过提供AI(人工智能)系统克服了用于记录技术专门知识的已知系统的缺点，所述AI(人工智能)系统捕获、索引和提取用于设计、制造、操作、维护和维修产品、机器和设备的复杂技术专门知识的数字工作流程，并将数字工作流程转变为类似GPS地图的分步交互式工作流程指导。通常，工作流程涉及在物理空间环境中执行的多个相关步骤。这些可以在商业或工业环境或其他类型的操作和物理环境中执行。
[0012]工作流程捕获模块是形成AI Stephanie系统的一部分的工作流程采集系统，当专家在工作或操作环境中实际执行它们的工作时，该工作流程采集系统捕获并数字化专家的知识和工作流程。工作流程采集系统包括一个或多个数据输入设备，例如从多个视角捕获视频的摄像机，包括但不限于侧视和视点(POV),其中摄像机可以是头戴式、眼戴式或肩戴式的。工作流程捕获器还可以输入或接受现有的视频、图表、手册、说明、培训计划和任何其他可能已经开发的文档化信息，以便历史地将知识从专家传递给新手。
[0013]所述工作流程采集系统捕获执行其个人工作流程模式的个人的物理运动和音频指令或评论，并将数字化的工作流程数据传递至AI模块。例如，物理运动和音频指令可以在执行各种任务或工作或其他技术专门知识时执行，并且可以包括对每个人来说可能是独特的步骤。同样地，这些任务可以在不同的个人之间不同地执行，并且本专利技术的AI系统能够捕获工作流程，并且知道它如何既是在行业内使用的普通或标准化知识，而且又是个人的独特或主观知识和专门知识，其中主观知识库可以扩展、偏离或不同于普通或标准化知识库。
[0014]这些任务可涉及来自一个或多个人的物理运动和音频，以及还可涉及使用诸如工
具和其他装置和设备等对象来执行任务。虽然主要类型的捕获数据来自视频和音频数据的收集，但是将会认识到，也可以使用捕获其他类型的输入数据的其他输入设备，其他类型的输入数据例如在对象中或在对象周围的定时数据和传感器数据，其可以涉及执行任务的个人和与其相关联的对象的运动、位置、定向或其他属性。这个信息中的一些或全部被工作流程采集系统捕获，其中视觉、音频和其他性能数据被数字化以传递到AI模块。
[0015]优选地，所述工作流程是无脚本的，并利用个人的专业知识和技术专门知识自然执行。换句话说，工作流程是由个人自然本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于对工作流程进行数字化的工作流程分析系统，包括：捕获设备，其用于捕获工作流程的执行，其中，所述工作流程包括由人按顺序执行的各个工作流程步骤，所述捕获设备被配置为在执行所述工作流程步骤期间捕获音频数据和视频数据，并将所述音频数据和所述视频数据数字化以定义工作流程数据；索引系统，其在服务器上操作以处理和索引所述工作流程数据并从所述工作流程数据中自动识别所述工作流程步骤，其中，所述索引系统与所述捕获设备通信以接收和存储所述服务器上的所述工作流程数据，所述索引系统包括处理器和AI模块，所述AI模块与所述处理器一起执行人工智能技术以分析所述工作流程数据并在所述工作流程数据中自动识别所述工作流程步骤，以便生成索引的工作流程数据，所述索引的工作流程数据包括由所述AI模块索引的步骤数据的子集，其中，所述步骤数据包括与每个所述工作流程步骤相关联的文本、音频和/或视频数据；以及构建模块，其在计算设备上操作以生成显示在显示设备上的用户界面，所述构建模块与所述索引系统通信，以接收所述索引数据，并通过所述用户界面将所述索引数据显示给编辑器，以编辑步骤数据的所述子集来定义经编辑的工作流程数据，以便用于随后向一个或多个其他人进行知识转移。2.根据权利要求1所述的工作流程分析系统，其中，所述索引系统的所述用户界面通过显示与所述工作流程步骤相关联的步骤数据的所述子集，选择性地显示所述工作流程步骤。3.根据权利要求2所述的工作流程分析系统，其中，所述步骤数据的所述子集在显示时能够由所述编辑器修改，以便在所述经编辑的工作流程数据中创建步骤数据的经修改的子集。4.根据权利要求1所述的工作流程分析系统，其中，所述构建模块还包括数字编辑工具，用于编辑步骤数据的包括由所述AI模块最初索引的所述文本、音频和/或视频数据的所述子集，以生成所述经编辑的工作流程数据。5.根据权利要求1所述的工作流程分析系统，其还包括在计算设备上操作的工作流程导航模块，所述工作流程导航模块与所述索引系统通信，并包括显示在显示设备上的用户界面，所述导航模块的所述用户界面显示所述经编辑的工作流程数据，以用于向所述其他人的所述知识转移，并包括用于查阅由步骤数据的所述子集表示的所述工作流程步骤的导航工具，所述步骤数据的所述子集是以与所述子集相关联的所述音频和视频数据形式显示的。6.根据权利要求5所述的工作流程分析系统，其中，所述文本数据在所述构建模块中是可编辑的，并且被传递到所述AI模块并由所述AI模块分析，以识别关键词，以便与所述工作流程导航模块中的搜索工具一起使用，以及与在其上执行所述视频数据和音频数据的视频播放器的字幕特征一起使用。7.根据权利要求1所述的工作流程分析系统，其中，所述AI模块转录从所述捕获设备接收的所述工作流程数据的所述音频数据，所述音频数据被存储为所述文本数据，所述AI模块分析所述文本数据以得到与所述音频数据和所述视频数据相关联的关键词，以便生成关键词数据，所述构建模块包括用于搜索所述索引的工作流程数据的搜索模块，以识别与所述关键词相关联的步骤数据的任何所述子集，以便由所述构建模块显示。
8.根据权利要求7所述的工作流程分析系统，还包括在计算设备上操作的工作流程导航模块，所述工作流程导航模块与所述索引系统通信，并包括显示在显示设备上的用户界面，所述导航模块的所述用户界面显示所述已编辑的工作流程数据，并包括导航工具，以查阅由步骤数据的所述子集表示的所述工作流程步骤的导航工具，所述步骤数据的所述子集是以与所述子集相关联的所述音频和视频数据形式显示的，所述导航工具包括用于搜索所述关键词数据并显示与这样的关键词数据链接的任何所述工作流程步骤的搜索工具。9.根据权利要求1所述的工作流程分析系统，其中，所述AI模块转录从所述捕获设备接收的所述工作流程数据的所述音频数据，所述音频数据被转录并存储为所述文本数据，所述AI模块分析所述文本数据以得到与步骤数据的所述子集的所述音频数据和所述视频数据相关联的关键词以生成关键词数据，所述AI模块进一步使用对象识别和活动识别技术中的至少一个来分析所述视频数据并识别与所述关键词相关联的对象和活动并存储所述分析的结果与所述关键词数据。10.根据权利要求1所述的工作流程分析系统，其中，所述构建模块同时显示所述文本数据与所述视频数据，其中，所述文本数据包括指示在每个所述工作流程步骤之间所述文本数据中的断点的断点指示符，其中，所述断点指示符能够在所述文本数据中移动，以用于调整连续工作流程步骤的开始点和结束点，所述工作流程分析系统自动调整所述视频数据的开始点和结束点，以便与所述文本数据的调整相对应。11.根据权利要求1所述的工作流程分析系统，其中，所述AI模块自动分析...

【专利技术属性】
技术研发人员：霞军，
申请(专利权)人：深昊有限公司，
类型：发明
国别省市：