一种基于视频分析的生产过程交互与监测智能场景制造技术

本发明专利技术公开了一种基于混合现实技术与人体动作行为等生物特征识别技术的智能场景系统，属于视频分析、模式识别及混合现实领域。包括以工业现场数据采集模块、双向传输及影像展示机制和数据处理中心为主体的基础架构，以及根据不同场景实际需求可个性化添置更改的动态模块空间；利用AR智能眼镜和工业工厂的摄像头装置获取现场工作图像与视频数据；采用通讯服务搭建的人机交互通道，将图像视频传递至后端数据处理中心，经过视频分析处理后再将反馈意见传输至现场工作人员；对有异常信息反馈的情况，现场工作人员选择是否接通专家系统等方式，进行实时监控生产质量。所述系统可以根据实际情况进行功能模块增减调整，以适应多种场景应用。本发明专利技术面向工业领域对视频应用需求，实现生产过程实时交互与监测的智能场景。实现生产过程实时交互与监测的智能场景。实现生产过程实时交互与监测的智能场景。

【技术实现步骤摘要】
一种基于视频分析的生产过程交互与监测智能场景


[0001]本专利技术面向智能制造工业智能场景应用，涉及机器视觉、模式识别、无线网络等技 术，具体涉及一种基于视频处理与分析的生产过程监测及交互场景及系统。

技术介绍

[0002]随着全球新一轮科技革命和产业变革深入发展，“AI+智能制造”领域正形成爆发 式增长的态势。目前我国企业在工厂设计、生产作业、质量管控等环节已形成智慧场景， 但这些场景中，典型的模式主要集中在“车间智能排产”、“智能在线检测”、“能 耗数据监测”等应用，场景的智能化程度、类型数量和人机交互的深度等都还需进一步 改善。
[0003]目前大部分投入使用的智能场景系统都还停留在人机协同作业的层面，人与智能机 器的交互程度为单向的“主仆”关系，多采用“人控制机器”的运作模式，而随着物联 网的更新升级以及人工智能的飞速发展，人机关系即将迎来根本性的转变，即转为“伴 侣”型双向交互的人机融合关系。
[0004]人工智能未来的方向是要构建开放协同的人工智能科技创新体系，如今人机交互智 能系统在汽车、医疗、传统制造业等领域的应用已经走向成熟，在工业智能制造场景化 方面，已有相关知识产权，例如申请号为CN201821183091.7的专利公开了一种项目精 准配对体验的分布式智慧场景数据存储系统；申请号为CN202110953911.6的专利申请 公开了一种智慧场景式公共气象融媒体智能感光播报系统；申请号为CN2015100310W 的专利公开了一种穿戴式人机交互装置、人机交互系统及方法。但这些专利方法大多针 对特定的应用场景，而且需要使用特定的显示识别装置，系统设备的安装费用较高，对 图像数据的要求苛刻，面临着场景可移植性欠缺、系统通用性低，和功能模块难以灵活 改变等问题。
[0005]另外，当前与虚拟现实技术结合的智慧场景应用还处于萌芽阶段，真正在工厂中落 地应用数量不多，已有的智慧场景相关专利多数采用“单向命令式”的操作模式，人机 交互程度不高，数据信息与展示的方式较为单一。因此构建一套具有实时交互功能的混 合现实智能场景，扩展场景功能、提升通用性，将其应用于复杂的、多样化的实际工厂 环境是非常必要的。

技术实现思路

[0006]技术问题：面向工业生产过程实时监测、产品质量在线检测的需求，针对工业场景 中生物特征识别、人机深度交互融合等问题，提出一种基于视频分析的人机实时交互性 生产监测智能场景平台，旨在促进混合现实交互场景落地、提升工业企业智能化水平和 生产效率。
[0007]技术方案：本专利技术第一方面，提供一种基于混合现实技术与人体动作行为等视频分 析的生物特征识别技术的智能场景整体架构，包括：
[0008]以多视角工业现场数据采集模块、双向传输及影像展示机制和视频数据处理中心为 主体的基础架构；
[0009]基于视频分析技术与行为动作识别技术，部署于后台服务器上的视频处理模块；
[0010]根据不同场景实际需求可个性化添置更改的动态模块空间。
[0011]进一步的，所述多视角工业现场数据采集模块，包括：
[0012]通过给操作人员配备虚拟现实智能眼镜，获取第一视角作业现场数据；
[0013]通过工厂的固定摄像头采集整体的全景数据信息，作为数据信息补充，形成多视角 数据分析通道。
[0014]进一步的，所述双向传输及影像展示机制，包括：
[0015]将数据采集模块捕捉到的工作画面与生产视频传输至后端数据处理中心；
[0016]根据预先设置的特征识别算法，对静态图像进行特征提取与处理，对动态视频进行 在线处理和分析；
[0017]将视频分析的结果实时反馈至现场工作人员，包括操作规范、产品合格、异常行为、 操作失误等工作状态信息；
[0018]本专利技术的第二方面，提供一种以手势识别为基础的人机实时交互系统，包括：
[0019]利用手势识别和语音控制等识别控制技术，建立“视觉+语音”的多通道实时人机 交互系统；
[0020]进一步的，上述手势识别技术，包括：
[0021]构建在背景音嘈杂或不便于语音等的工厂环境下手势识别系统，建立手势数据集；
[0022]利用混合现实眼镜采集手部动作，融合工厂中固定位置监控摄像头的信息进行识别， 发出相关的指令；
[0023]手势提取过程中对工作人员所处环境背景、所站位置等没有特殊要求；
[0024]根据实际需求添加交互手势，扩大识别手势数据类型的规模；
[0025]进一步的，手势数据集包括简单操作语义的单手指令和较为复杂的双手指令；
[0026]交互中需求的手势表达不同时，增加训练样本，迁移应用场景；
[0027]嵌入手语识别模块，对于特殊使用人群，例如聋哑人士，实现手语翻译成文字及姿 态生成的功能，满足交流的需求；
[0028]进一步的，上述多通道实时人机交互系统，包括：
[0029]利用语音控制来远程传输指令、控制硬件设备的启停等；
[0030]以用户为中心，以人体的生物特征为识别特征来建立多通道的人机交互系统。
[0031]进一步的，生产过程中遇到突发状况或无法解决的问题时，可由“请求支援”的手 势向后端数据处理中心寻求帮助；
[0032]接收到求助信号后，后端数据处理中心利用通讯服务连接专家系统，将专家所在的 设备以及操作人员所在的设备作为客户端接入服务器端；
[0033]实现专家与技术人员之间、客户端之间的通讯，满足共享视野、语音传输等功能；
[0034]不局限于人与机器之间的双向传输，建立“人
‑
人”、“人
‑
机器
‑
人”等多类型循环 双向传输机制，进一步加深信息交互程度。
[0035]本专利技术的第三方面，提供一种具备场景迁移功能的数据信息交互智能场景框架，包 括：
[0036]以工业制造中的生产环节视频分析为出发点设计多功能的生产信息化系统，具备
模 块部署、信息交互、人机协同等功能；
[0037]利用工厂自身具有的摄像监控装置获取视频图像画面，配合AR智能眼镜的小型摄 像头获取近距离操作画面；
[0038]进一步的，设计可添加模块的动态模块空间，包括：
[0039]设计工业制造中的生产环节视频分析为出发点的多功能生产信息化系统；
[0040]所述生产信息化系统包括模块部署功能，可以增加特定的视频、图像处理模块、增 加数据集等；
[0041]所述数据信息交互智能场景框架能够应用在不同的工厂环境下，其框架拓展性可以 适用于安装环节中不同的工序类别划分；
[0042]所述模块部署功能包括可以根据实际需求加以改造设计并添加实例化功能，应用于 跨工业领域的多类场景。
[0043]有益效果：本专利技术与现有技术相比，具有以下优点：
[0044]本专利技术的系统与现有工业智能系统相比，融合混合现实技术，进行生产过程的检测， 采本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于混合现实技术与人体动作视频分析等的生物特征识别技术的智能场景整体架构，其特征在于，包括：设计以多视角工业现场数据采集模块、双向传输及影像展示机制和视频数据处理中心为主体的基础架构；利用视频分析技术与行为动作识别技术，设计部署于后端数据处理中心；根据不同场景实际需求可个性化添置动态更改模块的动态模块空间。2.根据权利要求1所述的方法，其特征在于，所述多视角工业现场数据采集模块，包括：通过给操作人员配备虚拟现实智能眼镜，获取第一视角作业现场数据；通过工厂的固定摄像头采集整体的全景数据信息，作为数据信息补充；根据工厂环境和实际需求选择多类型和多通道的数据采集方式，对工序操作过程的画面多角度提取，形成多视角视频信息数据融合分析通道；通过双向传输机制将获取的现场画面数据实时传输至后端数据处理中心。3.根据权利要求1所述的方法，其特征在于，所述双向传输与影像展示机制，包括：实时传递现场工作画面数据和反馈后台分析结果；利用虚拟现实眼镜的投影功能展示影像信息，信息动态交互；远程在线专家指导系统，生产过程中遇到突发状况或无法解决的问题时，通过远程在线系统进行指导。4.根据权利1所述的方法，其特征在于，所述利用视频分析技术与行为动作识别技术，设计部署于后端数据处理中心，包括：利用基于视频分析的人体动作识别技术对工厂环境下特定行为的视频画面进行实时动态检测；所述检测包括评价和反馈工序的完整性、操作步骤的顺序是否正确、关键性的工序步骤是否正确完成等多方面因素；所述人体动作识别技术包括对视频与图像画面进行关键信息提取，实现目标特征提取与识别等其他实用功能；所述视频分析包括对整个动态视频的分析提取采用逐帧处理的方式，完成对目标特征的筛选。5.根据权利要求1所述的方法中，其特征在于，所述后端数据处理中心，包括：所述后端数据处理中心包括对静态图像进行特征识别，从工厂杂乱的背景中提取关键信息，对二维图像进行处理分析；所述后端数据处理中心包括能够实现对动态视频序列数据的在...

【专利技术属性】
技术研发人员：梅雪，刘天驰，翟天翔，张启航，何毅，
申请(专利权)人：南京工业大学，
类型：发明
国别省市：