基于智能服务平台的智能制造展示系统及方法技术方案

本发明专利技术涉及一种基于智能服务平台的智能制造展示系统及方法，所述系统包括智能制造采集终端、智能服务平台和智能制造展示终端，所述智能采集终端包括摄像头和第一无线通信设备，所述摄像头用于采集智能制造视频，所述第一无线通信设备用于与所述智能服务平台进行通信，将所述摄像头采集的智能制造视频发送至所述智能服务平台，所述智能制造展示终端包括显示屏、音响和第二无线通信设备，所述第二无线通信设备与所述智能服务平台进行通信。通过采用本发明专利技术的系统及方法，通过语音识别、噪音检测、人脸识别和设备识别多种因素来比较视频段落的优劣性，从中提取拍摄的智能制造视频的精华部分，自动剪辑合成展示视频，提高展示效率和效果。

Intelligent manufacturing display system and method based on intelligent service platform

The invention relates to an intelligent manufacturing display system and method based on an intelligent service platform, the system comprises an intelligent manufacturing acquisition terminal, an intelligent service platform and an intelligent manufacturing display terminal, the intelligent acquisition terminal comprises a camera and a first wireless communication device, the camera head is used for collecting intelligent manufacturing video, and the first wireless communication device is used for collecting intelligent manufacturing video with the intelligent service The service platform communicates, and sends the intelligent manufacturing video collected by the camera to the intelligent service platform. The intelligent manufacturing display terminal includes a display screen, a sound and a second wireless communication device, and the second wireless communication device communicates with the intelligent service platform. By adopting the system and method of the invention, the advantages and disadvantages of the video paragraphs are compared through various factors such as speech recognition, noise detection, face recognition and device identification, and the essence of the captured intelligent manufacturing video is extracted, and the display video is automatically clipping and synthesizing to improve the display efficiency and effect.

【技术实现步骤摘要】
基于智能服务平台的智能制造展示系统及方法
本专利技术涉及智能制造
，具体是指一种基于智能服务平台的智能制造展示系统及方法。
技术介绍
智能制造就是面向产品全生命周期，实现泛在感知条件下的信息化制造。智能制造技术是在现代传感技术、网络技术、自动化技术、拟人化智能技术等先进技术的基础上，通过智能化的感知、人机交互、决策和执行技术，实现设计过程、制造过程和制造装备智能化，是信息技术、智能技术与装备制造技术的深度融合与集成。智能制造对于工业生产具有很重要的意义，并且，智能制造的进一步推广也是对工业生产大有裨益的。现有的智能制造生产中，为了宣传的需要，会制作一些智能制造设备实际生产过程中的操作视频来作为展示。然而，现有技术中的智能制造视频展示时，往往只是人工拍摄一些视频然后通过简单的人工剪辑即作为展示，无法很好地突出智能制造的优势，也无法保证展示视频的质量，此外，人工剪辑十分费时费力，如果对于数量比较大的视频或者时长比较长的视频，则需要花费很长的时间。
技术实现思路
为了解决现有技术中的问题，本专利技术提供了一种基于智能服务平台的智能制造展示系统及方法，通过多种因素集中判断智能制造展示视频中的精华部分并加以自动剪辑，提高智能制造展示的效果，省时省力。为了实现上述目的，本专利技术具有如下构成：本专利技术提供了一种基于智能服务平台的智能制造展示系统，所述系统包括智能制造采集终端、智能服务平台和智能制造展示终端，所述智能采集终端包括摄像头和第一无线通信设备，所述摄像头用于采集智能制造视频，所述第一无线通信设备用于与所述智能服务平台进行通信，将所述摄像头采集的智能制造视频发送至所述智能服务平台，所述智能制造展示终端包括显示屏、音响和第二无线通信设备，所述第二无线通信设备与所述智能服务平台进行通信，用于从所述智能服务平台接收所述智能服务平台发送的展示视频，所述显示屏和所述音响用于播放所述展示视频，所述智能服务平台包括：无线通信模块，用于与所述第一无线通信设备进行通信，从所述智能制造采集终端获取智能制造视频，以及与所述第二无线通信设备进行通信，将所述智能制造视频发送至所述智能制造展示终端；设备识别模块，用于在所述智能制造视频中每一帧画面识别特定的智能制造设备，并计算该帧画面中智能制造设备的尺寸与预设设备标准尺寸之间的比例，于比例大于第一预设阈值时，将该帧画面记录为设备符合画面；人脸识别模块，用于在所述智能制造视频中每一帧画面识别特定的人脸，并计算该帧画面中人脸的尺寸与预设人脸标准尺寸之间的比例，于比例大于第二预设阈值时，将该帧画面记录为人脸符合画面；噪音识别模块，用于在所述智能制造视频中识别声音，将音量大于第三预设阈值或频率大于第四预设阈值的声音定义为噪音，将噪音所对应的画面记录为噪音画面；语音识别模块，用于在所述智能制造视频中识别人的语音，对人的语音进行语音识别和语句分割，得到多段语音，并记录每段语音所对应的画面的帧数，将智能制造视频按照多段语音的分割方式分割的到多个视频段落；画面评分模块，用于将设备符合画面的设备值设置为1，将非设备符合画面的设备值设置为0，将人脸符合画面的人脸值设置为1，将非人脸符合画面的人脸值设置为0，将噪音画面的噪音值设置为0，将非噪音画面的噪音值设置为1，分别根据预设的设备值的权值、人脸值的权值和噪音值的权值将各帧画面的设备值、人脸值和噪音值加权求和，作为该帧画面的评分，并将一个视频段落中所有画面的评分相加作为该视频段落的评分；视频合成模块，用于根据预设的展示视频的时间长度，从所述智能制造视频中依次选择评分最高的视频段落，将选择的视频段落合成所述展示视频。可选地，所述设备识别模块还用于从所述智能制造视频的每一帧画面中识别制造设备以及识别制造设备的类型，所述设备识别模块统计每一种智能制造设备出现的画面的帧数，将出现的画面的帧数最多的智能制造设备作为特定的智能制造设备，将出现该特定的智能制造设备的画面设定为设备符合画面，将出现其他类型智能制造设备或未出现智能制造设备的画面设定为非设备符合画面。可选地，所述智能服务平台还包括权值选择模块，所述权值选择模块用于获取所述设备识别模块识别到的特定的智能制造设备的类型，根据智能制造设备的类型与权值的映射关系获取该智能制造设备所对应的设备值的权值、人脸值的权值和噪音值的权值。可选地，智能服务平台的设备识别模块采用训练好的设备识别模型对所述智能制造视频中的每桢画面进行设备识别；所述设备识别模型的训练集包括各种智能制造设备的六个表面的多张照片以及各种智能制造设备在不同使用状态时的多张照片，且所述训练集中各个照片上标注有所对应的智能制造设备的类型。可选地，所述智能服务平台的人脸识别模块采用训练好的人脸识别模型对所述智能制造视频中的每帧画面进行人脸识别；所述人脸识别模型的训练集包括各个工作人员的多个角度的多张照片，且所述训练集中每张照片上标注有所对应的工作人员的编号。可选地，所述人脸识别模块识别人脸之前，从所述设备识别模型中获取智能制造设备的类型，根据设备类型与工作人员的映射关系，查找所述智能制造设备的类型所对应的工作人员的编号；所述人脸识别模块识别人脸时，识别所述智能制造视频中的每帧画面是否检测到所述智能制造设备的类型所对应的工作人员，如果是，则将该帧画面标记为人脸符合画面；如果检测到非所述智能制造设备的类型所对应的人脸，或未检测到人脸，则将该帧画面标记为非人脸符合画面。可选地，所述语音识别模块还用于从所述设备识别模块中获取智能制造设备的类型，根据设备类型与关键词的映射关系，查找到所述智能制造设备的类型所对应的关键词；所述语音识别模块还用于检测每个视频段落中语音中是否存在所述智能制造设备的类型所对应的关键词，如果存在，则将该视频段落的语义值定义为第一预设语义值，如果不存在，则将该视频段落的语义值定位为第二预设语义值，所述第一预设语义值和所述第二预设语义值均为介于0和1之间的数值。可选地，所述画面评分模块将一个视频段落中所有画面的评分相加作为该视频段落的评分之后，将该视频段落的评分乘以该视频段落的语义值，作为更新后的该视频段落的评分。本专利技术实施例还提供一种基于智能服务平台的智能制造展示方法，采用上述的基于智能服务平台的智能制造展示系统，所述方法包括如下步骤：所述摄像头采集智能制造视频，并通过所述第一无线通信设备发送至所述智能服务平台；所述智能服务平台的设备识别模块在所述智能制造视频中每一帧画面识别特定的智能制造设备，并计算该帧画面中智能制造设备的尺寸与预设设备标准尺寸之间的比例，于比例大于第一预设阈值时，将该帧画面记录为设备符合画面；所述智能服务平台的人脸识别模块在所述智能制造视频中每一帧画面识别特定的人脸，并计算该帧画面中人脸的尺寸与预设人脸标准尺寸之间的比例，于比例大于第二预设阈值时，将该帧画面记录为人脸符合画面；所述智能服务平台的噪音识别模块在所述智能制造视频中识别声音，将音量大于第三预设本文档来自技高网...

【技术保护点】
1.一种基于智能服务平台的智能制造展示系统，其特征在于，所述系统包括智能制造采集终端、智能服务平台和智能制造展示终端，所述智能采集终端包括摄像头和第一无线通信设备，所述摄像头用于采集智能制造视频，所述第一无线通信设备用于与所述智能服务平台进行通信，将所述摄像头采集的智能制造视频发送至所述智能服务平台，所述智能制造展示终端包括显示屏、音响和第二无线通信设备，所述第二无线通信设备与所述智能服务平台进行通信，用于从所述智能服务平台接收所述智能服务平台发送的展示视频，所述显示屏和所述音响用于播放所述展示视频，所述智能服务平台包括：/n无线通信模块，用于与所述第一无线通信设备进行通信，从所述智能制造采集终端获取智能制造视频，以及与所述第二无线通信设备进行通信，将所述智能制造视频发送至所述智能制造展示终端；/n设备识别模块，用于在所述智能制造视频中每一帧画面识别特定的智能制造设备，并计算该帧画面中智能制造设备的尺寸与预设设备标准尺寸之间的比例，于比例大于第一预设阈值时，将该帧画面记录为设备符合画面；/n人脸识别模块，用于在所述智能制造视频中每一帧画面识别特定的人脸，并计算该帧画面中人脸的尺寸与预设人脸标准尺寸之间的比例，于比例大于第二预设阈值时，将该帧画面记录为人脸符合画面；/n噪音识别模块，用于在所述智能制造视频中识别声音，将音量大于第三预设阈值或频率大于第四预设阈值的声音定义为噪音，将噪音所对应的画面记录为噪音画面；/n语音识别模块，用于在所述智能制造视频中识别人的语音，对人的语音进行语音识别和语句分割，得到多段语音，并记录每段语音所对应的画面的帧数，将智能制造视频按照多段语音的分割方式分割的到多个视频段落；/n画面评分模块，用于将设备符合画面的设备值设置为1，将非设备符合画面的设备值设置为0，将人脸符合画面的人脸值设置为1，将非人脸符合画面的人脸值设置为0，将噪音画面的噪音值设置为0，将非噪音画面的噪音值设置为1，分别根据预设的设备值的权值、人脸值的权值和噪音值的权值将各帧画面的设备值、人脸值和噪音值加权求和，作为该帧画面的评分，并将一个视频段落中所有画面的评分相加作为该视频段落的评分；/n视频合成模块，用于根据预设的展示视频的时间长度，从所述智能制造视频中依次选择评分最高的视频段落，将选择的视频段落合成所述展示视频。/n...

【技术特征摘要】
1.一种基于智能服务平台的智能制造展示系统，其特征在于，所述系统包括智能制造采集终端、智能服务平台和智能制造展示终端，所述智能采集终端包括摄像头和第一无线通信设备，所述摄像头用于采集智能制造视频，所述第一无线通信设备用于与所述智能服务平台进行通信，将所述摄像头采集的智能制造视频发送至所述智能服务平台，所述智能制造展示终端包括显示屏、音响和第二无线通信设备，所述第二无线通信设备与所述智能服务平台进行通信，用于从所述智能服务平台接收所述智能服务平台发送的展示视频，所述显示屏和所述音响用于播放所述展示视频，所述智能服务平台包括：
无线通信模块，用于与所述第一无线通信设备进行通信，从所述智能制造采集终端获取智能制造视频，以及与所述第二无线通信设备进行通信，将所述智能制造视频发送至所述智能制造展示终端；
设备识别模块，用于在所述智能制造视频中每一帧画面识别特定的智能制造设备，并计算该帧画面中智能制造设备的尺寸与预设设备标准尺寸之间的比例，于比例大于第一预设阈值时，将该帧画面记录为设备符合画面；
人脸识别模块，用于在所述智能制造视频中每一帧画面识别特定的人脸，并计算该帧画面中人脸的尺寸与预设人脸标准尺寸之间的比例，于比例大于第二预设阈值时，将该帧画面记录为人脸符合画面；
噪音识别模块，用于在所述智能制造视频中识别声音，将音量大于第三预设阈值或频率大于第四预设阈值的声音定义为噪音，将噪音所对应的画面记录为噪音画面；
语音识别模块，用于在所述智能制造视频中识别人的语音，对人的语音进行语音识别和语句分割，得到多段语音，并记录每段语音所对应的画面的帧数，将智能制造视频按照多段语音的分割方式分割的到多个视频段落；
画面评分模块，用于将设备符合画面的设备值设置为1，将非设备符合画面的设备值设置为0，将人脸符合画面的人脸值设置为1，将非人脸符合画面的人脸值设置为0，将噪音画面的噪音值设置为0，将非噪音画面的噪音值设置为1，分别根据预设的设备值的权值、人脸值的权值和噪音值的权值将各帧画面的设备值、人脸值和噪音值加权求和，作为该帧画面的评分，并将一个视频段落中所有画面的评分相加作为该视频段落的评分；
视频合成模块，用于根据预设的展示视频的时间长度，从所述智能制造视频中依次选择评分最高的视频段落，将选择的视频段落合成所述展示视频。


2.根据权利要求1所述的基于智能服务平台的智能制造展示系统，其特征在于，所述设备识别模块还用于从所述智能制造视频的每一帧画面中识别制造设备以及识别制造设备的类型，所述设备识别模块统计每一种智能制造设备出现的画面的帧数，将出现的画面的帧数最多的智能制造设备作为特定的智能制造设备，将出现该特定的智能制造设备的画面设定为设备符合画面，将出现其他类型智能制造设备或未出现智能制造设备的画面设定为非设备符合画面。


3.根据权利要求2所述的基于智能服务平台的智能制造展示系统，其特征在于，所述智能服务平台还包括权值选择模块，所述权值选择模块用于获取所述设备识别模块识别到的特定的智能制造设备的类型，根据智能制造设备的类型与权值的映射关系获取该智能制造设备所对应的设备值的权值、人脸值的权值和噪音值的权值。


4.根据权利要求2所述的基于智能服务平台的智能制造展示系统，其特征在于，智能服务平台的设备识别模块采用训练好的设备识别模型对所述智能制造视频中的每桢画面进行设备识别；
所述设备识别模型的训练集包括各种智能制造设备的六个表面的多张照片以及各种智能制造设备在不同使用状态时的多张照片，且所述训练集中各个照片上标注有所对应的智能制造设备的类型。


5.根据权利要求2所述的基于智能服务平台的智能制造展示系统，其特征在于，所述智能服务平台的人脸识别模块采用...

【专利技术属性】
技术研发人员：刘洋，宋文燕，万能，
申请(专利权)人：苏州凌瑞智能技术有限公司，
类型：发明
国别省市：江苏;32