一种基于云平台的机器视觉算法训练数据的管理系统及方法技术方案

本发明专利技术公开了一种基于云平台的机器视觉算法训练数据的管理系统，包括：文件服务器；数据库；云端服务器，其同时与所述文件服务器和所述数据库电连接，能够接收所述文件服务器和所述数据库传递的数据，用于提供基于云服务的图像视频转码服务；客户端服务模块，其与所述云端服务器电连接，能够接收所述云端服务器提传递的数据，用于提供基于云服务的视频裁切，并通过基于云的智能图像处理算法，对训练样本进行扩展与增强。能够提供基于云的图像视频管理系统，用以存储与管理图像视频数据。本发明专利技术还提供了一种基于云平台的机器视觉算法训练数据的管理方法。

【技术实现步骤摘要】
一种基于云平台的机器视觉算法训练数据的管理系统及方法
本专利技术涉及一种基于云平台的机器视觉算法训练数据的管理系统及方法，属于人工智能领域。
技术介绍
随着近年来人工智能的发展，基于深度学习的机器视觉算法在各个领域应用起来。伴随着这些算法，也出现了一些开源的数据集，但这些数据集只能涵盖实际应用领域的一小部分，在使用人工智能算法解决具体行业问题的时候，还是需要大量的样本数据来训练人工智能，但是采集数据的成本是很高的，这阻碍了人工智能在各个行业的推广使用。现有一些机器视觉算法训练数据处理工具，他们多数是离线的应用程序开发包，需要开发人员编写大量的与人工智能算法无关的代码，并且这些工具包并不能扩充数据的多样性。OpenCV是一个开源的跨平台计算机视觉库，它包含了很多基础的机器视觉算法，能满足AI算法训练数据预处理的基本需求，比如对训练图片数据进行放大，缩小，压缩，裁剪，旋转等一系列处理，但OpenCV是一个软件开发库。需要开发人员自己编写代码，并且是离线的。现实中从各种设备，如手机、相机、摄像头、摄像机采集的图片与视频包含各种各样的格式，如图片格式：jpg图片,png图片，tiff图片等，视频编码格式：x265、x264、mp4等，但是在云端，现有浏览器支持的格式是有限的，例如大部分浏览器(比如使用最多的谷歌chrome或者微软的IE)都无法解析tiff格式的图片，或者x265编码的视频。现有的阿里云的人工智能平台，与本专利相关的数据预处理部分，首先这个平台并不针对机器视觉，因此相关的功能很少。同时它并不包含图像与视频的预处理，多数是数据库里的字符数据，并且他们的数据格式转换仅仅是转换与合并数据库里的数据。现有的华为云AI平台存在以下问题，首先仍然是不针对机器视觉，因此图片数据上传后缺少图像的预处理，然后不能上传视频，同时没有对现有不同数据集的合并功能。现有技术存在如下问题：大多缺少对视频文件的支持，在机器视觉领域里常见的原始数据有两种：图像与视频，很多相关平台都只是支持上传图像或者图像序列。这对于一些需要连续图像序列的算法，如：目标跟踪，行为识别等，上传数据的时候不支持视频而使用图像序列代替的话，那么会将存储成本提高几倍甚至几十倍。数据预处理方法不全：如最常用的OpenCV，虽然这个库在机器视觉领域十分常见，但是里面的部分算法比较陈旧，不支持一些最新的人工智能算法，如在训练数据预处理会用到的图像分类、图像超分辨率还原等。开发成本高：开发者使用OpenCV进行训练数据预处理的需要自己编写代码，开发成本比较高，而且不能与在线的云服务紧密配合，从而又增加了部分云服务的额外开销。(举一个简单的例子：比如原始的图像分辨率是640x480，标注的时候需要的数据是1920x1080，如果自己开发这个放大图像的算法，就需要在后续上传中上传1920x1080的图像，这就增加了不小的网络上传流量以及开发工作量)无法对样本进行扩展：在使用基于监督算法的人工智能来解决具体的问题的时候，我们常常无法收集到大量的样本，使用不充分样本进行人工智能算法训练的时候，会导致算法通用性不强，将样本扩展到足够的数量，可以提高算法的通用性与准确性。对机器视觉的支持不够专业：如阿里云，华为云等提供的人工智能云平台，他们通常提供一个通用的平台。可以支持语音，文字，图像，文本等多种数据，但是他们对机器视觉算法的支持并不完善，对图像视频数据的预处理很少，并且缺少对不同格式标注的整合功能。
技术实现思路
本专利技术设计开发了一种基于云平台的机器视觉算法训练数据的管理系统，能够提供基于云的图像视频管理系统，用以存储与管理图像视频数据。本专利技术还设计开发了一种基于云平台的机器视觉算法训练数据的管理方法，能够基于云服务进行视频裁切与转码服务，并基于云的智能图像处理算法对训练样本进行扩展与增强。本专利技术提供的技术方案为：一种基于云平台的机器视觉算法训练数据的管理系统文件服务器；数据库；云端服务器，其同时与所述文件服务器和所述数据库电连接，能够接收所述文件服务器和所述数据库传递的数据，用于提供基于云服务的图像视频转码服务；客户端服务模块，其与所述云端服务器电连接，能够接收所述云端服务器提传递的数据，用于提供基于云服务的视频裁切，并通过基于云的智能图像处理算法，对训练样本进行扩展与增强。优选的是，所述云端服务器包括：API接口、图像扩展模块、图像增强模块、任务队列模块、图像转码模块、视频转码模块。优选的是，所述客户端服务模块包括：图像视频转码、视频剪切、文件上传下载、文件管理、样本增强与扩展。一种基于云平台的机器视觉算法训练数据的管理方法，包括：步骤一、创建数据集，用户根据兴趣在数据集文件中选择视频或图像文件进行裁切，并上传到云端；步骤二、当用户选择视频文件时，并且从所述视频文件中裁切出感兴趣的时间段时，确定感兴趣时间段选择起点时间戳和终点时间戳，在所述感兴趣的时间段选择感兴趣区域；步骤三、对所述感兴趣区域进行标准化配置，将所述数据集中的图像和视频的格式、分辨率进行统一；步骤四、进行样本数据扩展配置，确定最终的任务工作流，生成任务，发送到消息队列，由云端服务器进行处理。优选的是，所述步骤三还包括：选择目标格式，对上传的图像和视频的文件格式进行统一；选择目标分辨率，对上传的图像和视频的分辨率进行统一。优选的是，所述样本数据扩展配置的扩展方式包括：基于深度学习的GAN图像生成、图像基本变换中的一种。优选的是，所述图像基本变换包括：通过图像旋转变换、镜像变换、仿射变换生成新的样本。优选的是，所述图像和视频格式转换条用imagemagic库完成图像格式转换。本专利技术所述的有益效果：1、高效：数据预处理算法无需开发人员编写代码，同时提供云端的图像与视频转码服务。提升人工智能算法开发人员的效率。2、提升算法准确率：通过图像增强算法与图像样本增广算法，提升后续样本标注的准确率以及最后得到的AI模型的准确率。3、经济性：通过基于人工智能的算法扩充数据集，减少采集人工智能训练样本的成本。附图说明图1为本专利技术所述的基于云平台的机器视觉算法训练数据管理系统的整体设计图。图2为本专利技术所述的视频裁切过程设计图。图3为本专利技术所述的图像增强与样本增广任务过程设计图。图4为现有技术中华为云AI平台的流程图具体实施方式下面结合附图对本专利技术做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。如图1-4所示，本专利技术提供一种基于云平台的机器视觉算法训练数据管理系统，包括：文件服务器、数据库、云端服务器、客户端服务以及人工智能研究员与开发者。文件服务器设置在基于云平台的机器视觉算法训练数据管理系统的起始位置，用于储存较大文件，包括：样本图像以及对应的缩略图、视频文件、用户图像；数据库与文件服本文档来自技高网...

【技术保护点】
1.一种基于云平台的机器视觉算法训练数据的管理系统，包括：/n文件服务器；/n数据库；/n云端服务器，其同时与所述文件服务器和所述数据库电连接，能够接收所述文件服务器和所述数据库传递的数据，用于提供基于云服务的图像视频转码服务；/n客户端服务模块，其与所述云端服务器电连接，能够接收所述云端服务器提传递的数据，用于提供基于云服务的视频裁切，并通过基于云的智能图像处理算法，对训练样本进行扩展与增强。/n

【技术特征摘要】
1.一种基于云平台的机器视觉算法训练数据的管理系统，包括：
文件服务器；
数据库；
云端服务器，其同时与所述文件服务器和所述数据库电连接，能够接收所述文件服务器和所述数据库传递的数据，用于提供基于云服务的图像视频转码服务；
客户端服务模块，其与所述云端服务器电连接，能够接收所述云端服务器提传递的数据，用于提供基于云服务的视频裁切，并通过基于云的智能图像处理算法，对训练样本进行扩展与增强。


2.根据权利要求1所述的基于云平台的机器视觉算法训练数据的管理系统，其特征在于，所述云端服务器包括：API接口、图像扩展模块、图像增强模块、任务队列模块、图像转码模块、视频转码模块。


3.根据权利要求2所述的基于云平台的机器视觉算法训练数据的管理系统，其特征在于，所述客户端服务模块包括：图像视频转码、视频剪切、文件上传下载、文件管理、样本增强与扩展。


4.一种基于云平台的机器视觉算法训练数据的管理方法，包括：
创建数据集，用户根据兴趣在数据集文件中选择视频或图像文件进行裁切，并上传到云端；
当用户选择视频文件时，并且从所述视频文件中裁切出感兴趣的时间段时...

【专利技术属性】
技术研发人员：邢警，张沛轩，张立华，焦健，
申请(专利权)人：长春博立电子科技有限公司，
类型：发明
国别省市：吉林;22