便携式设备实现视频知识采集与标注功能的系统及方法技术方案

本发明专利技术涉及一种基于便携式设备实现视频知识采集与标注功能的系统及方法，属于计算机应用技术领域。该系统包括资源输入模块、结构化描述模块、标注设备模块、双向切割模块和中心控制模块。该方法中，结构化描述模块产生结构化描述数据；标注设备模块先根据结构化描述数据对视频和图片文件进行粗粒度标注；再根据粗粒度标注将视频和图片文件划分为多个具有不同语义的视频片段或图片中的不同区域；然后再进行细颗粒标注。从而能够有效降低人工设备标注标准对视频标注的主观影响，大幅提高视频标注的精确度，也便于视频标注训练集的自动扩充，且本发明专利技术的系统及方法的应用方式简便，实现成本低廉，应用范围也较为广泛。

【技术实现步骤摘要】

本专利技术涉及计算机应用
，特别涉及视频图像处理
，具体是指一种基于。
技术介绍
随着计算机技术和互联网的飞速发展，大量的视频设备已经能够通过互联网方便地在便携式设备上批量传输数字化的视频信息，便携式视频播放设备(iPad、iPod、iPhone、数码摄像机)的发展和推广，有利于用户能够方便地随时随地查找、分享和使用网络中的各类资源，例如视频电影、监控视频、视频会议和视频聊天等。便携式设备对视频的大量检索以及共享，引出了关于如何应用便携式设备来采集、标注视频/图像资源等问题的研究。现今很多专家提出直接利用视频的内容信息进行机器识别、自动标注。这种机器识别和自动标注是借助于对视频中的视频帧/图像信息进行从底层到高层的处理，分析和理解的过程中进行标注的内容，以便于进行后续的视频检索。这些底层的标注内容是指视频的颜色、纹理、运动等特征向量。虽然这些内容可以更好的表达视频的信息，但是这种标注方式与后续的检索中对视频标注的需求相差太大。例如，一般网络用户进行视频或图像检索的目的是依赖于对视频的文本信息或元数据的描述来进行检索的，而不会去关注它的颜色、纹理、形状以及在此基础上形成的空间关系等方面，以图像的底层视觉和形象特征为主，对图像进行标注的处理方法具有计算简单、性能稳定的特点，但目前这些特征都有一定的局限性。经过对现有技术的检索发现，中国专利文献号CN102508923，公开了一种“基于自动分类和关键字标注的自动视频注释方法”，该技术首先提取出已由人工标注视频的全局特征和局部特征，使用全局特征对视频的类别进行分类，再建立视频的多维特征和标注关键字之间的对应关系，再在已建立的训练集的基础上，自动处理未经标注的视频。中国专利文献号CN101650728，公开了“视频高层特征检索系统及其实现”，该技术提取视频关键帧图像的底层特征(颜色、形状、纹理等)，并利用支持向量机(SupportVector Machine, SVM)对所提取的特征进行分类,进而提取相应的视频语义。上述研究在视频语义提取技术上提出了一些较好的方法，但是同样存在以下缺陷1、需要大量的人工标注视频集，才能形成一个精准、完备的样本训练集。2、由于人工标注的视频内容，其主观性太强，不同的人对相同视频的特征、标注都不可能完全一样，很难形成统一的人工标注标准。3、人工标注的视频内容，其扩充性太差，对于一个没有样本训练集中从未标注过的视频，还需要搜索原有的库，把与之相近特征的关键字提取出来，建立特征和关键词之间的联系，这才能完成对视频的注释
技术实现思路
本专利技术的目的是克服了上述现有技术中的缺点，提供一种对该视频数据进行粗粒度的结构化描述的提取，再在粗粒度的结构化描述的基础上，设定视频帧的分割点和帧内分割区域块，然后在已设定的分割点和分割块中进行细粒度的标注，从而降低人工设备标注标准对视频标注的主观影响，提高视频标注的精确度，且便于视频标注训练集的自动扩充，同时，应用方式简便，实现成本低廉，应用范围也较为广泛的基于。为了实现上述的目的，本专利技术的基于便携式设备实现视频知识采集与标注功能的系统具有如下构成该系统包括资源输入模块、结构化描述模块、标注设备模块、双向切割模块和中心控制模块。其中，资源输入模块连接系统外部设备，用以从所连接的外部设备中获取视频文件和视频帧截取的图片文件；结构化描述模块用以提取所述的视频文件和视频帧截取的图片文件的结构化描述内容，产生结构化描述数据；标注设备模块为所述的便携式设备，用以根据所述的结构化描述数据对所述的视频文件和视频帧截取的图片文件进行标注；双向切割模块根据所述的视频文件和视频帧截取的图片文件的标注设置多个不同的语义分割点或区域，将所述的视频文件和视频帧截取的图片文件根据所述的语义分割点或区域划分为多个具有不同语义的视频片段或图片中的不同区域；中心控制模块连接所述的资源输入模块、结构化描述模块、标注设备模块和双向切割模块，用以向所述各模块发送任务指令，调度各模块的运行。该基于便携式设备实现视频知识采集与标注功能的系统中，所述的结构化描述模块包括顺序连接的语义关系单元、时空分割单元、特征提取单元和对象识别单元，用以产生人和计算机系统可识别的关于视频和图像的多层次结构化描述信息。该基于便携式设备实现视频知识采集与标注功能的系统中，所述的双向切割模块包括分割点设置单元和切割单元，所述的分割点设置单元根据所述的标注在所述的视频文件或视频帧截取的图片文件的设置多个不同的语义分割点或区域；所述的切割单元用以将所述的视频文件和视频帧截取的图片文件根据所述的语义分割点或区域划分为多个具有不同语义的视频片段或图片中的不同区域。该基于便携式设备实现视频知识采集与标注功能的系统中，所述的标注设备模块包括粗颗粒标注处理单元和细颗粒标注处理单元，所述的粗颗粒标注处理单元用以根据所述的结构化描述数据对所述的视频文件和视频帧截取的图片文件进行粗颗粒标注；所述的细颗粒标注处理单元用以根据所述的结构化描述数据对所述的经双向切割模块分割的具有不同语义的视频片段或图片中的不同区域进行细颗粒标注。该基于便携式设备实现视频知识采集与标注功能的系统中，所述的便携式设备包括平板电脑、智能手机和数码摄像机。本专利技术还公开了一种利用所述的系统实现便携式设备视频知识采集与标注处理的方法，该方法包括以下步骤(201)所述的资源输入模块从所连接的互联网、局域网或视频数据库中获取视频文件和视频帧截取的图片文件；(202)所述的结构化描述模块提取所述的视频文件和视频帧截取的图片文件的结构化描述内容，产生结构化描述数据；(203)所述的结构化描述模块提取所述的视频文件和视频帧截取的图片文件的视频图像特征和语义数据，并将所述的图像特征和语义数据输入到结构化描述数据中；(204)所述的标注设备模块根据所述的结构化描述数据对所述的视频文件和视频帧截取的图片文件进行粗粒度标注；(205)所述的双向切割模块根据所述的粗粒度标注，在所述的视频文件和视频帧截取的图片文件中设置多个不同的语义分割点或区域；(206)所述的双向切割模块将所述的视频文件和视频帧截取的图片文件根据所述的语义分割点或区域划分为多个具有不同语义的视频片段或图片中的不同区域；(207)所述的标注设备模块对所述的具有不同语义的视频片段或图片中的不同区域进行细颗粒标注。该实现便携式设备视频知识采集与标注处理的方法中，所述的结构化描述模块包括顺序连接的语义关系单元、时空分割单元、特征提取单元和对象识别单元，所述的步骤(202)具体包括以下步骤(301)所述的语义关系单元确定所述的视频文件和视频帧截取的图片文件中的对象的含义；(302)所述的时空分割单元，根据所述的对象含义从所述的视频文件和视频帧截取的图片文件中分离出有意义的对象，所述的有意义的对象包括语义级别的对象形状信息和对象纹理信息；(303)所述的特征提取单元根据所述的视频文件和视频帧截取的图片文件的颜色特征和空间特征提取特征内容；(304)所述的对象识别单元根据已知训练对象集合对未知对象进行识别和分类；(305)根据上述的时空分割、特征提取和对象识别的结果，生成所述的关于视频和图像的多层次结构化描述数据。该实现便携式设备视频知识采集与标注处理的方法中，所述的双本文档来自技高网...

【技术保护点】
一种基于便携式设备实现视频知识采集与标注功能的系统，其特征在于，所述的系统包括：资源输入模块，连接系统外部设备，用以从所连接的外部设备中获取视频文件和视频帧截取的图片文件；结构化描述模块，用以提取所述的视频文件和视频帧截取的图片文件的结构化描述内容，产生结构化描述数据；标注设备模块，为所述的便携式设备，用以根据所述的结构化描述数据对所述的视频文件和视频帧截取的图片文件进行标注；双向切割模块，根据所述的视频文件和视频帧截取的图片文件的标注设置多个不同的语义分割点或区域，将所述的视频文件和视频帧截取的图片文件根据所述的语义分割点或区域划分为多个具有不同语义的视频片段或图片中的不同区域；中心控制模块，连接所述的资源输入模块、结构化描述模块、标注设备模块和双向切割模块，用以向所述各模块发送任务指令，调度各模块的运行。

【技术特征摘要】
1.一种基于便携式设备实现视频知识采集与标注功能的系统，其特征在于，所述的系统包括: 资源输入模块，连接系统外部设备，用以从所连接的外部设备中获取视频文件和视频帧截取的图片文件； 结构化描述模块，用以提取所述的视频文件和视频帧截取的图片文件的结构化描述内容，产生结构化描述数据； 标注设备模块，为所述的便携式设备，用以根据所述的结构化描述数据对所述的视频文件和视频帧截取的图片文件进行标注； 双向切割模块，根据所述的视频文件和视频帧截取的图片文件的标注设置多个不同的语义分割点或区域，将所述的视频文件和视频帧截取的图片文件根据所述的语义分割点或区域划分为多个具有不同语义的视频片段或图片中的不同区域； 中心控制模块，连接所述的资源输入模块、结构化描述模块、标注设备模块和双向切割模块，用以向所述各模块发送任务指令，调度各模块的运行。2.根据权利要求1所述的基于便携式设备实现视频知识采集与标注功能的系统，其特征在于，所述的结构化描述模块包括顺序连接的语义关系单元、时空分割单元、特征提取单元和对象识别单元，用以产生人和计算机系统可识别的关于视频和图像的多层次结构化描述信息。3.根据权利要求1所述的基于便携式设备实现视频知识采集与标注功能的系统，其特征在于，所述的双向切割模块包括分割点设置单元和切割单元，所述的分割点设置单元根据所述的标注在所述的视频文件或视频帧截取的图片文件的设置多个不同的语义分割点或区域；所述的切割单元用以将所述的视频文件和视频帧截取的图片文件根据所述的语义分割点或区域划分为多个具有不同语义的视频片段或图片中的不同区域。4.根据权利要求3所述的基于便携式设备实现视频知识采集与标注功能的系统，其特征在于，所述的标注设备模块包括粗颗粒标注处理单元和细颗粒标注处理单元，所述的粗颗粒标注处理单元用以根据所述的结构化描述数据对所述的视频文件和视频帧截取的图片文件进行粗颗粒标注；所述的细颗粒标注处理单元用以根据所述的结构化描述数据对所述的经双向切割模块分割的具有不同语义的视频片段或图片中的不同区域进行细颗粒标注。5.根据权利要求1至4中任一项所述的基于便携式设备实现视频知识采集与标注功能的系统，其特征在于，所述的便携式设备包括平板电脑、智能手机和数码摄像机。6.一种利用权利要求1所述的系统实现便携式设备视频知识采集与标注处理的方法，其特征在于，所述的方法包括以下步骤: (201)所述的资源输入模块从所连接的互联网、局域网或视频数据库中获取视频文件和视频帧截取的图片文件； (202)所述的结构化描述模块提取所述的视频文件和视频帧截取的图片文件的结构化描述内容，产生结构化描述数据； (203)所述的结构化描述模块提取所述的视频文件和视频帧截取的图片文件的视频图像特征和语义数据，并将所述的图像特征和语义数据输入到结构化描述数据中； (204)所述的标注设备模块根据所述的结构化描述数据对所述的视频文件和视频帧截取的图片文件进行粗粒度标注； (205)所述的双向切割模块根据所述的粗粒度标注，在所述的视频文件和视频帧截取的图片文件中设置多个不同的语义分割点或区域； (206)所述的双向切割模块将所述的视频文件和视频帧截取的图片文件根据所述的语义分割点或区域划分为多个具有不同语义的视频片段或图片中的不同区域； (207)所述的标注设备模块对所述的具有不同语义的视频片段或图片中的不同区域进行细颗粒标注。7.根据权利要求6所述的实现便携式设备视频知识采集与标注处理的方法，其特征在于，所述的结...

【专利技术属性】
技术研发人员：李逸，胡传平，梅林，
申请(专利权)人：公安部第三研究所，
类型：发明
国别省市：