基于H.264密文云视频存储的标签制作及索引方法技术

本发明专利技术提供一种基于H.264密文云视频存储的标签制作及索引方法，包括：首先对采用H.264视频压缩标准采集的视频数据流进行视频分析，提取出用户感兴趣的信息制作成视频标签文件；视频标签文件中的每条记录即标签至少包含下述列：TimeStamp：表明记录对应的该帧图像的绝对时间戳信息，用以完成基于时间点的检索请求；Offset：表明上述一帧图像在视频文件中的偏移量信息；Content：表明用户感兴趣的信息的具体内容。然后采用流加密的方式对明文视频数据流进行加密，加密时采用压缩比不变的视频加密方法；最后将经过加密的H.264格式的视频文件以及提取的视频标签文件上传至云服务器存储。

Tag making and indexing method based on H.264 cipher cloud video storage

The invention provides a labeling and indexing method, H.264 cloud video storage based on ciphertext includes: first video data based on H.264 video compression standard acquisition stream video analysis, extract the user interested information into video label files; each record label in the label video file comprises the following columns: TimeStamp that absolute time stamp information corresponding to the frame of image recording, to complete the search request based on the time point; Offset: indicates that the image frames in the video file in the offset information; Content: the results showed that the specific content of information of interest to users. Then using the method of stream encryption to encrypt the plaintext stream of video data encryption with compression ratio invariant video encryption method; finally the encrypted H.264 format video files and video files label extraction is uploaded to the cloud server storage.

【技术实现步骤摘要】
基于H.264密文云视频存储的标签制作及索引方法
本专利技术涉及一种视频云存储方法，尤其是一种云视频存储的标签制作及索引方法。
技术介绍
近年来，我国安防行业一直保持高速增长，“十一五”期间年复合增长率超过23%，根据《中国安防行业“十二五”发展规划》，2015年行业总产值将达5000亿元。按照全行业20%的年复合增长率估算，其中视频监控系统产值将突破1000亿元，占安防电子系统的份额超过50%，成为其规模最大且最具增长潜力的细分领域。视频监控系统处于安防系统核心地位，因为其他系统基本都需与其结合应用，而且视频监控系统在安防系统中的产值占比也最大，达到40-45%。随着计算机技术、通信技术、物联网技术等众多新技术得到创新应用，也促进了视频监控系统的革新性发展，视频监控系统变得更加强大，可与各个行业业务管理系统不断融合，进一步发挥更大价值。相对封闭的视频监控系统正在与IT、通信等产业相融合。各地区的视频监控系统分散独立建设，各自几乎都为一个独立的系统。这样导致各地市和各使用部门建设的独立监控系统没有进行统一的资源库整合，无法进行资源共享，各部门之间的监控系统没有衔接，存在着大量的信息孤岛。为了打破信息孤岛，大联网平台建设已经成为未来几年平安城市建设的首要任务。构建大联网平台建设离不开海量的视频存储系统，云计算以分布式的架构思想为海量视频存储以及检索系统提供了实践上的可能性，利用云存储以及云计算来构建大规模统一平台的视频监控系统也成为了最快速和有效的途径。云计算本身发展到今天已经有很多成熟的应用，如Google公司的GoogleDocs，另外微软、Amazon也有类似的云计算服务。云计算基础设施之一是提供可靠、安全的数据存储中心。另一方面，如何从海量的视频存储系统中快速有效的检索出需要的有价值的信息也称为了挑战之一。智能视频监控以数字化、网络化视频监控为基础，它是一种更高端的视频监控应用。智能视频技术借助计算机强大的数据处理功能，对视频画面中的海量数据进行高速分析，过滤掉用户不关心的信息，仅仅为监控者提供有用的关键信息。在世界反恐斗争日趋严峻的今天，智能视频监控显然能够成为应对恐怖主义袭击和处理突发事件的有力辅助工具。此外，智能视频监控还可以应用在交通管理、客户行为分析、客户服务等多种非安全相关的场景，以提高用户的投资回报。
技术实现思路
本专利技术的目的在于提供一种用于快速检索的视频标签制作方法，以完成在海量密文视频数据中快速检索所需要信息的任务。本专利技术采用的技术方案是：一种基于H.264密文云视频存储的标签制作及索引方法，包括：首先对采用H.264视频压缩标准采集的视频数据流进行视频分析，提取出用户感兴趣的信息制作成视频标签文件；视频标签文件中的每条记录即标签至少包含下述列：TimeStamp：表明记录对应的该帧图像的绝对时间戳信息，用以完成基于时间点的检索请求；Offset：表明上述一帧图像在视频文件中的偏移量信息；Content：表明用户感兴趣的信息的具体内容；该视频标签文件中的记录基于TimeStamp列的时间戳前后顺序进行排序，就自然形成一级索引文件；然后采用流加密的方式对明文视频数据流进行加密，加密时采用压缩比不变的视频加密方法以保证加密前后视频的大小不会发生变化；最后将经过加密的H.264格式的视频文件以及提取的视频标签文件上传至云服务器存储。进一步地，制作视频标签文件时，视频标签文件中的每条记录还包括下述列：ID：视频标签的标示符；通道信息：表明视频的来源；NAL_Type：表明所索引帧的类型；Video/Audio：表明所索引的帧是视频帧还是音频帧。进一步地，在一级索引文件的基础上，针对TimeStamp列构建二级索引，即在一级索引文件中，相隔一个时间段就抽取一条记录，根据抽取出的记录在一级索引文件中的偏移量，以及该条抽取出的记录中的绝对时间戳信息，构建二级索引，形成二级索引文件并上传至云服务器存储。进一步地，视频文件中的偏移量，以及构建二级索引时抽取出的记录在一级索引文件中的偏移量均用字节偏移量表示。本专利技术的优点在于：在建立了视频标签文件并形成二级检索机制后，可以大大的提高密文视频的检索速度，有利于在海量的视频文件中，快速检索到用户需要的内容信息。附图说明图1为本专利技术的结构流程图。具体实施方式下面结合具体附图和实施例对本专利技术作进一步说明。本技术方案的基本思想是前端IP网络摄像头（IPC）采集的H.264视频流数据通过智能视频分析提取出用户可能感兴趣的信息制作视频标签，然后将视频数据流进行加密，采用压缩比不变的视频加密方法进行加密，以保证加密前后标签的索引位置不会发生变化，保证提取标签的有效性。如图1所示：流程图中①显示前端IPC采用H.264视频压缩标准采集的视频数据流经过视频智能分析，提取出用户感兴趣的信息制作成视频标签文件；然后采用流加密的方式对明文视频数据流进行加密，注意要采用压缩比不变的视频加密方法以保证加密前后视频的大小不会发生变化，否则偏移量等信息发生变化，视频标签文件将会失效。最后经过加密的H.264格式的视频文件以及提取的视频标签文件上传至云服务器存储。其中视频标签文件针对H.264视频压缩标准进行制作，一个视频标签文件中通常包含了许多条记录，一条记录就是一个标签。通过对H.264码流的视频帧结构进行研究提取的视频标签结构如下：a)ID：为视频标签的标示符；b)通道信息：表明视频的来源，即IPC的IP地址以及地理位置信息；c)Video/Audio：表明索引的帧是视频帧还是音频帧；d)TimeStamp：表明记录对应的某帧图像的绝对时间戳信息，用以完成基于时间点的检索请求；e)NAL_Type：表明所索引帧的类型，包括I帧、P帧、SPS、PPS、SEI等类型；f)Offset：表明上述一帧图像在视频文件中的偏移量信息；此处偏移量用字节偏移量表示。g)Content：为经过智能视频分析所得出的用户感兴趣的信息的具体内容，其中包括该帧中是否有人或者车辆出现，以及物体的运动轨迹监测，以及物体的颜色等辅助信息，来完成类似“穿红色衣服男子”、“发生越界行为”、“车辆发生碰撞”等检索请求。long表示长整型数据类型，int表示整型数据类型。视频标签文件中的记录基于TimeStamp列的时间戳前后顺序进行排序，就自然形成一级索引文件。也就是说，视频标签文件就是一个一级索引文件。视频标签文件基于TimeStamp列进行排序，这也符合视频流实时存储的概念，也方便针对该列构建二级索引，方便快速定位。由于前端摄像头数量庞大，而且都为高清视频，所以视频标签文件的数量和大小都很大，造成检索速度的下降，为此提出二级索引机制来完成密文视频的快速检索。在视频一级索引文件的基础上再构建一级索引来实现快速定位。具体如下：由于视频标签文件是基于TimeStamp列进行排序的，所以可以在一级索引文件的基础上，针对TimeStamp列构建二级索引，即在一级索引文件中，相隔一个时间段就抽取一条记录，根据抽取出的记录在一级索引文件中的偏移量，以及该条抽取出的记录中的绝对时间戳信息，构建二级索引，形成二级索引文件并上传至云服务器存储。此处偏移量用字节偏移量表示。一个一级索引文件和二级索引文件的例子如下所示：以上是本文档来自技高网...

【技术保护点】
一种基于H.264密文云视频存储的标签制作及索引方法，其特征在于，包括：首先对采用H.264视频压缩标准采集的视频数据流进行视频分析，提取出用户感兴趣的信息制作成视频标签文件；视频标签文件中的每条记录即标签至少包含下述列：TimeStamp：表明记录对应的帧图像的绝对时间戳信息，用以完成基于时间点的检索请求；Offset：表明上述一帧图像在视频文件中的偏移量信息；Content：表明用户感兴趣的信息的具体内容；该视频标签文件中的记录基于TimeStamp列的时间戳前后顺序进行排序，就自然形成一级索引文件；然后采用流加密的方式对明文视频数据流进行加密，加密时采用压缩比不变的视频加密方法以保证加密前后视频的大小不会发生变化；最后将经过加密的H.264格式的视频文件以及提取的视频标签文件上传至云服务器存储；在一级索引文件的基础上，针对TimeStamp列构建二级索引，即在一级索引文件中，相隔一个时间段就抽取一条记录，根据抽取出的记录在一级索引文件中的偏移量，以及该条抽取出的记录中的绝对时间戳信息，构建二级索引，形成二级索引文件并上传至云服务器存储；视频文件中的偏移量，以及构建二级索引时抽取出的记录在一级索引文件中的偏移量均用字节偏移量表示。...

【技术特征摘要】
1.一种基于H.264密文云视频存储的标签制作及索引方法，其特征在于，包括：首先对采用H.264视频压缩标准采集的视频数据流进行视频分析，提取出用户感兴趣的信息制作成视频标签文件；视频标签文件中的每条记录即标签至少包含下述列：TimeStamp：表明记录对应的帧图像的绝对时间戳信息，用以完成基于时间点的检索请求；Offset：表明上述一帧图像在视频文件中的偏移量信息；Content：表明用户感兴趣的信息的具体内容；该视频标签文件中的记录基于TimeStamp列的时间戳前后顺序进行排序，就自然形成一级索引文件；然后采用流加密的方式对明文视频数据流进行加密，加密时采用压缩比不变的视频加密方法以保证加密前后视频的大小不会发生变化；最后将经过加密的H.264格式的视频文...

【专利技术属性】
技术研发人员：刘庆昊，芦翔，吕世超，潘磊，周新运，孙利民，孙兆曙，
申请(专利权)人：江苏物联网研究发展中心，
类型：发明
国别省市：江苏,32