【技术实现步骤摘要】
本专利技术属于视频大数据应用，具体涉及一种支持群智感知的端边云紧凑视频编码方法及系统。
技术介绍
1、近十几年来，智慧城市、数字孪生、元宇宙等技术及应用业态相继出现，吸引了业界的关注。提出的城市大脑系统，可实时处理大规模多源数据，在城市交通、警情监控等场景部署实施并验证了有效性，智慧城市应用中，视频大数据协同群智感知和协同分析是关键，但是海量视频大数据群智感知应用仍存在一些问题，面临难存储、难检索和难识别等挑战。
2、群智视频应用系统采集的视频数据中存在大量冗余，如何在低质冗余数据中选择萃取汇聚优质数据是其中一个关键问题。城市摄像头记录视频数据被监管者查阅不到10％。现有主流技术体系中摄像头独立采集压缩视频，海量压缩视频数据汇聚到云端，协同感知分析在云端进行，这种系统面临传输存储代价大，单路视频智能分析成本较高挑战。如果没有重大技术突破，数千万摄像头根本无法实现“全网共享”实时数据汇聚，更不可能实现“全时可用”联网分析识别。
3、研究表明，大脑皮层层次结构与视觉特征表示级别之间存在层次对应关系，揭示了人类和机器视...
【技术保护点】
1.一种支持群智感知的端边云紧凑视频编码方法，其特征在于包括如下步骤：
2.根据权利要求1所述的一种支持群智感知的端边云紧凑视频编码方法，其特征在于：所述步骤一中，采用目标检测跟踪算法，对每路摄像头视频进行目标检测和跟踪，得到语义目标序列，考虑语义目标检测置信度、语义矩形框中语义目标歧义度、基于遮挡暴露程度和骨架关键点完整度定义语义完整度参数、考虑相邻语义目标图片平均相关度，基于保留语义信息最大化和平均相关度最大化约束，在每路摄像头视频的语义目标图片序列中，选取一组多角度语义目标图片。
3.根据权利要求1所述的一种支持群智感知的端边云紧凑视频编...
【技术特征摘要】
1.一种支持群智感知的端边云紧凑视频编码方法，其特征在于包括如下步骤：
2.根据权利要求1所述的一种支持群智感知的端边云紧凑视频编码方法，其特征在于：所述步骤一中，采用目标检测跟踪算法，对每路摄像头视频进行目标检测和跟踪，得到语义目标序列，考虑语义目标检测置信度、语义矩形框中语义目标歧义度、基于遮挡暴露程度和骨架关键点完整度定义语义完整度参数、考虑相邻语义目标图片平均相关度，基于保留语义信息最大化和平均相关度最大化约束，在每路摄像头视频的语义目标图片序列中，选取一组多角度语义目标图片。
3.根据权利要求1所述的一种支持群智感知的端边云紧凑视频编码方法，其特征在于：所述步骤二中，针对单路摄像头视频中优选出的语义目标图片，进行跨摄像头目标跟踪，分析语义目标之间相关性程度，同时考虑语义目标检测置信度，考虑语义框中语义目标歧义度、基于遮挡暴露程度和骨架关键点完整度定义语义完整度参数，同时考虑时间和物理空间约束，确定跨摄像头目标轨迹序列，为整个摄像头网络中的语义目标生成完整轨迹，利用物理空间和时间约束以及稀疏性约束，基于保留语义信息最大化和平均相关度最大化约束，在跨摄像头跟踪轨迹中选取一组语义目标图片。
4.根据权利要求1所述的一种支持群智感知的端边云紧凑视频编码方法，其特征在于：所述步骤三中，基于语义目标提取网络检测出语义目标对象，经过压缩和检索双目标驱动的特征提取、表示和编码，基于目标跟踪和图片优选，选取包含语义信息最大的语义图片框，对其进行一次编码描述；然后通过跟踪技术找到时域轨迹，通过特征提取为该目标对象在时域轨迹上图片框序列检测出紧凑深度学习特征序列和/或更紧凑的关键点序列特征，仅将紧凑特征编码进码流传输给解码器，基于解码器解码获得紧凑深度学习特征序列以及解码获得的参考对象，采用条件生成网络重构语义目标对象。
5.根据权利要求1所述的一种支持群智感知的端边云紧凑视频编码方法，其特征在于：所述步骤三中，采用多层次的紧凑特征表达方法，包括视频群优选语义图片、非结构化视觉特征、语义目标关键点序列、结构化视觉特征；对于包含优选图片的摄像头，编码包括优选图片、非结构化视觉特征、语义目标关键点序列和结构化特征的码流；对于不包含优选图片的摄像头，标识跨摄像头语义目标id，仅编码包括非结构化视觉特征、语义目标关键点序列和结构化特征的码流；基于率-失真-复杂度约束的...
【专利技术属性】
技术研发人员：殷海兵，黄晓峰，王鸿奎，赖昌材，林聚财，盛庆华，颜成钢，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。