智能驾驶场景语义编码上链和多下游任务集成方法及系统技术方案

本发明专利技术提供智能驾驶场景语义编码上链和多下游任务集成方法及系统，包括：构建智能驾驶场景下视频数据关键帧特征编码器M<subgt;e</subgt;，通过自监督重建任务进行编码器参数学习；根据区块链共享节点的业务需求设计安全员异常行为识别、场景重建、安全员人脸识别等多种下游任务解码器D<subgt;i</subgt;，通过多下游任务共同监督多个解码器D<subgt;i</subgt;的训练；搭建视频数据语义编码上链和下游任务应用框架，涵盖输入视频数据S、筛选关键帧S<subgt;f</subgt;、获取关键帧语义编码信息M<subgt;e</subgt;(S<subgt;f</subgt;)上链、多节点共识和编码信息共享、得到下游任务解码信息D<subgt;i</subgt;[M<subgt;e</subgt;(S<subgt;f</subgt;)]。本发明专利技术通过语义编码上链实现海量复杂数据的高效表征和存证，满足区块链共享节点的多种下游任务需求，从而促进相关领域数据的高效可信存证和可信共享。

【技术实现步骤摘要】

本专利技术涉及区块链应用领域，具体为智能驾驶场景语义编码上链和多下游任务集成方法及系统。

技术介绍

1、海量实时数据的收集、处理和分析是推进智能网联汽车行业技术优化迭代和产品广泛应用的核心驱动力，然而现阶段大量多源传感器数据的有效管理和充分利用仍是限制智能网联汽车行业进一步发展的主要挑战，此外由于数据格式不一、信任机制未建立以及缺乏标准化的共享机制，自动驾驶行业不同企业或机构之间还存在数据孤岛难题，导致海量数据价值难以充分挖掘和利用。传统中心化智能驾驶数据管理方案对存储容量要求高并且存在数据丢失、篡改和泄露的风险，缺乏统一的数据标准和互操作性，导致数据利用效率低下且不同企业数据难以互通共享。传统基于区块链的智能驾驶视频数据存证共享方案受限于区块链存储特性，无法支持海量实时数据的上链存证与共享。本专利技术提出智能驾驶场景语义编码上链和多下游任务集成方法及系统，通过对智能驾驶场景下视频数据进行语义编码上链，在保持数据完整性和准确性的前提下实现海量复杂数据的高效表征和存证，保证数据源头可信的同时实现数据的安全共享，满足区块链共享节点的多种下游任务需求，从而促进相本文档来自技高网...

【技术保护点】

1.智能驾驶场景语义编码上链和多下游任务集成方法及系统，其特征在于，所述方法及系统包括以下步骤：

2.如权利要求1所述的智能驾驶场景语义编码上链和多下游任务集成方法及系统，其特征在于，在步骤1中，所述智能驾驶场景中安全驾驶员监管模式下视频数据集采集、视频数据时间戳对齐等预处理操作和细粒度人工标注，具体为：将摄像机固定在车内安全驾驶员右侧和俯视等多个视角，采集安全驾驶员在智能驾驶场景下的各类动作行为数据，包括但不限于正常驾驶、双手脱离方向盘、吸烟、吃东西、玩手机、接打电话、镜头中消失、喝水、睡觉等，形成原始数据集Sraw，对原始数据集进行时时间戳对齐、帧率标准化、缩放和裁剪、片...

【技术特征摘要】

1.智能驾驶场景语义编码上链和多下游任务集成方法及系统，其特征在于，所述方法及系统包括以下步骤：

2.如权利要求1所述的智能驾驶场景语义编码上链和多下游任务集成方法及系统，其特征在于，在步骤1中，所述智能驾驶场景中安全驾驶员监管模式下视频数据集采集、视频数据时间戳对齐等预处理操作和细粒度人工标注，具体为：将摄像机固定在车内安全驾驶员右侧和俯视等多个视角，采集安全驾驶员在智能驾驶场景下的各类动作行为数据，包括但不限于正常驾驶、双手脱离方向盘、吸烟、吃东西、玩手机、接打电话、镜头中消失、喝水、睡觉等，形成原始数据集sraw，对原始数据集进行时时间戳对齐、帧率标准化、缩放和裁剪、片段拆分等预处理操作后，根据视频数据内容形成面向多种下游任务场景的综合性细粒度人工标注数据集s。

3.如权利要求1所述的智能驾驶场景语义编码上链和多下游任务集成方法及系统，其特征在于，在步骤2中，所述基于关键帧筛选算法对输入视频数据集s进行关键帧选取，具体为：给定安全驾驶员右侧视角视频数据va＝{v1,v2,v3,...,vn}和俯视角度视频数据vb＝{v′1,v′2,v′3,...,v′n}，采用选取中心帧、选取随机帧和自适应聚类选取代表帧三种策略进行关键帧集合筛选。对于中心帧策略，分别从va和vb中以中心帧为中心前后选共取c帧形成关键帧集合和对于随机帧策略，随机从视频流中选取第k帧为开始帧，得到关键帧集合vka＝{vk,vk+1,...,vk+c}和vkb＝{v′k,v′k+1,...,v′k+c}；对于自适应聚类策略，使用预训练模型进行对va和vb进行视频帧特征提取，分别得到高维视频特征fa＝{f1,f2,f3,...,fn}和fb＝{f′1,f′2,f′3,...,f′n}，然后采用自适应聚类算法对不同视角下视频帧高维特征组合fab＝{(f1,f′1),(f2,f′2),(f3,f′3)...,(fn,f′n)}进行聚类，得到能够代表视频数据语义信息的关键帧集合vka＝{v1,v2,...,vc}和vkb＝{v′1,v′2,...,v′c}。vka和vkb共同组成最终的关键帧集合sf，根据下游业务场景需求选择适当的关键帧筛选策略。

4.如权利要求1所述的智能驾驶场景语义编码上链和多下游任务集成方法及系统，其特征在于，在步骤3中，所述构建智能驾驶场景下基于深度学习的关键帧特征编码器me，具体为：选择深度卷积神经网络作为编码器me的基础组件；然后选定合适的网络层数m和每层卷积核大小参数ki、核数量参数ci和步长参数bi，并在卷积层后添加批标椎化和relu激活函数；进而选择t个卷积层形成卷积块并在相邻卷积块之间加入池化层进行下采样，选择合适的池化方法、池化窗口大小wi、窗口滑动步长hi，最后形成适应智能驾驶场景下视频数据关键帧语义信息的特征编码器网络结构。

5.如权利要求1所述的智能驾驶场景语义编码上链和多下游任务集成方法及系统，其特征在于，在步骤4中，所述基于自监督智能驾驶场景图像重建任务进行关键帧特征编码器me的训练和参数学习，具体为：构建面向智能驾驶场景图像重建任务的解码器d2，和编码器me一起组成图像重建网络；将步骤2关键...

【专利技术属性】
技术研发人员：赵志诚，孟竹，郑思扬，周川湉，史天依，兀睿霄，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：