用于优先分段数据的速率自适应编码解码方案制造技术

一种速率自适应系统中的方法，包括：由编码器将分段图像中的多个数据簇分类为对应于具有预定优先级的不同预定标签的多个类别之一；由编码器对数据进行矢量化，以生成用于其对应标签的稀疏矢量x

【技术实现步骤摘要】
用于优先分段数据的速率自适应编码解码方案


[0001]本公开总体上涉及感知系统和方法，并且更具体地涉及用于共享分段(segmented)图像的系统和方法。

技术介绍

[0002]车辆的传感器共享可能具有可观的益处。但是，传感器共享可能会有许多困难。由于例如数据传输的成本和通信的高潜在等待时间，车辆产生的大量数据可能不会被不加区别地共享，这可能使数据无关紧要。标准压缩方法不能利用在图像中发现的分段输入的稀疏性质，不能达到高压缩率，并且难以动态(on
‑
the
‑
fly)适应以优化信道吞吐量。
[0003]因此，期望提供可以利用分段输入的稀疏性质以允许传感器共享的系统和方法。此外，结合附图和本专利技术的背景，从随后的详细描述和所附的权利要求书，本专利技术的其他期望的特征和特性将变得显而易见。

技术实现思路

[0004]公开了用于提供速率(rate)自适应感知共享的系统和方法。在一个实施例中，公开了一种用于实现场景感知共享的速率自适应系统。该系统包括观看系统处的基于优先级的编码器和远程系统处的基于优先级的解码器。该基于优先级的编码器包括控制器，该控制器被配置为：将所接收的场景的分段图像中的多个数据簇分割(split)成多个不同的预定标签中的一个，其中每个标签被分配有预定的优先级水平；对用于多个标签的数据进行矢量化(例如，将分割的数据转换成用于每个标签的矢量，其中每个矢量包括单独的矩阵，其中对应于标签的像素被标记，而剩余的像素未被标记)，以生成用于其对应标签的稀疏矢量x
i
，该稀疏矢量具有其对应标签的优先级水平；通过将测量矩阵A
i
(t)与稀疏矢量x
i
相乘以生成具有其对应标签的优先级水平的相应标签的一组编码信息y
i
，来编码多个稀疏矢量x
i
，从而生成多组编码信息y
i
；以及以优先顺序发送多组编码信息y
i
，其中较高优先级水平组的编码信息y
i
在较低优先级水平组的编码信息y
i
之前发送。基于优先级的解码器包括控制器，该控制器被配置为：接收多组编码信息y
i
；基于确定测量矩阵A
i
(t)，解码多组编码信息y
i
以确定多个稀疏矢量以及将多个稀疏矢量联合成一个联合矢量；其中该联合矢量可以被重新整形为包括近似图像分段的场景的近似图像。
[0005]在一个实施例中，基于优先级的编码器还被配置为以优先顺序编码多个稀疏矢量x
i
，其中较高优先级水平稀疏矢量x
i
在较低优先级水平稀疏矢量x
i
之前被编码。
[0006]在一个实施例中，测量矩阵A
i
(t)被配置为允许以比对应于较低优先级水平稀疏矢量x
i
的数据更高的分辨率来编码对应于较高优先级水平稀疏矢量x
i
的数据。
[0007]在一个实施例中，基于优先级的解码器还被配置为以优先顺序解码多组编码信息y
i
，以确定多个稀疏矢量其中较高优先级水平组的编码信息yi在较低优先级水平组的编码信息y
i
之前被解码。
[0008]在一个实施例中，基于优先级的解码器还被配置为解码多组编码信息y
i
，以基于y
i
＝A
i
(t)x
i
确定多个稀疏矢量使得||x
i
||是最小的。
[0009]在一个实施例中，基于在基于优先级的编码器处和基于优先级的解码器处已知的公共种子，在基于优先级的编码器处和基于优先级的解码器处确定测量矩阵A
i
(t)。
[0010]在一个实施例中，基于由基于优先级的解码器向基于优先级的编码器提供的反馈，在基于优先级的编码器处确定测量矩阵A
i
(t)的维数(dimensions)。
[0011]在一个实施例中，优先编码器被配置为基于根据用标签分段的像素的数量来估计标签的稀疏性水平s来确定测量矩阵A
i
(t)的维数。
[0012]在一个实施例中，优先解码器被配置为基于根据用标签分段的像素的数量来估计标签的稀疏性水平s来确定测量矩阵A
i
(t)的维数。
[0013]在一个实施例中，优先编码器和优先解码器均进一步被配置为基于当前帧(或最后一对帧)中每个标签的稀疏性和速率的总和小于或等于约束来确定下一帧中要使用的测量矩阵A
i
(t)的维数。
[0014]在一个实施例中，场景的分段图像从摄像机图像、雷达深度图像、激光雷达深度图像或声音图像中导出；观察系统包括自主或半自主驱动的车辆；并且远程系统包括基于云的、基于边缘云的计算系统、基础设施或其他车辆。
[0015]在另一个实施例中，提供了一种速率自适应系统中的方法，该速率自适应系统包括观看系统处的基于优先级的编码器和远程系统处的基于优先级的解码器，用于实现场景的感知共享。该方法包括由基于优先级的编码器根据多个不同的预定标签中的一个来分割接收到的场景的分段图像中的多个数据簇，其中每个标签被分配预定的优先级水平；由基于优先级的编码器对多个标签的数据进行矢量化(例如，将分割的数据转换成每个标签的矢量，其中每个矢量包括单独的矩阵，在该矩阵中，对应于标签的像素被标记，而剩余的像素未被标记)，以生成用于其对应标签的稀疏矢量x
i
，该稀疏矢量具有其对应标签的优先级水平；由基于优先级的编码器通过将测量矩阵A
i
(t)与稀疏矢量x
i
相乘以生成具有其对应标签的优先级水平的其对应标签的一组编码信息y
i
，来编码多个稀疏矢量x
i
，从而生成多组编码信息y
i
；由基于优先级的编码器以优先顺序向基于优先级的解码器发送多组编码信息y
i
，其中较高优先级水平组的编码信息y
i
在较低优先级水平组的编码信息y
i
之前发送；由基于优先级的解码器解码多组编码信息y
i
，以基于确定测量矩阵A
i
(t)来确定所述多个稀疏矢量将所述多个稀疏矢量联合为一个联合矢量，其中所述联合矢量可以被重新整形为包括近似图像分段的场景的近似图像。
[0016]在一个实施例中，编码多个稀疏矢量x
i
包括以优先顺序编码多个稀疏矢量x
i
，其中较高优先级水平稀疏矢量x
i
在较低优先级水平稀疏矢量x
i
之前被编码。
[0017]在一个实施例中，测量矩阵A
i
(t)被配置为允许以比对应于较低优先级水平稀疏矢量x
i
的数据更高的分辨率来编码对应于较高优先级水平稀疏矢量x...

【技术保护点】

【技术特征摘要】
1.一种用于实现场景的感知共享的速率自适应系统，该系统包括：观看系统处的基于优先级的编码器，包括控制器，该控制器被配置成：根据多个不同的预定标签中的一个，分割所接收到的场景的分段图像中的多个数据簇，其中每个标签被分配预定的优先级水平；对用于多个标签的数据进行矢量化，以生成用于其对应标签的稀疏矢量x
i
，该稀疏矢量具有其对应标签的优先级水平；通过将测量矩阵A
i
(t)与稀疏矢量x
i
相乘来编码多个稀疏矢量x
i
，以生成用于其对应标签的一组编码信息y
i
，该一组编码信息具有其对应标签的优先级水平，从而生成多组编码信息y
i
；和以优先顺序发送多组编码信息y
i
，其中较高优先级水平组的编码信息y
i
在较低优先级水平组的编码信息y
i
之前发送；和远程系统处的基于优先级的解码器，包括控制器，该控制器被配置成：接收多组编码信息y
i
；基于确定测量矩阵A
i
(t)，解码多组编码信息y
i
以确定多个稀疏矢量和将多个稀疏矢量联合成一联合矢量；其中该联合矢量能够被重新整形为包括近似图像分段的场景的近似图像。2.根据权利要求1所述的速率自适应系统，其中，基于优先级的编码器还被配置为以优先顺序对多个稀疏矢量x
i
进行编码，其中在较低优先级水平稀疏矢量x
i
之前对较高优先级水平稀疏矢量x
i
进行编码。3.根据权利要求1所述的速率自适应系统，其中，所述测量矩阵A
i
(t)被配置为允许以比对应于所述较低优先级水平稀疏矢量x
i
的数据更高的分辨率对对应于所述较高优先级水平稀疏矢量x
i
的数据进行编码。4.根据权利要求1所述的速率自适应系统，其中，基于优先级的解码器还被配置为以优先顺序解码多组编码信息y
i
，以确定多个稀疏矢量其中，较高优先级水平组的编码信息y
i
在较低优先级水平组的编码信息y
i
之前被解码。5.根据权利要求1所述的速率自适应系统，其中，基于优先级的解码器还被配置为解码多组编码信息y
i
，以基于y
i
＝A

【专利技术属性】
技术研发人员：J坎皮斯，R布斯丁，E基肖恩，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：