可分割深度神经网络中的动态特征尺寸适配制造技术

本发明专利技术提出了一种方法，该方法处理针对分布式AI的有效传输，其中规定了在多个带宽之间切换。在边缘设备处的分布式推断期间，每个设备仅需要加载AI模型的一部分一次，但是它们之间所传送的输入/输出特征可通过启用/禁用动态特征尺寸切换器(DySw)中的节点之间的连接而根据可用传输带宽来灵活地配置。当连接或断开一些节点以便实现所需的压缩因数时，DNN的其他参数保持相同。也就是说，将相同的DNN模型用于不同的压缩因数，并且不需要下载新的DNN模型以与压缩因数或网络带宽适配。模型以与压缩因数或网络带宽适配。模型以与压缩因数或网络带宽适配。

【技术实现步骤摘要】
【国外来华专利技术】可分割深度神经网络中的动态特征尺寸适配


[0001]本专利技术实施方案整体上涉及可分割深度神经网络(DNN)中的动态特征尺寸适配。

技术介绍

[0002]人工智能是当今许多
的重要功能区块。这是由于呈深度神经网络(DNN)形式的神经网络的再次兴起。现代DNN通常为计算密集型的，因此，在处理能力低下的移动电话或其他边缘设备上执行DNN操作很有挑战性。这通常通过将数据从移动设备传输到云服务器来解决，在云服务器中完成所有计算。

技术实现思路

[0003]根据一个实施方案，提出了一种设备，该设备包括无线发射/接收单元(WTRU)，该WTRU包括：接收器，其被配置为接收深度神经网络(DNN)模型的一部分，其中所述部分在所述DNN模型的分割点之前，并且其中所述DNN模型的所述部分包括用以在所述DNN模型的所述分割点处压缩特征的神经网络；一个或多个处理器，其被配置为：获得所述神经网络的压缩因数；响应于所述压缩因数，确定将连接所述神经网络中的哪些节点；响应于所述确定，配置所述神经网络；以及利用所述DNN模型的所述部分来执行推断，以生成压缩特征；以及发射器，其被配置为向另一WTRU发射所述压缩特征。
[0004]根据另一实施方案，提出了一种设备，该设备包括无线发射/接收单元(WTRU)，该WTRU包括：接收器，其被配置为接收深度神经网络(DNN)模型的一部分，其中所述部分在所述DNN模型的分割点之后，并且其中所述DNN模型的所述部分包括用以在所述DNN模型的所述分割点处扩展特征的神经网络，其中所述接收器也被配置为接收从另一WTRU输出的一个或多个特征；以及一个或多个处理器，其被配置为：获得所述神经网络的压缩因数；响应于所述压缩因数，确定将连接所述神经网络中的哪些节点；响应于所述确定，配置所述神经网络；以及通过将从另一WTRU输出的所述一个或多个特征用作所述神经网络的输入，利用所述DNN模型的所述部分来执行推断。
[0005]根据另一实施方案，提出了一种方法，包括一种由无线发射/接收单元(WTRU)执行的方法，该方法包括：接收深度神经网络(DNN)模型的一部分，其中所述部分在所述DNN模型的分割点之前，并且其中所述DNN模型的所述部分包括用以在所述DNN模型的所述分割点处压缩特征的神经网络；获得所述神经网络的压缩因数；响应于所述压缩因数，确定将连接所述神经网络中的哪些节点；响应于所述确定，配置所述神经网络；利用所述DNN模型的所述部分来执行推断，以生成压缩特征；以及向另一WTRU发射所述压缩特征。
[0006]根据另一实施方案，提出了一种方法，该方法包括：接收深度神经网络(DNN)模型的一部分，其中所述部分在所述DNN模型的分割点之后，并且其中所述DNN模型的所述部分包括用以在所述DNN模型的所述分割点处扩展特征的神经网络；接收从另一WTRU输出的一个或多个特征；获得所述神经网络的压缩因数；响应于所述压缩因数，确定将连接所述神经网络中的哪些节点；响应于所述确定，配置所述神经网络；以及通过将从另一WTRU输出的所
述一个或多个特征用作所述神经网络的输入，利用所述DNN模型的所述部分来执行推断。
[0007]其他实施方案包括被配置为执行本文所述方法的系统。此类系统可包括处理器以及存储指令的非暂态计算机存储介质，这些指令当在处理器上执行时可操作以执行本文所述的方法。
附图说明
[0008]图1A是示出了其中可实现一个或多个公开实施方案的示例性通信系统的系统图，并且图1B是示出了根据一个实施方案的可以在图1A所示通信系统内使用的示例性无线发射/接收单元(WTRU)的系统图。
[0009]图2示出了一种在没有特征尺寸压缩的情况下用于两个设备之间的分布式AI的机制。
[0010]图3A、图3B和图3C分别示出了具有用于特征压缩的一个、两个和三个候选分割处的DNN。
[0011]图4示出了具有用于特征压缩的单个分割处的DNN。
[0012]图5A示出了一种使用带宽缩减器(BWR)和带宽扩展器(BWE)的用于两个设备(设备1和设备2)之间的分布式AI的特征尺寸压缩机制，其中支持单个压缩因数，并且图5B示出了一种支持多个压缩因数的特征尺寸压缩机制。
[0013]图6A示出了没有BWR和BWE的情况下的总干扰延迟，并且图6B示出了具有BWR和BWR的情况下的总干扰延迟，其中可减小中间数据的尺寸。
[0014]图7示出了根据一个实施方案的一个用以在分割处和压缩因数(CF)配置之间进行动态切换的过程。
[0015]图8A示出了设备1和2估计它们的计算能力和传输信道，图8B示出了每个设备对AI/ML模型的接收，并且图8C示出了这些设备的推断时间操作。
[0016]图9示出了根据一个实施方案的一种DNN具有单个分割处用于自适应特征压缩的方法。
[0017]图10示出了能够减小和扩展尺寸为4的输入的示例性DySw。
[0018]图11示出了图9所示的DySw配置的连接。
具体实施方式
[0019]图1A是示出在其中一个或多个所公开的实施方案可得以实现的示例性通信系统100的示意图。通信系统100可为向多个无线用户提供诸如语音、数据、视频、消息、广播等内容的多址接入系统。通信系统100可使多个无线用户能够通过系统资源(包括无线带宽)的共享来访问此类内容。例如，通信系统100可采用一个或多个信道接入方法，诸如码分多址接入(CDMA)、时分多址接入(TDMA)、频分多址接入(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC
‑
FDMA)、零尾唯一字DFT扩展OFDM(ZT UW DTS
‑
s OFDM)、唯一字OFDM(UW
‑
OFDM)、资源块滤波OFDM、滤波器组多载波(FBMC)等。
[0020]如图1A所示，通信系统100可包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104、CN 106、公共交换电话网(PSTN)108、互联网110和其他网络112，但是应当理解，所公开的实施方案设想了任意数量的WTRU、基站、网络和/或网络元件。WTRU 102a、
102b、102c、102d中的每一者可以是被配置为在无线环境中操作和/或通信的任何类型的设备。作为示例，WTRU 102a、102b、102c、102d(其中任何一个均可被称为“站”和/或“STA”)可被配置为传输和/或接收无线信号，并且可包括用户装备(UE)、移动站、固定或移动用户单元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型电脑、上网本、个人计算机、无线传感器、热点或Mi
‑
Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴式显示器(HMD)、车辆、无人机、医疗设备和应用(例如，远程手术)、工业设备和应用(例如，在工业和/或自动处理链环境中操作的机器人和/或其他无线设备)、消费电子设备、在商业和/本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种无线发射/接收单元(WTRU)，所述WTRU包括：接收器，所述接收器被配置为接收深度神经网络(DNN)模型的一部分，其中所述部分在所述DNN模型的分割点之前，并且其中所述DNN模型的所述部分包括用以在所述DNN模型的所述分割点处压缩特征的神经网络；一个或多个处理器，所述一个或多个处理器被配置为：获得所述神经网络的压缩因数，响应于所述压缩因数，确定将连接所述神经网络中的哪些节点，响应于所述确定，配置所述神经网络，以及利用所述DNN模型的所述部分来执行推断，以生成压缩特征；和发射器，所述发射器被配置为向另一WTRU发射所述压缩特征。2.根据权利要求1所述的设备，其中所述发射器还被配置为向所述另一WTRU发送所获得的所述压缩因数的指示。3.一种无线发射/接收单元(WTRU)，所述WTRU包括：接收器，所述接收器被配置为接收深度神经网络(DNN)模型的一部分，其中所述部分在所述DNN模型的分割点之后，并且其中所述DNN模型的所述部分包括用以在所述DNN模型的所述分割点处扩展特征的神经网络，其中所述接收器也被配置为接收从另一WTRU输出的一个或多个特征；和一个或多个处理器，所述一个或多个处理器被配置为：获得所述神经网络的压缩因数，响应于所述压缩因数，确定将连接所述神经网络中的哪些节点，响应于所述确定，配置所述神经网络，以及通过将从另一WTRU输出的所述一个或多个特征用作所述神经网络的输入，利用所述DNN模型的所述部分来执行推断。4.根据权利要求3所述的设备，其中所述接收器还被配置为接收指示所述压缩因数的信号。5.根据权利要求1至4中任一项所述的设备，其中所述压缩因数选自在推断时间可动态切换的多个压缩因数。6.根据权利要求1至5中任一项所述的设备，其中所述一个或多个处理器被配置为在调节所述压缩因数时确定将连接所述网络中的哪些节点。7.根据权利要求6所述的设备，其中所述一个或多个处理器被配置为在推断时间确定将连接所述网络中的哪些节点。8.根据权利要求1至7中任一项所述的设备，其中所述DNN模型包括多个分割点。9.根据权利要求1至8中任一项所述的设备，其中所述网络至少包括卷积层和非线性层。10.根据权利要求9所述的设备，其中所述网络还包括批归一化层。11.根据权利要求1至10中任一项所述的设备，其中针对不同的压缩因数，仅将一个DNN模型加载到所述设备。12.根据权利要求1至11中任一项所述的设备，其中基于(1)物理层操作、(2)介质访问控制层操作、(3)无线电资源控制层操作、(4)可用处理资源和(5)控制信
令中的一项或多项，调适所述分割点和所述压缩因数中的至少一项。13.根据权利要求1至12中任一项所述的设备，其中基于传输数据速率，调适所述分割点和所述压缩因数中的至少一项。14.根据权利要求13所述的设备，其中基于所述传输数据速...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：交互数字CE专利控股有限公司，
类型：发明
国别省市：