基于神经网络的命名数据网内容存储池制造技术

本发明专利技术提供一种基于神经网络的命名数据网内容存储池，包括：片内存储单元和片外存储单元，所述片内存储单元使用高速存储器，片内部署一个神经网络模型以实现对数据名称的均匀映射，并部署一个改进型位图，用以将包含相同名称前缀的数据包映射到同一桶中；片外存储单元使用低速存储器，其上部署多个与改进型位图的动态索引单元的槽slot对应的动态存储器，来存储每个名称前缀的跳表信息，用于指导相同名称前缀Data包在双向跳表中的下一次查找，以提高数据检索速度；另部署一个双向跳表结构，以存放数据包在学习位图内容存储池中的存储位置信息，且每个双向跳表节点中存有先入先出队列FIFO单指针和最近最少使用LRU双指针。

Named Data Network Content Storage Pool Based on Neural Network

【技术实现步骤摘要】
基于神经网络的命名数据网内容存储池
本专利技术属于高性能路由器结构设计领域中，特别针对命名数据网转发平面中内容存储池(ContentStore)新型存储结构设计及其算法问题。
技术介绍
随着互联网规模的爆炸式增长，创新技术和计算模式的不断涌现，加速了互联网由“通信信道”向“数据处理平台”的角色转变。为了应对互联网内容化、个性化、超高移动性、“零”时延、超高流量密度等未来业务需求，彻底解决当前互联网IP架构下所带来的诸多问题，一种以内容缓存为特色、面向通信内容的命名数据网应用而生。命名数据网不仅可以通过使用名称数据，实现互联网面向内容的通信模式；还可以通过在路由节点中部署缓冲存储器，缩短用户访问缓存数据的响应时间，实现真正意义上的内容共享，极大地降低网络负载，有效提高网络数据传输速率。因此被认为是未来互联网架构领域最有前景的发展方向之一。然而命名数据网也面临着一系列亟待解决的问题和挑战[1]，特别是路由数据平面中，对于ContentStore线速处理支持的问题[2]。命名数据网中路由表的表项数据通常是由数字和字符组成的，并具有变长、无边界特点的字符串来命名，导致ContentStore需能够存储数百万规模的数据存储量。此外，ContentStore作为临时的内容缓存，其容量有限，所以ContentStore需能够高效压缩存储数据以减少存储消耗，并及时进行缓存替换为新插入的数据包清理空间。另外，数据包的名称具有对传输网络不透明的特点。在转发平面中，命名数据网络中的各类应用程序可以在遵守统一命名策略的前提下，根据自己的需求使用不同的名称方案，且ContentStore对两种类型的数据包：兴趣(Interest)包和数据(Data)包，处理过程具有差异性，因此，为完成内容转发，ContentStore需能够在各类名称方案下快速支持不同名称数据检索算法[2]。参考文献：[1]L.Zhangetal.,“NamedDataNetworking,”ACMSIGCOMMComputerCommunicationReview,vol.44,no.3,pp.66-73,2014.[2]Z.Li,Y.Xu,B,Zhang,L.Yan,andK.Liu,“PacketForwardinginNamedDataNetworkingRequirementsandSurveyofSolutions,”IEEECommunicationsSurveys&Tutorials,DOI:10.1109/COMST.2018.2880444,2018.
技术实现思路
本专利技术的目的是提供一种新型的存储结构学习位图内容存储池(Learnedbitmap-ContentStore，LBM-CS)，该结构能够在保证存储效率的基础上，提升检索速度，同时支持数据缓存替换策略和所有子名称匹配及精确名称匹配名称数据检索算法。本专利技术通过采用基于神经网络的高效动态索引数据结构学习位图(Learnedbitmap，LBM)，同时结合双向跳表(Doubleskiplist，DSL)，实现上述目的。技术方案如下：一种基于神经网络的命名数据网内容存储池，包括：片内存储单元和片外存储单元，所述片内存储单元使用高速存储器，片内部署一个神经网络模型以实现对数据名称的均匀映射，并部署一个改进型位图(D-bitmap)，用以将包含相同名称前缀的数据包映射到同一桶(bucket)中；片外存储单元使用低速存储器，其上部署多个与改进型位图的动态索引单元的槽slot对应的动态存储器，来存储每个名称前缀的跳表信息，用于指导相同名称前缀Data包在双向跳表中的下一次查找，以提高数据检索速度；另部署一个双向跳表结构，以存放数据包在学习位图内容存储池中的存储位置信息，且每个双向跳表节点中存有先入先出队列FIFO单指针和最近最少使用LRU双指针；神经网络模型以实现对数据名称的均匀映射过程如下：首先，神经网络采集样本进行训练，与命名数据网名称数据格式类似的大量统一资源定位符URL作为样本数据；其次，计算样本数据的累积分布函数F(x)值作为标签；然后，训练反向传播神经网络，学习出能反映索引数据分布情况的神经网络模型，最后，将数据名称的名称字符串作为输入，输入训练出神经网络模型，得到一个0～1之间的实数值，该数值乘以改进型位图的槽总数，得到映射标号，即实现对数据名称的均匀映射；双向跳表数据结构设计如下：双向跳表采用多层结构，且每层由一条双向链表构成，其跳表节点按照名称前缀的ID号增序排列；跳表节点间用FIFO单指针和LRU双指针相连，每个节点中存储有ID、指向前向节点指针(prev)和后向节点的指针(next)信息。附图说明图1为本专利技术中新型存储结构学习位图内容存储池系统结构框图。图2为本专利技术学习位图内容存储池存储结构对Interest包检索操作流程图。图3为本专利技术学习位图内容存储池存储结构对Data包检索操作流程图。图4为本专利技术学习位图内容存储池存储结构对Data包插入操作流程图。图5为本专利技术学习位图内容存储池存储结构对Data包删除操作流程图。图6为本专利技术中数据名称在双向跳表中查找操作流程框图。图7为本专利技术中学习位图内容存储池存储结构中双向跳表数据结构图。图8为本专利技术中学习位图内容存储池存储结构中双向跳表节点结构图。图9学习位图内容存储池存储结构中动态存储器结构示意图。具体实施方式本专利技术中，命名数据网转发平面新型的存储结构学习位图内容存储池设计，如图1所示，其所述结构包括：一个片内存储单元和一个片外存储单元构成。其中，所述片内存储单元中具有一个高速存储器，片内部署一个神经网络模型(NNModel)实现对数据名称的均匀映射，部署一个改进型位图(Dynamic-bitmap，D-bitmap)实现将包含相同名称前缀的数据包映射到同一桶(bucket)中。片外存储单元使用一个低速存储器，其上部署多个与改进型位图的动态索引单元的槽(slot)对应的动态存储器(PacketStore)，来存储每个名称前缀的跳表信息。另部署一个双向跳表结构，以存放数据包在ContentStore中的存储位置信息，且每个双向跳表节点中存有先入先出队列(FirstInputFirstOutput，FIFO)单指针和最近最少使用(LeastRecentlyUsed，LRU)双指针。通过以上各数据结构之间高效配合，使设计的新型存储结构学习位图内容存储池能够支持数据的检索、插入、删除操作。1、在所设计的命名数据网转发平面学习位图内容存储池存储结构中采用子名称匹配算法检索Interest包，每检索一次Interest包的步骤如下：步骤1：输入Interest包名称前缀和ID:输入Interest包的名称前缀和ID到学习位图内容存储池存储结构中。步骤2:所有子名称匹配：在学习位图中对所有包含该名称前缀的子名字进行匹配，并选择出最佳匹配的名称前缀。步骤3：计算映射标号：该最佳匹配的名称前缀经神经网络运算得到一个0～1之间的索引映射值，该值乘改进型位图的槽总数，得出该Interest包映射到改进型位图上的映射标号。步骤4：计算基地址和偏移地址：由映射标号除以每个桶的槽总量取整得到该名称前缀所在的桶序号即为基地址,名称前缀进入该桶本文档来自技高网...

【技术保护点】
1.一种基于神经网络的命名数据网内容存储池，包括：片内存储单元和片外存储单元，所述片内存储单元使用高速存储器，片内部署一个神经网络模型以实现对数据名称的均匀映射，并部署一个改进型位图(D‑bitmap)，用以将包含相同名称前缀的数据包映射到同一桶(bucket)中；片外存储单元使用低速存储器，其上部署多个与改进型位图的动态索引单元的槽slot对应的动态存储器，来存储每个名称前缀的跳表信息，用于指导相同名称前缀Data包在双向跳表中的下一次查找，以提高数据检索速度；另部署一个双向跳表结构，以存放数据包在学习位图内容存储池中的存储位置信息，且每个双向跳表节点中存有先入先出队列FIFO单指针和最近最少使用LRU双指针。神经网络模型以实现对数据名称的均匀映射过程如下：首先，神经网络采集样本进行训练，与命名数据网名称数据格式类似的大量统一资源定位符URL作为样本数据；其次，计算样本数据的累积分布函数F(x)值作为标签；然后，训练反向传播神经网络，学习出能反映索引数据分布情况的神经网络模型，最后，将数据名称的名称字符串作为输入，输入训练出神经网络模型，得到一个0～1之间的实数值，该数值乘以改进型位图的槽总数，得到映射标号，即实现对数据名称的均匀映射；双向跳表数据结构设计如下：双向跳表采用多层结构，且每层由一条双向链表构成，其跳表节点按照名称前缀的ID号增序排列；跳表节点间用FIFO单指针和LRU双指针相连，每个节点中存储有ID、指向前向节点指针(prev)和后向节点的指针(next)信息。...

【技术特征摘要】
1.一种基于神经网络的命名数据网内容存储池，包括：片内存储单元和片外存储单元，所述片内存储单元使用高速存储器，片内部署一个神经网络模型以实现对数据名称的均匀映射，并部署一个改进型位图(D-bitmap)，用以将包含相同名称前缀的数据包映射到同一桶(bucket)中；片外存储单元使用低速存储器，其上部署多个与改进型位图的动态索引单元的槽slot对应的动态存储器，来存储每个名称前缀的跳表信息，用于指导相同名称前缀Data包在双向跳表中的下一次查找，以提高数据检索速度；另部署一个双向跳表结构，以存放数据包在学习位图内容存储池中的存储位置信息，且每个双向跳表节点中存有先入先出队列FIFO单指针和最近最少使用LRU双指针。神经网络模型以实现对数据名称...

【专利技术属性】
技术研发人员：李卓，刘开华，周美丽，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12