对等网络文件系统、访问控制/管理方法/系统、及终端技术方案

本发明专利技术提供一种对等网络文件系统、访问控制/管理方法/系统、及终端，所述访问控制方法包括：访问所述访问端节点下文件目录，并判断所述访问端节点与其指定的共享端节点之间是否已建立数据访问处理连接；若否，则动态配置与共享端节点之间的数据访问处理连接；若是，则打开所述文件目录中的被访问文件，在成功打开所述被访问文件时，读取该被访问文件，和/或对所述被访问文件进行数据处理；本发明专利技术通过对等组网建立数据访问处理连接，实现数据共享和映射连接关系，降低了数据一致性要求，提高了系统可用性；远程只读方式的访问，有利于提高并发度和吞吐量。

【技术实现步骤摘要】
对等网络文件系统、访问控制/管理方法/系统、及终端
本专利技术属于计算机通信网络领域，涉及一种控制方法和系统、管理方法和系统，特别是涉及一种对等网络文件系统、访问控制/管理方法/系统、及终端。
技术介绍
随着图片、视频等非结构化数据对象的不断增加，大数据应用对数据存储和处理性能要求越来越高，读写操作量的需求也不断上升，传统分布式文件系统在应对海量数据处理中显得越发吃力。为了保证可靠性和可用性，分布式文件系统需要将文件数据复制为多个副本。在自动迁移、容错以及并发读写的过程中，多个副本之间务必保证数据一致性。传统的分布式文件系统往往使用存储全局元数据的总控节点保证数据一致性，管理控制工作节点。这样会带来两个问题：(1)总控节点的性能会成为整个分布式系统的性能瓶颈，尤其是对小文件的访问，并且不易于扩容与维护。(2)存储节点(工作节点)对总控节点有一定的依赖性，总控节点故障后，在切换至备份节点的过程中，容易降低系统的可用性。当传统分布式文件系统面临大规模数据访问时，磁盘I/O往往成为性能瓶颈，从而导致过高的响应延迟。除了应用新型非易失随机访问存储器提高读写访问性能外，另一种改善磁盘I/O性能，提高并行度的方法是存储内计算，它将数据密集型的计算任务从CPU和内存中转移到存储设备内部执行，借助存储介质外的存储控制器构建逻辑单元，数据被读取到逻辑单元参与计算，只需返回计算结果给CPU。存储内计算减少了数据由存储介质到内存中的拷贝，充分利用了存储设备的内部带宽，降低了CPU的占用率，提高了访问并行度和吞吐能力。支持存储内计算的分布式文件系统，可以有效的将存储与计算结合起来，以数据处理任务的方式提供性能和价值输出。互联网业务中读事务占的比例往往远远超过写事务，很多应用的读写比例达到6：1，甚至10：1。特别的，在仿神经元系统的应用场景中，存储节点之间以输入输出的方式相互关联，共享数据形成信息流。本地节点通过本地数据或其他节点的输出进行计算，而不需要对其他节点共享的数据进行修改。针对这种没有远程写操作的应用，我们可以简化分布式文件系统访问方式，降低一致性要求和数据同步负担，同时强化数据共享功能以及处理任务分发功能，最大限度降低数据传输压力，减少系统可靠性和一致性对系统规模的束缚。因此，如何提供一种对等网络文件系统、访问控制/管理方法/系统、及终端，以解决现有技术中分布式文件系统中数据一致性要求高、并发度和吞吐量不高，访问延迟等缺陷，实以成为本领域技术人员亟待解决的技术问题。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种对等网络文件系统、访问控制/管理方法/系统、及终端，用于解决现有技术中分布式文件系统中数据一致性要求高、并发度和吞吐量不高，访问延迟的问题。为实现上述目的及其他相关目的，本专利技术一方面提供一种对等网络文件系统，应用于包括若干网络节点的通信网络中，所述对等网络文件系统包括：连接建立模块，用于在网络节点之间建立数据访问处理连接；定义模块，用于将发送访问请求的网络节点定义为访问端节点，或将接收所述访问请求，并响应所述访问请求的网络节点定义为共享端节点；数据处理模块，用于对存储在所述网络节点中的文件数据进行处理和存储内计算命令的解析与处理；管理模块，用于对存储在所述网络节点中的文件数据进行组织和管理。本专利技术另一方面提供一种基于所述的对等网络文件系统的访问控制方法，应用于定义为访问端节点的网络节点，所述访问控制方法包括：访问所述访问端节点下文件目录，并判断所述访问端节点与其指定的共享端节点之间是否已建立数据访问处理连接；若否，则动态配置与共享端节点之间的数据访问处理连接；若是，则打开所述文件目录中的被访问文件，在成功打开所述被访问文件时，读取该被访问文件，和/或对所述被访问文件进行数据处理；其中，在打开所述被访问文件时，在所述访问端节点的缓存区中查询该被访问文件是否已打开过，若是，返回该被访问文件的文件描述符；若否，发送一文件打开指令至所述共享端节点，接收所述共享端节点反馈的表示成功打开所述被访问文件的标识，以获取该被访问文件的文件描述符；在读取该被访问文件时，在所述缓存区查询一映射表，以判断所述映射表中是否存在所述被访问文件的映射关系；若是，则根据所述映射关系，反馈该被访问文件的物理地址；若否，则发送一读取操作指令至所述共享端节点，并将所述共享端节点根据所述读取操作指令反馈的被访问文件进行缓存，并建立所述文件目录下该访问文件的映射关系，以寻址到所述被访问文件的物理地址，原位读取所述被访问文件。于本专利技术的一实施例中，所述动态配置与共享端节点之间的数据访问处理连接的步骤包括：获取所述访问端节点的访问端文件目录所指定的共享端节点的文件目录，发送连接请求至共享端节点，以建立数据访问处理连接。于本专利技术的一实施例中，在所述访问端节点与与其指定的共享端节点建立数据访问处理连接后，所述访问控制方法还包括：发送关闭所述访问端节点下文件目录中的被访问文件的关闭指令至所述共享端节点，并接收所述共享端节点所反馈的成功关闭标识后，关闭所述被访问文件。于本专利技术的一实施例中，所述对所述被访问文件进行数据处理的步骤包括：配置存储文件数据处理结果的缓存区地址；对所述访问端文件目录下的命令文件中写入数据；所述命令文件具有固定特征的文件名，用于转发数据处理命令、存储数据处理结果以及缓存数据访问处理连接的映射关系；所述写入数据包括数据处理命令和被访问文件的名称；将写入数据转发至所述共享端节点，并等待所述共享端节点对所写入数据的数据处理结果；将所述数据处理结果存储在预先指定的缓存区地址，并以轮询或中断方式通知应用程序已完成处理。本专利技术另一方面还提供一种基于所述的访问控制方法的访问管理方法，应用于定义为共享端节点的网络节点，所述访问管理方法包括：接收源于访问端节点的文件打开指令，根据所述文件打开指令，打开所述访问端节点所要求打开的被访问文件，并反馈一表示成功打开所述被访问文件的标识至所述访问端节点；接收到源于所述访问端节点的读取操作指令，根据所述读取操作指令，读取文件目录下的被访问文件；待读取完毕后，将读取的文件数据发送至所述访问端节点。于本专利技术的一实施例中，所述访问管理方法还包括：接收源于所述访问端节点的关闭指令，根据所述关闭指令，将该被访问文件的访问连接计数值减一，减至零时则关闭所述文件目录下的被访问文件，并将成功关闭标识反馈至所述访问端节点；当打开所述被访问文件时，将文件的访问连接计数值加一；接收所述访问端节点转发的同目录下命令文件的写入数据，根据所述写入数据中的数据处理命令判断是否需要进行存储内计算处理，若是，则配置存储内计算寄存器，并解析配置于所述共享端节点内的文件系统的数据组织结构，并寻址到被访问文件，并对所述被访问文件进行数据处理；若否，则将所述被访问文件复制至内存中，并对所述被访问文件进行数据处理。本专利技术另一方面又提供一种基于所述的文件系统的访问控制系统，应用于定义为访问端节点的网络节点，所述访问控制系统包括：第一处理模块，配置模块，操作模块，第一通信模块；所述第一处理模块访问所述访问端节点下文件目录，并判断所述访问端节点与其指定的共享端节点之间是否已建立数据访问处理连接；若否，则所述配置模块动态配置与共享端节点之间本文档来自技高网...

【技术保护点】
一种对等网络文件系统，其特征在于，应用于包括若干网络节点的通信网络中，所述对等网络文件系统包括：连接建立模块，用于在网络节点之间建立数据访问处理连接；定义模块，用于将发送访问请求的网络节点定义为访问端节点，或将接收所述访问请求，并响应所述访问请求的网络节点定义为共享端节点；数据处理模块，用于对存储在所述网络节点中的文件数据进行处理和存储内计算命令的解析与处理；管理模块，用于对存储在所述网络节点中的文件数据进行组织和管理。

【技术特征摘要】
1.一种对等网络文件系统，其特征在于，应用于包括若干网络节点的通信网络中，所述对等网络文件系统包括：连接建立模块，用于在网络节点之间建立数据访问处理连接；定义模块，用于将发送访问请求的网络节点定义为访问端节点，或将接收所述访问请求，并响应所述访问请求的网络节点定义为共享端节点；数据处理模块，用于对存储在所述网络节点中的文件数据进行处理和存储内计算命令的解析与处理；管理模块，用于对存储在所述网络节点中的文件数据进行组织和管理。2.一种基于权1所述的对等网络文件系统的访问控制方法，其特征在于，应用于定义为访问端节点的网络节点，所述访问控制方法包括：访问所述访问端节点下文件目录，并判断所述访问端节点与其指定的共享端节点之间是否已建立数据访问处理连接；若否，则动态配置与共享端节点之间的数据访问处理连接；若是，则打开所述文件目录中的被访问文件，在成功打开所述被访问文件时，读取该被访问文件，和/或对所述被访问文件进行数据处理；其中，在打开所述被访问文件时，在所述访问端节点的缓存区中查询该被访问文件是否已打开过，若是，返回该被访问文件的文件描述符；若否，发送一文件打开指令至所述共享端节点，接收所述共享端节点反馈的表示成功打开所述被访问文件的标识，以获取该被访问文件的文件描述符；在读取该被访问文件时，在所述缓存区查询一映射表，以判断所述映射表中是否存在所述被访问文件的映射关系；若是，则根据所述映射关系，反馈该被访问文件的物理地址；若否，则发送一读取操作指令至所述共享端节点，并将所述共享端节点根据所述读取操作指令反馈的被访问文件进行缓存，并建立所述文件目录下该访问文件的映射关系，以寻址到所述被访问文件的物理地址，原位读取所述被访问文件。3.根据权利要求2所述的访问控制方法，其特征在于，所述动态配置与共享端节点之间的数据访问处理连接的步骤包括：获取所述访问端节点的访问端文件目录所指定的共享端节点的共享端文件目录，发送连接请求至共享端节点，以建立数据访问处理连接。4.根据权利要求3所述的访问控制方法，其特征在于，在所述访问端节点与与其指定的共享端节点建立数据访问处理连接后，所述访问控制方法还包括：发送所述访问端节点下文件目录中的被访问文件的关闭指令至所述共享端节点，并接收所述共享端节点所反馈的成功关闭标识后，关闭所述被访问文件。5.根据权利要求2所述的访问控制方法，其特征在于，所述对所述被访问文件进行数据处理的步骤包括：配置存储文件数据处理结果的缓存区地址；对所述访问端文件目录下的命令文件中写入数据；所述命令文件具有固定特征的文件名，用于转发数据处理命令、存储数据处理结果以及缓存数据访问处理连接的映射关系；所述写入数据包括数据处理命令和被访问文件的名称；将写入数据转发至所述共享端节点，并等待所述共享端节点对所写入数据的数据处理结果；将所述数据处理结果存储在预先指定的缓存区地址，并以轮询或中断方式通知应用程序已完成处理。6.一种基于权2至权5任一项所述的访问控制方法的访问管理方法，其特征在于，应用于定义为共享端节点的网络节点，所述访问管理方法包括：接收源于访问端节点的文件打开指令，根据所述文件打开指令，打开所述访问端节点所要求打开的被访问文件，并反馈一表示成功打开所述被访问文件的标识至所述访...

【专利技术属性】
技术研发人员：韩文炳，陈小刚，李顺芬，李鸽子，李大刚，陈后鹏，宋志棠，
申请(专利权)人：中国科学院上海微系统与信息技术研究所，
类型：发明
国别省市：上海,31