一种分布式文件系统的调度方法及系统技术方案

本发明专利技术属于计算机应用技术领域领域，公开了一种分布式文件系统的调度方法及系统，设置有数据存储模块充分利用了各个客户端的存储能力，且能够达到降低存储设备能耗的作用；设置有小文件存储模块达到减轻名字节点NameNode的负担、海量小文件存储访问效率高的目的；设置有认证模块，能够实现分布式文件系统下多业务域的统一权限管理；设置有统一认证模块减少分布式文件系统中独立认证模块的开发，节省人力和财力资源；可大大降低数据存储的重复性和减少占用网络资源；设置有路径解析模块实现了新LOOKUP操作的模块植入内存的核心空间中，使该分布式文件系统可以完成全路径解析。

【技术实现步骤摘要】
一种分布式文件系统的调度方法及系统
本专利技术属于计算机应用
，尤其涉及一种分布式文件系统的调度方法及系统。
技术介绍
分布式文件系统(DistributedFileSystem)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。综上所述，现有技术存在的问题是：现有的分布式文件系统存在存储设备能耗较大，名字节点NameNode的负担、海量小文件存储访问效率低，分布式文件系统中独立认证模块的开发人力和财力资源成本高。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种分布式文件系统的调度方法及系统。本专利技术是这样实现的，一种分布式文件系统的调度系统，所述分布式文件系统的调度系统包括：分布式文件系统的调度系统，其特征在于，所述分布式文件系统的调度系统统包括：集群负载信息获取模块，用于按照预设的时间周期定期获取所述分布式文件系统的集群负载信息；所述集群负载信息获取模块对跳频混合信号时频域矩阵进行预处理，具体包括如下两步：第一步，对进行去低能量预处理，即在每一采样时刻p，将幅值小于门限ε的值置0，得到门限ε的设定可根据接收信号的平均能量来确定；第二步，找出p时刻(p＝0，1，2，…P-1)非零的时频域数据，用表示，其中表示p时刻时频响应非0时对应的频率索引，对这些非零数据归一化预处理，得到预处理后的向量b(p，q)＝[b1(p，q)，b2(p，q)，…，bM(p，q)]T，其中：确定调度策略模块，用于根据查询语句构建查询计划树、确定查询种类和需要查询的数据表，并根据查询种类确定最终调度策略；根据所述的最终调度策略，为所述查询计划树中各个结点选择执行节点以完成并行查询执行调度；数据存储模块，用于将分布式文件系统客户端聚类成为虚拟资源池，且建立了存储单元与虚拟资源池的映射关系，存储单元与其对应的虚拟资源池中存储相同的数据，使得在虚拟资源池上线时，由虚拟资源池为分布式文件系统客户端提供服务；小文件存储模块，用于通过建立相应的本地索引和小文件处理机制，来有效地完成小文件的合并、映射、预取，在写入或读取文件之前，先判断该文件是否是小文件，如果是，则先交给小文件服务器处理，否则直接交给原HDFS系统处理；认证模块，用于在分布式文件系统中部署LDAP服务器和CAS服务器，使CAS服务器和LDAP服务器能够双向读取和存储数据；用户通过Web应用服务进程访问分布式文件系统时，检查该用户的会话是否存在，如果不存在则重新定向到CAS服务器端，检查TGT，若TGT不存在或者TGT错误则需要用户重新登录，用户输入了用户名和密码后，在LDAP服务器进行统一认证单点登录；LDAP认证完成后，CAS返回给用户合法的TGT和ST，根据用户的当前的Web应用服务进程重新定向到分布式文件系统中；分布式文件系统接收到返回的ST，还要由CAS服务器认证ST的合法有效性，如果合法有效则确认用户可以访问该分布式文件系统中资源；当用户获得访问分布式文件系统中一个业务系统的权限后，当该用户访问其他业务系统的文件资源时，用户访问进程只需提供ST，被访问的业务系统把接收到的ST重定向到CAS服务器，验证合法性和是否过期，若ST不存在或者ST过期，则返回校验TGT，如果TGT合法则CAS重新授予用户一张ST；路径解析模块，用于通过对元数据服务器按照一定结构进行组织，并利用计算机系统提供的向内部存储器核心空间装载二进制代码的指令，将实现了新LOOKUP操作的模块植入内存的核心空间中，使该分布式文件系统可以完成全路径解析；处理器，与确定调度策略模块、数据存储模块、小文件存储模块、认证模块、路径解析模块连接，用于实现确定调度策略模块、数据存储模块、小文件存储模块、认证模块、路径解析模块传输信息的处理；所述处理器对M路离散时域混合信号进行重叠加窗短时傅里叶变换，得到M个混合信号的时频域矩阵p＝0，1，…，P-1，q＝0，1，…，Nfft-1，其中P表示总的窗数，Nfft表示FFT变换长度；(p，q)表示时频索引，具体的时频值为这里Nfft表示FFT变换的长度，p表示加窗次数，Ts表示采样间隔，fs表示采样频率，C为整数，表示短时傅里叶变换加窗间隔的采样点数，C＜Nfft，且Kc＝Nfft/C为整数，也就是说采用的是重叠加窗的短时傅里叶变换。本专利技术的另一目的在于提供一种所述分布式文件系统的调度系统的分布式文件系统的调度方法，所述分布式文件系统的调度方法包括：按照预设的时间周期定期获取所述分布式文件系统的集群负载信息；根据查询语句构建查询计划树、确定查询种类和需要查询的数据表，并根据查询种类确定最终调度策略；根据所述的最终调度策略，为所述查询计划树中各个结点选择执行节点以完成并行查询执行调度；将分布式文件系统客户端聚类成为虚拟资源池，且建立了存储单元与虚拟资源池的映射关系，存储单元与其对应的虚拟资源池中存储相同的数据，使得在虚拟资源池上线时；通过建立相应的本地索引和小文件处理机制，来有效地完成小文件的合并、映射、预取，在写入或读取文件之前，先判断该文件是否是小文件，如果是，则先交给小文件服务器处理，否则直接交给原HDFS系统处理；在分布式文件系统中部署LDAP服务器和CAS服务器，使CAS服务器和LDAP服务器能够双向读取和存储数据；用户通过Web应用服务进程访问分布式文件系统时，检查该用户的会话是否存在，如果不存在则重新定向到CAS服务器端，检查TGT，若TGT不存在或者TGT错误则需要用户重新登录，用户输入了用户名和密码后，在LDAP服务器进行统一认证单点登录；LDAP认证完成后，CAS返回给用户合法的TGT和ST，根据用户的当前的Web应用服务进程重新定向到分布式文件系统中；分布式文件系统接收到返回的ST，还要由CAS服务器认证ST的合法有效性，如果合法有效则确认用户可以访问该分布式文件系统中资源；当用户获得访问分布式文件系统中一个业务系统的权限后，当该用户访问其他业务系统的文件资源时，用户访问进程只需提供ST，被访问的业务系统把接收到的ST重定向到CAS服务器，验证合法性和是否过期，若ST不存在或者ST过期，则返回校验TGT，如果TGT合法则CAS重新授予用户一张ST；通过对元数据服务器按照一定结构进行组织，并利用计算机系统提供的向内部存储器核心空间装载二进制代码的指令，将实现新LOOKUP操作的模块植入内存的核心空间中，使该分布式文件系统可以完成全路径解析。进一步，所述用于通过对元数据服务器按照一定结构进行组织，并利用计算机系统提供的向内部存储器核心空间装载二进制代码的指令，将实现了新LOOKUP操作的模块植入内存的核心空间中，使该分布式文件系统可以完成全路径解析具体包括：1)首先构造一个全路径名解析的二进制模块；2)用计算机系统提供的向内部存储器核心空间装载二进制代码的指令将具有全路径解析功能的模块植入客户端计算机系统内部存储器的核心空间；3)用该模块中具有全路径名解析功能的函数替换原操作系统中的路径名解析函数，在全路径名解析函数中，对于没有提供全路径名解析的文件系统本文档来自技高网...

【技术保护点】
一种分布式文件系统的调度系统，其特征在于，所述分布式文件系统的调度系统包括：集群负载信息获取模块，用于按照预设的时间周期定期获取所述分布式文件系统的集群负载信息；所述集群负载信息获取模块对跳频混合信号时频域矩阵

【技术特征摘要】
1.一种分布式文件系统的调度系统，其特征在于，所述分布式文件系统的调度系统包括：集群负载信息获取模块，用于按照预设的时间周期定期获取所述分布式文件系统的集群负载信息；所述集群负载信息获取模块对跳频混合信号时频域矩阵进行预处理，具体包括如下两步：第一步，对进行去低能量预处理，即在每一采样时刻p，将幅值小于门限ε的值置0，得到门限ε的设定可根据接收信号的平均能量来确定；第二步，找出p时刻(p＝0，1，2，…P-1)非零的时频域数据，用表示，其中表示p时刻时频响应非0时对应的频率索引，对这些非零数据归一化预处理，得到预处理后的向量b(p，q)＝[b1(p，q)，b2(p，q)，…，bM(p，q)]T，其中：确定调度策略模块，用于根据查询语句构建查询计划树、确定查询种类和需要查询的数据表，并根据查询种类确定最终调度策略；根据所述的最终调度策略，为所述查询计划树中各个结点选择执行节点以完成并行查询执行调度；数据存储模块，用于将分布式文件系统客户端聚类成为虚拟资源池，且建立了存储单元与虚拟资源池的映射关系，存储单元与其对应的虚拟资源池中存储相同的数据，使得在虚拟资源池上线时，由虚拟资源池为分布式文件系统客户端提供服务；小文件存储模块，用于通过建立相应的本地索引和小文件处理机制，来有效地完成小文件的合并、映射、预取，在写入或读取文件之前，先判断该文件是否是小文件，如果是，则先交给小文件服务器处理，否则直接交给原HDFS系统处理；认证模块，用于在分布式文件系统中部署LDAP服务器和CAS服务器，使CAS服务器和LDAP服务器能够双向读取和存储数据；用户通过Web应用服务进程访问分布式文件系统时，检查该用户的会话是否存在，如果不存在则重新定向到CAS服务器端，检查TGT，若TGT不存在或者TGT错误则需要用户重新登录，用户输入了用户名和密码后，在LDAP服务器进行统一认证单点登录；LDAP认证完成后，CAS返回给用户合法的TGT和ST，根据用户的当前的Web应用服务进程重新定向到分布式文件系统中；分布式文件系统接收到返回的ST，还要由CAS服务器认证ST的合法有效性，如果合法有效则确认用户可以访问该分布式文件系统中资源；当用户获得访问分布式文件系统中一个业务系统的权限后，当该用户访问其他业务系统的文件资源时，用户访问进程只需提供ST，被访问的业务系统把接收到的ST重定向到CAS服务器，验证合法性和是否过期，若ST不存在或者ST过期，则返回校验TGT，如果TGT合法则CAS重新授予用户一张ST；路径解析模块，用于通过对元数据服务器按照一定结构进行组织，并利用计算机系统提供的向内部存储器核心空间装载二进制代码的指令，将实现了新LOOKUP操作的模块植入内存的核心空间中，使该分布式文件系统可以完成全路径解析；处理器，与确定调度策略模块、数据存储模块、小文件存储模块、认证模块、路径解析模块连接，用于实现确定调度策略模块、数据存储模块、小文件存储模块、认证模块、路径解析模块传输信息的处理；所述处理器对M路离散时域混合信号进行重叠加窗短时傅里叶变换，得到M个混合信号的时频域矩阵p＝0，1，…，P-1，q＝0，1，…，Nfft-1，其中P表示总的窗数，Nfft表示FFT变换长度；(p，q)表示时频索引，具体的时频值为这里Nfft表示FFT变换的长度，p表示加窗次数，Ts表示采样间隔，fs表示采样频率，C为整数，表示短时傅里叶变换...

【专利技术属性】
技术研发人员：周长英，王久增，程根源，王振利，陈继莹，刘保，
申请(专利权)人：周长英，
类型：发明
国别省市：河北,13