本发明专利技术公开了一种云虚拟文件系统及其I/O（输入/输出）请求处理方法；所述方法包括：云虚拟文件系统接收云应用系统发送的I/O请求；根据所述I/O请求携带的参数、以及所述I/O请求所请求读磁盘或写磁盘的位置，确定所述I/O请求的类型；根据所确定的I/O请求的类型，调用分布式文件系统响应所述I/O请求、或调用基于块设备的本地文件系统响应所述I/O请求。
【技术实现步骤摘要】
本专利技术涉及数据处理领域，尤其涉及一种云虚拟文件系统系统及其输入/输出请求处理方法。
技术介绍
互联网时代的到来，给各种各行带来了新的产业机会或者说产业升级改造的机会，如电视、商务、报纸等等，它们基于互联网平台已经演变为互联网电视、电子商务平台、门户网站等。而云计算是互联网时代的更高级技术，其将各种信息(IT，InformaT1n)资源和存储资源虚拟化，提供软件即服务(SaaS, Software-as-a-Service)、平台即服务(PaaS,Platform-as-a-Service)等服务模式,云计算为更多的产业发展提供了新的思路和模式。教育云是互联网时代面向教育领域的云计算平台，教育云通过云计算架构、模式和技术将各种IT资源和存储资源虚拟化，并在教育云上承载各种教育软件或服务，实现学生、家长、培训机构以及教师、学校之间的多边互动的模式。目前教育云中通常采用以下四种云存储技术处理输入/输出(1/0，Input/Output)请求:I)块存储技术，如基于光纤通道(FC，Fibre Channel)存储局域网络(SAN, StorageArea Network)技术、小型计算机系统接口(iSCSI, Internet Small Computer SystemInterface)技术等；2)文件存储技术,如谷歌文件系统(GFS, Google File System)、Hadoop分布式文件系统(HDFS, Hadoop Distributed File System)；3)表存储技术，如 MYSQL、HBASE ；4)对象存储技术如亚马逊的S3存储技术。其中，文件存储技术如GFS/HDFS是目前广泛的云计算平台解决方案，GFS为大型应用和集中型数据应用而设计，可以提供快速的数据访问，具有很好的可扩展性、可靠性和容错功能。HDFS是由GFS演进而来的开源类型的分布式文件系统，其基于Hadoop架构实现，具有闻度可扩展性以及容错、闻1/0性能等特性。相关技术中GFS/HDFS常见的架构如图1所示；在GFS/HDFS架构中，包括GFS主(Master)服务器、从(Slave)服务器以及GFS客户端；其中，GFS Master服务器主要读写云数据，Slave服务器主要读写具体业务数据，GFS客户端作为一个虚拟的文件系统提供应用程序接口(API, Applicat1n Programming Interface),并和 GFS Master 和 GFS Slave 进行数据读写操作。相关技术中FC-SAN常见的架构如图2所示；FC-SAN和iSCSI架构基于小型计算机系统接口(Small Computer System Interface)_3的网络存储技术,包括SCSI启动器和SCSI目标器，SCSI启动器和SCSI目标器之间通过FC或IP网络连接。以教育云应用为例，FC-SAN和iSCSI技术的优势在于1/0读写请求处理速度快，与GFS/HDFS相比，FC-SAN和iSCSI直接采用教育云本地文件系统进行存储；而HDFS/GFS首先需要经过分布式文件系统，然后才经过本地文件系统处理HMFC-SAN和iSCSI技术实现成本较高、维护管理难度较大，目前常用于大型的关键业务系统。目前云计算平台广泛使用的块存储技术、文件存储技术、表存储技术以及对象存储技术应用于教育云时，都存在不足之处:(I)表存储技术，因为教育云的I/O读写请求的类型复杂，导致使用结构化数据库MySQL和非结构化数据库Hbase实现教育云时，层次过于复杂。(2)FC-SAN、iSCSI等块存储技术，通过SCS1-3命令在SCSI启动器和目标器之间实现块数据的读写，适合处理大量的块数据的I/o读写请求，而对教育云中频繁的小数据I/O读写请求的处理，存在响应性能上的瓶颈。(3)分布式文件存储技术如GFS/HDFS等，可以提供快速的数据访问，具有很好的可扩展性、可靠性和容错功能，在应用于教育云时，处理大量块数据的性能、以及处理频繁小数据I/o读写请求的性能，介于MySQL/Hbase技术和FC_SAN/iSCSI技术之间。(4)对象存储技术，对于频繁小数据的I/O读写请求，以及大规模的块数据的I/O读写请求无法提供较好的响应性能。综上所述，对于处理教育云应用中I/O请求时，如何保证较高的响应性能，尚无有效解决方案。
技术实现思路
本专利技术实施例提供一种云虚拟文件系统系统及其I/O请求处理方法，在处理教育云应用中I/o请求时，能够实现较高的I/O响应性能。本专利技术实施例提供一种I/O请求处理方法，应用于云虚拟文件系统中；所述云虚拟文件系统设置于云应用系统和分布式文件系统之间、以及所述云应用系统和基于块设备的本地文件系统之间；所述方法包括:所述云虚拟文件系统接收所述云应用系统发送的I/O请求；根据所述I/O请求携带的参数、以及所述I/O请求所请求读磁盘或写磁盘的位置，确定所述I/o请求的类型；根据所确定的I/O请求的类型，调用所述分布式文件系统响应所述I/O请求、或调用所述基于块设备的本地文件系统响应所述I/o请求。优选地，所述I/O请求的类型包括:大数据块I/O连续读请求、大数据块I/O连续写请求、大数据块I/o随机读请求、大数据块I/O随机写请求、小数据块I/O连续读请求、小数据块I/o连续写请求；相应地，所述根据所确定的I/O请求的类型，调用所述分布式文件系统响应所述I/O请求、或调用所述基于块设备的本地文件系统响应所述I/O请求，包括:当所确定的I/O请求的类型为以下类型任意之一时:大数据块I/O连续读请求；大数据块I/O连续写请求；小数据块I/O连续读请求；小数据块I/o连续写请求；调用所述基于块设备的本地文件系统响应所述I/O请求；当所确定的I/O请求的类型为以下类型任意之一时:数据块I/O随机读请求；大数据块I/O随机写请求；调用所述分布式文件系统响应所述I/O请求。优选地，所述I/O请求携带读(READ)参数或写(WRITE)参数、以及缓存(BUFFER)参数；相应地，所述根据所述I/O请求携带的参数、以及所述I/O请求所请求读磁盘或写磁盘的位置，确定所述I/o请求的类型，包括:当所述I/O请求携带READ参数时,确定所述I/O请求为I/O读请求，当所述I/O请求携带WRITE参数时，确定所述I/O请求为I/O写请求；当所述BUFFER参数超过预设阈值时，确定所述I/O请求为大数据块I/O请求；当所述BUFFER参数未超过预设阈值时，确定所述I/O请求为小数据块I/O请求；当所述I/O请求与I/O请求队列中相邻的I/O请求均携带READ参数时,若所述I/O请求与I/O请求队列中相邻的I/O请求读磁盘的位置连续，则确定所述I/O请求为I/O连续读请求，若所述I/O请求与I/O请求队列中相邻的I/O请求读磁盘的位置不连续，则确定所述I/o请求为I/O随机读请求；当所述I/O请求与I/O请求队列中相邻的I/O请求均携带WRITE参数时,若所述I/O请求与I/O请求队列中相邻的I/O请求写磁盘的位置连续，则确定所述I/O请求为I/O连续写请求，若所述I/O请求与I/O请求队列中相邻的I/O请求写磁盘的位置不连续，则确定所述I本文档来自技高网...
【技术保护点】
一种输入/输出I/O请求处理方法，应用于云虚拟文件系统中；其特征在于，所述云虚拟文件系统设置于云应用系统和分布式文件系统之间、以及所述云应用系统和基于块设备的本地文件系统之间；所述方法包括：所述云虚拟文件系统接收所述云应用系统发送的I/O请求；根据所述I/O请求携带的参数、以及所述I/O请求所请求读磁盘或写磁盘的位置，确定所述I/O请求的类型；根据所确定的I/O请求的类型，调用所述分布式文件系统响应所述I/O请求、或调用所述基于块设备的本地文件系统响应所述I/O请求。
【技术特征摘要】
【专利技术属性】
技术研发人员：霍绍博，耿君毅，单莘，张美松，付长冬，黄龙江，许惠超，祝智岗，
申请(专利权)人：中国移动通信集团河北有限公司，
类型：发明
国别省市：河北;13
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。