一种提高磁盘数据访问效率的方法技术

本发明专利技术公开了一种提高磁盘数据访问效率的方法，尤其是一种基于多个磁盘，通过对磁盘的读写任务进行调度，实现数据高效、快速读写的控制方法。本发明专利技术基于多个磁盘实现，基本思路是通过对多个访问任务的控制，减少甚至避免访问冲突的发生。在接收到多个访问任务时，将各个访问任务分别指向不同的磁盘。以及对根据设备运行状态进行检测，根据检测结果，控制各个访问任务的执行。本发明专利技术具有成本低廉、扩展性强，磁盘数据访问效率高，能够将磁盘的读写性能发挥到最大限度。与ＲＡＩＤ５技术相比，本发明专利技术提高访问效率１００％～４００％。

【技术实现步骤摘要】

本专利技术涉及，尤其是一种基于多个磁 盘，通过对磁盘的读写任务进行调度，实现数据高效、快速读写的控制方法。特别是提供一种用于电视台视频服务器上存储系统中提高数据访问效 率的方法。
技术介绍
磁盘的访问时间包括磁头的寻道时间、数据传输时间、等待时间，所用 的时间越短访问效率越高，在磁盘硬件结构相同的情况下，上述单项时间都是固定的，同时在寻道、等待过程中，没有数据传输，导致对磁盘I/0(输入/输出)带宽利用不充分，降低访问效率。随着计算机系统运行速度的不断加快，而磁盘的1/0带宽却没有多大提 高，在对磁盘进行访问时，由于I/0带宽的限制，读写数据的效率往往直接 影响系统的运行速率，主要表现在当多个任务同时访问磁盘时，特别是多 个任务同时访问同一磁盘，这时我们称之为冲突，，，冲突发生时I/0请求 必需排队等待，按照访问请求的先后顺序，顺次循环执行，具体方式通常为 在遇到多个访问请求时，系统会给每个访问请求提供一定的时长，并顺次执 行各个访问请求，并循环执行直到所有访问请求执行完毕，在此过程中，磁 头必需不停地进行寻道、等待，由此要花费大量时间，有时寻道、等待时间 甚至超过数据传输时间，大大降低读写速率，影响磁盘数据的访问效率，影 响计算机系统的性能。或者读取诸如电视台节目文件的大尺寸数据文件时， 由于文件数据量大，而磁盘的I/O带宽有限，有时无法满足系统运行的需要， 使得系统不得不进行等待。对电视台提供节目文件的视频服务器而言，播出(读)和迁移(写)数据是持续不断的，沖突经常会发生，文件系统的I/0 速率成了整个系统的瓶颈。针对数据比较大的文件，RAID技术釆用的数据条带化技术(Disk Striping)将文件数据分割成小块后分别存储到不同的磁盘中，在读/写同 一文件数据时，对多个磁盘并行读/写，提高了单次访问速率，但当多个访 问任务同时发生时，依旧会频繁发生访问冲突，多个任务只能排队等待一个 任务完成后再执行另一个任务，磁头不停的做磁头随机寻道，导致多任务并 行时数据读写速率急剧下降。特别是在视频服务器持续大容量数据读写压力 下，表现更为严重。上述原因导致对磁盘的多个访问任务发生时，其整体速率往往降到最高 1/0速率的20%,甚至更低。
技术实现思路
为解决上述问题，本专利技术提供了一种基于多个磁盘所实现的提高磁盘数 据访问效率的方法，通过对多个访问任务的控制，充分利用磁盘的I/O带宽， 实现磁盘数据访问效率的提高。进一步地实现了用于电视台视频服务器磁盘上大尺寸数据的节目文件 数据的高效访问。为了实现上述目的，本专利技术是基于多个磁盘实现，其基本思路是，通过 对多个访问任务的控制，减少甚至避免访问沖突的发生。在接收到多个访问 任务时，将各个访问任务分别指向不同的磁盘。以及对根据设备运行状态进 行检测，根据检测结果，控制各个访问任务的执行。其具体包括步骤(1) 连接多个存储介质；(2) 执行多个访问任务；(3 )将各个访问任务分开指向不同的存储介质执行。 所述连接多个存储介质包括通过IDE、 SCSI、光纤通道、USB接口中 的 一种或多种方式连接存储介质；所述存储介质包括磁盘、电子硬盘、软盘、Flash闪存盘、带有存储 媒介的存储驱动设备。所述步骤(3)进一步包括检测各个存储介质的访问任务队列状态；将每个访问请求指向访问效率高的存储介质，对指向的存储介质执行访 问任务；所述访问效率高的存储介质包括访问任务队列中任务少的存储介质， 或1/0带宽高的存储介质。所述步骤(1)进一步包括将同一源数据同时存储到至少两个存储介 质，并将访问指针同时指向所述源数据的全部存储地址；所述步骤(2)包括执行至少两个不同的读访问任务，根据所述读访 问任务指定的不同源数据确定每个源数据的全部存储地址；所述步骤(3)包括检测每个存储地址所在存储介质的访问任务队列 状态，分别将每个读访问任务指向访问任务队列中任务少的存储介质执行。所述源数据是文件数据块；所述步骤(1)还进一步包括将同一文件数据分成至少两个文件凄t据 块，各个数据块分散存储到不同的存储介质；所述步骤(3)进一步包括同时从访问任务队列中任务少的存储介质 并行读取同一文件的各个文件数据块。所述步骤(2)包括执行至少两个不同的写访问任务；所述步骤(3)包括检测每个可执行所述写访问任务的存储介质的访 问任务队列状态，将各个所述写访问任务分别指向访问任务队列中任务少的 存储介质执行。所述步骤(2)包括执行至少一个写访问任务和一个读访问任务；所述步骤(3)包括检测每个满足写访问任务和读访问任务的存储介 质的执行任务队列状态，将各个写访问任务和读访问任务分别指向访问任务 队列中任务少的存储介质执行。同 一个存储价质的所述访问任务队列中有多个访问任务；所述步骤(3)进一步包括赋予每个访问任务优先级；判断所述每个访问任务的优先级；根据所述各个访问任务的优先级，依次从高优先级到低优先级逐个执 行，保证执行完一个访问任务后再执行下一个访问任务。所述访问任务包括至少 一个具有高优先级的读访问任务； 所述步骤进一步包括检测緩存器中所述读访问任务已经读取的数据量，如果所述緩存器中的 所述数据大于设定限值，将所述读访问任务调整为低优先级，如果所述緩存 器中的所述数据低于所述限值，保持高优先级。所述访问任务为包括至少一个写访问任务；所述步骤进一步包括;险测緩存器中的没有写入存储介质的数据量，如果所述数据量小于设定 限值，赋予其高优先级，如果所述数据量大于设定限值，赋予其低优先级。本专利技术的优点在于硬件成本低廉，无需专用设备连接磁盘，可以使用 多种方式接入；对磁盘的数量和规格没有严格要求，都可以实现；扩展性强， 可以任意增减磁盘容量。本专利技术采用将多路访问任务分别指向不同的磁盘，减少和避免了访问冲 突，减小了磁盘的往复寻道，充分利用了磁盘的1/0带宽；将同一数据同时 在多个磁盘存储，保证了数据读取时能尽可能从访问任务少的磁盘读取数据，在磁盘访问过程中选择具有高1/0带宽磁盘进行访问；数据分块保证数 据同时在多个磁盘的并行读写；通过动态优先级调整，实现对同时指向同一 磁盘的多个访问任务的有效、高速执行。磁盘数据的访问速率高，尤其是对 于同时执行多路访问请求表现更为突出，本专利技术的磁盘数据访问性能随着访 问任务的增加，总I/0速率增加显著。经测试在硬件环境、访问的数据情况 完全相同的情况下，本专利技术与RAID5技术相比，在同时执行多个访问任务时， 其数据访问速率提高100%~ 400 o/。，尤其是对同时执行多路读访问表现出 更为优越的性能。本专利技术独立于操作系统的自有调度，可以根据需要实现对磁盘的调度， 可以运用于多种操作系统。 附图说明图1本专利技术的工作原理图；图2磁盘访问任务队列示意图；图3本专利技术与RAID5的多路读访问性能测试对比曲线图； 图4本专利技术与RAID5的多路写访问性能测试对比曲线图。具体实施方式为便于对本专利技术的理解，下面结合附图和实施例对本专利技术作进一步的详 细i兌明。本专利技术是基于多个磁盘实现的提高磁盘数据读取效率的方法。 在计算机系统中连接多个磁盘，在图1中绘出的是5个磁盘21 25与 计算机连接，图中的访问调度控制单元1实现对磁盘访问的调度控制，该部 分通常由计算机来实现。所述计算机包括包括PC本文档来自技高网...

【技术保护点】
一种提高数据访问效率的方法，其特征在于包括：（１）连接多个存储介质；（２）执行多个访问任务；（３）将各个访问任务分开指向不同的存储介质执行。

【技术特征摘要】
1.一种提高数据访问效率的方法，其特征在于包括(1)连接多个存储介质；(2)执行多个访问任务；(3)将各个访问任务分开指向不同的存储介质执行。2.根据权利要求1所述的方法，其特征在于所述连接多个存储介质包括通过IDE、 SCSI、光纤通道、USB接口中 的一种或多种方式连接存储介质；所述存储介质包括磁盘、电子硬盘、软盘、Flash闪存盘、带有存储 媒介的存储驱动设备。3.根据权利要求1所述的方法，其特征在于所述步骤(3)进一步包括检测各个存储介质的访问任务队列状态；将每个访问请求指向访问效率高的存储介质，对指向的存储介质执行访 问任务；所述访问效率高的存储介质包括访问任务队列中任务少的存储介质， 或1/0带宽高的存储介质。4.根据权利要求3所述的方法，其特征在于所述步骤(1)进一步包括将同一源数据同时存储到至少两个存储介 质，并将访问指针同时指向所述源数据的全部存储地址；所述步骤(2)包括执行至少两个不同的读访问任务，根据所述读访 问任务指定的不同源数据确定每个源数据的全部存储地址；所述步骤(3)包括检测每个存储地址所在存储介质的访问任务队列 状态，分别将每个读访问任务指向访问任务队列中任务少的存储介质执行。5. 根据权利要求4所述的方法，其特征在于 所述源数据是文件数据块；所述步骤(1)还进一步包括将同一文件数据分成至少两个文件数据 块，各个数据块分散存储到不同的存储介质；所述步骤(3)进一步包括同时从访问任务队列中任务少的存储介质 并行读取同 一文件的各个文件数据块。6....

【专利技术属性】
技术研发人员：欧阳睿章，余军，王炜，刘盾，谭肇，吕袤，
申请(专利权)人：成都索贝数码科技股份有限公司，
类型：发明
国别省市：90[中国|成都]