一种基于协程的近数据处理系统及方法技术方案

本发明专利技术涉及计算机系统技术领域，具体公开了一种基于协程的近数据处理系统及方法，为解决现有的近数据处理系统，大都采用粗粒度对近数据处理任务进行调度，并且未能充分利用硬件资源，进而导致了混合I/O情况下系统性能低下的问题，将可计算存储中的固件设计为包括协程层、任务层和资源管理层，并通过执行阶段分解NDP任务为访存协程、计算协程和回传协程，并按页粒度采用低开销的优先级调度机制调度计算协程，利用协程低开销的优势，在硬件之上NDP任务之下设计轻量级的中间件，实现存内高效的I/O和NDP任务公平协作执行。

【技术实现步骤摘要】

本专利技术涉及计算机系统，尤其涉及一种基于协程的近数据处理系统及方法。

技术介绍

1、近数据处理，也称作ndp(near data processing)，即在距离数据更近的地方执行计算。近数据处理利用存储内的计算资源，将应用程序中典型的先读后算任务卸载到存储器中，以节省数据搬运开销。学术界在二十多年前就提出了基于机械硬盘的近数据处理架构，但受限于硬件性能和成本，近数据处理能力较弱。近些年，由于日渐成熟的闪存固态硬盘(solid-state drive，简称ssd)具有容量大、高并发、读写快等特点，成为近数据处理系统高性能计算大量数据的硬件基础。

2、传统的近数据处理框架如图1所示。在传统数据处理系统中，计算全部由主机处理器执行，数据都存放在存储设备里，在计算开始前需要将数据全部读到主机内存中。在数据库、大数据等数据访问量大的应用中，常使用数据过滤、搜索等操作，其中无效数据的传输带来了高昂开销。近数据处理系统可以很好地应对数据密集型任务的传输瓶颈问题。主机只需要给存储设备发送请求和任务输入后，存储设备在内部获取数据后直接计算，最后仅将结果返回给本文档来自技高网...

【技术保护点】

1.一种基于协程的近数据处理系统，其特征在于，包括主机和可计算存储；所述可计算存储中设有固件，所述固件的上层是各种NDP任务协程、闪存服务协程和为用户提供的工具，所述固件的下层是可计算存储的各类硬件；所述固件内分为协程层、任务层和资源管理层，NDP指近数据处理；

2.根据权利要求1所述的一种基于协程的近数据处理系统，其特征在于：

3.根据权利要求2所述的一种基于协程的近数据处理系统，其特征在于：所述主机通过权重设置不同NDP任务之间的相对优先级，所述协程调度器根据调度算法得到下一个待执行的NDP协程，获取该NDP协程的状态并调用NDP协程执行；在所述协程调度器的管...

【技术特征摘要】

1.一种基于协程的近数据处理系统，其特征在于，包括主机和可计算存储；所述可计算存储中设有固件，所述固件的上层是各种ndp任务协程、闪存服务协程和为用户提供的工具，所述固件的下层是可计算存储的各类硬件；所述固件内分为协程层、任务层和资源管理层，ndp指近数据处理；

2.根据权利要求1所述的一种基于协程的近数据处理系统，其特征在于：

3.根据权利要求2所述的一种基于协程的近数据处理系统，其特征在于：所述主机通过权重设置不同ndp任务之间的相对优先级，所述协程调度器根据调度算法得到下一个待执行的ndp协程，获取该ndp协程的状态并调用ndp协程执行；在所述协程调度器的管理下，ndp任务与所述闪存服务协程中的闪存转换层相互独立，多个nd...

【专利技术属性】
技术研发人员：陈咸彰，谭星宇，王嘉品，刘铎，谭玉娟，任骜，
申请(专利权)人：重庆大学，
类型：发明
国别省市：