基于混合云计算平台的存储方法及系统技术方案

一种基于混合云计算平台的存储方法及系统包括：接收用户请求，判断是存储对象还是传输数据；若为存储对象，则对存储对象进行创建控制处理，动态监控并反馈参数，通过反馈参数择优创建当前计算集群的存储区域；若为传输数据，则获取传输数据的资源信息；判断是否加解密；若判断为不需加解密，则判断是否加速；若判断为需要加解密，进行加解密后，判断是否需要加速；若无需加速则对数据进行传输；若为上传数据则获取数据并更新元数据，反馈给用户；上述方法及系统，通过动态监控择优选择计算集群的存储区域，以在对应的场景下选择最合适的存储资源，根据需要进行加速下载、上传，使跨云存储访问速率快，节约大量时间。

【技术实现步骤摘要】
基于混合云计算平台的存储方法及系统
本专利技术涉及计算机领域，特别涉及一种基于混合云计算平台的存储方法及系统。
技术介绍
随着互联网的发展，数据信息呈现爆炸式增长，特别是随着大数据的来临，给存储系统的进一步发展带来了无限的机遇和挑战。数据存储作为云计算的存储部分，既承担了中间数据的缓存，又是输出有价值数据的重要集中地，对存储系统的管理就非常重要。随着数据量的增大，自建数据中心已不能满足数据存储需求，而使用公有云存储的也越来越多；混合云存储这一使用方式也渐渐被各行各业所使用，但在实际使用中现有混合云存储系统在数据的管理和设计方面存在不足，公有云和私有云存储经常分别独立使用，部署在对应的公有云业务只使用对应公有云的存储，而不能有效的利用跨云存储的资源，无法统一的对所有混合云的资源进行统一管理使用。而大规模的混合云计算平台面对的实际场景具有计算节点的高伸缩性以及任务调度的分散性，在用户突然提交大批量任务时，计算平台需要在可承受的价格范围内从所有公有云尽可能申请计算资源，按照调度策略将计算任务调度到混合云对应的计算集群里，计算结束后回缩所有的计算节点。这要求在计算节点上对存储传输上花的时间越短越好，以便将计算资源投入到计算中；另一个是调度的随机性，很可能同一批次任务的数据有流水线的依赖关系，但调度的计算云或集群不在一起，需要跨云存储访问数据。而现有的跨云存储没有统一的数据管理模块，存储对象的使用与对应云服务提供商架构绑定较强，而对跨云以及本地存储的使用存在使用不方便，需要指定的情况。不同的云服务提供商的存储资源的连接速率以及存储成本存在差别，在对应的场景下很难选择最合适的存储资源。现有的跨云存储访问速率较慢，占用了计算资源的大量时间。
技术实现思路
基于此，有必要提供一种可提高效率的基于混合云计算平台的存储方法。同时，提供一种可提高效率的基于混合云计算平台的存储系统。一种基于混合云计算平台的存储方法，包括：请求判断：接收用户请求，判断是存储对象还是传输数据；存储：若为存储对象，则对存储对象进行创建控制处理，动态监控并反馈参数，通过反馈参数结合调度策略择优创建当前计算集群的存储区域；获取资源信息：若为传输数据，则获取传输数据的资源信息；加解密判断：判断是否加解密；加速判断：若判断为不需加解密，则判断是否加速；若判断为需要加解密，进行加解密后，判断是否需要加速；数据传输：若无需加速则对数据进行传输；若为上传数据则获取数据并更新元数据，反馈给用户。在优选实施例中，根据当前计算集群的环境判断是否有跨区域的数据传输及动态监控性能，判断是否需要加速；若判断有跨区域的数据传输且动态监控性能差，则判断需要加速。在优选实施例中，所述动态监控性能包括：监控当前计算集群访问各个公有云的性能差异，并将获得的性能数据和价格返回进行记录统计。在优选实施例中，所述动态监控：通过内部定时对文件进行上传下载的性能测试，确定计算平台在每个计算集群访问每个存储时刻的性能数据，以综合分析计算平台的调度策略。在优选实施例中，所述优创建当前计算集群的存储区域包括：调度策略，所述调度策略包括：计算集群的调度、存储的调度，所述计算集群的调度根据计算集群的竞价机型单价、公有云厂商竞价计算资源池大小，计算资源池是否满足计算任务的运算；所述存储的调度配合计算调度分配存储；所述创建控制处理包括：统一存储的资源访问权限、存储加密、动态监控的控制操作，所述资源信息包括区域位置。一种基于混合云计算平台的存储系统，包括：请求判断单元：通过访问接口模块接收用户请求，判断是存储对象还是传输数据；存储单元：若为存储对象，则通过存储管理模块对存储对象进行创建控制处理，动态监控模块动态监控并反馈参数给存储管理模块，存储管理模块通过动态监控模块的反馈参数结合调度策略，择优创建最适合当前计算集群的存储区域；获取资源信息单元：若为传输数据，则通过元数据模块获取传输数据的区域位置等资源信息；加解密判断单元：判断是否加解密；加速判断单元：若判断为不需加解密，则判断是否加速；若判断为需要加解密，通过存储加密模块进行加解密处理，进行加解密后，判断是否需要加速；优选的，通过结合计算集群的环境判断是否有跨区域的数据传输且动态监控其性能差，判断是否需要加速模块加速；数据传输单元：若无需加速则通过统一存储接口模块对数据进行传输；若为上传数据则获取数据并更新元数据模块中的元数据，并通过访问接口模块反馈给用户。在优选实施例中，所述访问接口模块：为用于封装对接存储的SDK，用于传递用户请求和参数；所述存储管理模块：基于混合云底层存储封装的平台存储模块，统一存储控制操作，在管理存储中协调其他模块以及计算集群的策略，进行相关调度工作；所述统一存储接口模块：封装公有云和私有云的所有SDK，提供统一的混合云存储服务访问接口，以使用户能以文件或文件夹访问的形式访问存储数据；所述元数据管理模块：提供数据的元数据信息；所述存储加密模块：对数据进行加解密；所述动态监控模块：用于监控当前计算集群访问的各个公有云的性能差异，将得到的性能数据和价格返回给存储管理模块进行记录统计；所述存储加速模块：对数据进行加速下载或上传。在优选实施例中，所述存储管理模块统一存储控制操作包括资源访问权限、存储加密、动态监控；所述资源信息包括区域位置。在优选实施例中，所述动态监控模块定时通过对文件进行上传下载的性能测试，确定计算平台在每个计算集群访问每个存储的时刻性能数据，以使计算平台的综合分析调度策略。在优选实施例中，所述调度策略包括：计算集群的调度、存储的调度，所述计算集群的调度根据计算集群的竞价机型单价、公有云厂商竞价计算资源池大小，计算资源池是否满足计算任务的运算；所述存储的调度配合计算调度分配存储。上述基于混合云计算平台的存储方法及系统，通过动态监控择优选择计算集群的存储区域，以在对应的场景下选择最合适的存储资源，基于混合云计算平台进行存储，使跨云存储及本地存储都极为方便，根据需要进行加速下载、上传，使跨云存储访问速率快，节约大量时间。通过动态监控，针对计算平台的存储需求，自动分配合适的存储对象，并可以快速查找。附图说明图1为本专利技术一实施例的基于混合云计算平台的存储系统的模块化功能图；图2为本专利技术一实施例的基于混合云计算平台的存储方法的部分流程图。具体实施方式本专利技术根据功能进行模块化设计，包含如动态监控模块、存储加速模块、以及存储管理模块等主要模块。如图1所示，本专利技术一优选实施例的基于混合云存储的存储系统，包括：访问接口模块，用于传递用户存储请求，包括存储创建和权限管理等；优选的，本实施例的访问接口模块为一个用于封装对接存储的SDK（SoftwareDevelopmentKit软件开发工具包），将用户的请求和参数发送至混合云存储系统中本文档来自技高网...

【技术保护点】
1.一种基于混合云计算平台的存储方法，其特征在于，包括：/n请求判断：接收用户请求，判断是存储对象还是传输数据；/n存储：若为存储对象，则对存储对象进行创建控制处理，动态监控并反馈参数，通过反馈参数结合调度策略择优创建当前计算集群的存储区域；/n获取资源信息：若为传输数据，则获取传输数据的资源信息；/n加解密判断：判断是否加解密；/n加速判断：若判断为不需加解密，则判断是否加速；若判断为需要加解密，进行加解密后，判断是否需要加速；/n数据传输：若无需加速则对数据进行传输；若为上传数据则获取数据并更新元数据，反馈给用户。/n

【技术特征摘要】
1.一种基于混合云计算平台的存储方法，其特征在于，包括：
请求判断：接收用户请求，判断是存储对象还是传输数据；
存储：若为存储对象，则对存储对象进行创建控制处理，动态监控并反馈参数，通过反馈参数结合调度策略择优创建当前计算集群的存储区域；
获取资源信息：若为传输数据，则获取传输数据的资源信息；
加解密判断：判断是否加解密；
加速判断：若判断为不需加解密，则判断是否加速；若判断为需要加解密，进行加解密后，判断是否需要加速；
数据传输：若无需加速则对数据进行传输；若为上传数据则获取数据并更新元数据，反馈给用户。


2.根据权利要求1所述的基于混合云计算平台的存储方法，其特征在于，根据当前计算集群的环境判断是否有跨区域的数据传输及动态监控性能，判断是否需要加速；若判断有跨区域的数据传输且动态监控性能差，则判断需要加速。


3.根据权利要求2所述的基于混合云计算平台的存储方法，其特征在于，所述动态监控性能包括：监控当前计算集群访问各个公有云的性能差异，并将获得的性能数据和价格返回进行记录统计。


4.根据权利要求3所述的基于混合云计算平台的存储方法，其特征在于，所述动态监控：通过内部定时对文件进行上传下载的性能测试，确定计算平台在每个计算集群访问每个存储时刻的性能数据，以综合分析计算平台的调度策略。


5.根据权利要求1至4任意一项所述的基于混合云计算平台的存储方法，其特征在于，所述调度策略包括：计算集群的调度、存储的调度，所述计算集群的调度根据计算集群的竞价机型单价、公有云厂商竞价计算资源池大小，计算资源池是否满足计算任务的运算；所述存储的调度配合计算调度分配存储；
所述创建控制处理包括：统一存储的资源访问权限、存储加密、动态监控的控制操作，所述资源信息包括区域位置。


6.一种基于混合云计算平台的存储系统，其特征在于，包括：
请求判断单元：通过访问接口模块接收用户请求，判断是存储对象还是传输数据；
存储单元：若为存储对象，则通过存储管理模块对存储对象进行创建控制处理，动态监控模块动态监控并反馈参数给存储管理模块，存储管理模块通过动态监控模块的反馈参数结合调度策略，择优创建最适合当前计算集群的存储区域；

【专利技术属性】
技术研发人员：马颜芃，温书豪，朱和胜，马健，赖力鹏，
申请(专利权)人：深圳晶泰科技有限公司，
类型：发明
国别省市：广东;44