一种冷热数据自动切换方法、装置、电子设备及存储介质制造方法及图纸

一种基于不同应用情况的冷热数据自动切换方法、装置、电子设备及存储介质，不仅根据数据的访问频率，同时结合数据大小、数据的内容、数据特点、数据应用特征和所属行业，对数据进行分层处理，对需要进行冷热层级转换的数据，结合用户的使用习惯对数据采取合适的存储策略和方式。本发明专利技术方便用户对数据进行合理高效的管理，同时可以满足用户在不同需求时进行自由切换，节省时间更增强了用户体验。

Cold and hot data automatic switching method, device, electronic equipment and storage medium

An automatic switching method, device, electronic equipment and storage medium for cold and hot data based on different application conditions is proposed. According to the data access frequency, the data size, data content, data characteristics, data application characteristics and S, the data is processed in layers, and the data needs to be converted into cold and hot layers. In addition, we should adopt appropriate storage strategies and methods for data in combination with users' habits. The invention is convenient for the user to manage the data reasonably and efficiently, and can satisfy the user to switch freely at different needs, thus saving time and enhancing the user experience.

【技术实现步骤摘要】
一种冷热数据自动切换方法、装置、电子设备及存储介质
本专利技术涉及大数据冷存储领域，具体涉及一种冷热数据自动切换方法、装置、电子设备及存储介质。
技术介绍
随着云计算、物联网的普及，数据量正在以前所未有的速度高速增长，企业需要处理的文件或者数据越来越多,如何合理、高效的管理这些文件显得尤为重要。目前文件系统虽然能满足基本的文件上传、下载、查询等功能,但是这些操作基本上都是以文件本身为中心的,不方便业务人员高效的管理数据。因此对数据进行合理分类变得尤为重要，根据数据的差异，把一些被系统实时使用的数据称为“热数据”，对于一些使用频率不是太高但经常被系统调用的数据称为“温数据”，那些很少被系统使用的数据被称为“冷数据”。越来越多的企业需要把不经常使用的数据备份下来，以低能耗大容量的方式存储起来，也就是现实中的冷数据存储。针对那些保存的不经常被访问的数据，比如健康医疗数据、银行账户信息、社保数据和成长记录等，这些数据的被访问频度虽低但有效性很长，当用户需要使用时，可能会需要数小时甚至更长的时间进行恢复，这对于很多用户而言,是无法接受的。目前的冷数据存储主要存在以下问题：1、对于大量的数据不能自动识别，无法进行合理分类和存储。2、对于一些冷数据存在用户需要重新查看时，数据恢复的时间太长，给用户造成不必要的等待时间。3、历史数据和特征词汇标签需要分类和存储。4、当某个事件导致部分冷数据迅速变热时，需要能够提前预测并做出访问安排。目前没有特别好的方法来解决此类问题，大多数企业采用网络备份的方法，但这并不是一个优选的办法，需要大量的数据流量和费用来支撑。
技术实现思路
(一)专利技术目的本专利技术提出一种基于不同应用情况的冷热数据自动切换方法，解决了企业对其内部的大量数据进行长期保存时需要花费大量的人力物力问题，同时解决用户对冷数据中的内容进行访问时需要很长的时间对其进行恢复的问题。(二)技术方案为解决上述问题，本专利技术的第一方面提供了一种冷热数据自动切换方法，包括：对待存储数据自动进行分层处理，至少将部分所述待存储数据作为冷数据存储；预判所述冷数据被访问的时间和被访问的内容；在所述被访问的时间到来前，对所述被访问的内容进行预热处理。本专利技术的另一方面，所述分层处理是基于所述待存储数据的应用情况进行的。本专利技术的另一方面，所述应用情况包括：访问频率、数据大小、数据的内容、数据特点、数据应用特征和所属行业中的至少一项。本专利技术的另一方面，在分层处理之前，将占用容量大的数据文件整理成一个小容量的数据。本专利技术的另一方面，所述整理是指采用具有代表性的图片和/或文字来标识占用容量大的数据文件。本专利技术的另一方面，所述所属行业包括行业类型和/或行业特征。本专利技术的另一方面，所述数据应用特征包括：访问所述待存储数据的应用程序类型、所述应用程序的使用特征和所述应用程序产生数据量的大小中的至少一项。本专利技术的另一方面，其中所述预热处理包括自动将冷数据转换成温数据或热数据。本专利技术的另一方面，所述方法还包括：预判被预热处理的所述被访问的内容的停止访问时间和停止访问的内容；在到达所述停止访问时间时，将所述停止访问的内容自动转换为冷数据存储。本专利技术的另一方面，所述预判是通过大数据的统计分析的方式来实现。本专利技术的另一方面，所述大数据包括行业大数据和/或用户行为大数据。本专利技术的另一方面，所述统计分析包括：实时监测、历史统计和基于人工智能的机器学习中的至少一种。本专利技术还提供了一种冷热数据自动切换装置，包括：分层处理模块，用于对待存储数据自动进行分层处理，至少将部分所述待存储数据作为冷数据存储；第一预判模块，用于预判所述冷数据被访问的时间和被访问的内容；预热模块，用于在所述被访问的时间到来前，对所述被访问的内容进行预热处理。本专利技术的又一方面，所述分层处理模块包括：应用分层模块，用于基于所述待存储数据的应用情况进行所述分层处理。本专利技术的又一方面，所述装置还包括：第二预判模块，用于预判被预热处理的所述被访问的内容的停止访问时间和停止访问的内容；冷处理模块，用于在到达所述停止访问时间时，将所述停止访问的内容自动转换为冷数据存储。本专利技术还提供了一种电子设备，包括：存储器以及一个或多个处理器；其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器能够实现如上所述的冷热数据自动切换方法。本专利技术还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被执行后用以实现如上所述的冷热数据自动切换方法。(三)技术效果本专利技术根据数据应用情况的不同，结合数据本身的特点，对数据进行合理的分层，使数据在不同需求时自动进行冷热之间地相互转换，方便用户对数据进行合理高效的管理，同时可以满足用户在不同需求时进行自由切换，节省时间更增强了用户体验。相比现有的访问频次来区分热数据和冷数据，本专利技术具有更加智能的特点和更为人性化特点，是对现有数据区分的有效补充和优化。相比传统的冷数据恢复方法，本专利技术可以提前预判各级数据，并进行冷热数据的自动切换，方便用户随时访问任何数据。附图说明图1是本专利技术冷热数据自动切换方法的流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明了，下面结合具体实施方式，对本专利技术进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本专利技术的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本专利技术的概念。图1示出了本专利技术冷热数据自动切换方法的流程图。从图1可以看出，该冷热数据自动切换方法包括三个步骤，如下：S1，对待存储数据自动进行分层处理，至少将部分所述待存储数据作为冷数据存储；S2，预判所述冷数据被访问的时间和被访问的内容；S3，在所述被访问的时间到来前，对所述被访问的内容进行预热处理。以下内容针对上述三个步骤进行具体说明。步骤S1是对待存储数据的自动分层处理。现有技术中对数据进行分层处理大多数都是根据数据的访问频次将数据分为热数据、温数据和冷数据。在根据数据的访问频率作为参数进行时，通常会选择一个时间段，统计在该段时间内对数据访问的次数，设置一个门限值，当该时间段内的访问次数低于该门限值时该数据被认为是冷数据。在这里，时间段为任意时间段，可以是较长的时间段，如月或年，也可以是较短的时间段，如分钟或小时，并且访问次数为大于等于0的整数。举例来说，可以设置一年为时间周期，统计一年内对数据的访问次数，并设置门限值为20次，一年内的访问次数低于20次的数据分为冷数据。可以设置一小时为时间周期，统计一小时内对数据的访问次数，并设置门限值为100次，一小时内的访问次数低于100次的数据分为冷数据。访问频次和门限值通常需要根据全部数据的平均访问频次来设置，其数值在相对于平均访问频次才有实际意义。根据访问频次的多少来进行数据分层，优点在于单一标准，简单易行。但缺点也很明显，标准过于简单，无法适应大多数数据的需要。例如，有些数据在一个短时间内的访问次数很高，但在除了这段时间之外的很长一段时间内不会访问，如果仅根据访问频次把这些数据设置为热数据，会造成很大的一部分存储空间被占用而长时间内没有访问，造成存储资源的浪费，本文档来自技高网...

【技术保护点】
1.一种冷热数据自动切换方法，其特征在于，包括：对待存储数据自动进行分层处理，至少将部分所述待存储数据作为冷数据存储；预判所述冷数据被访问的时间和被访问的内容；在所述被访问的时间到来前，对所述被访问的内容进行预热处理。

【技术特征摘要】
1.一种冷热数据自动切换方法，其特征在于，包括：对待存储数据自动进行分层处理，至少将部分所述待存储数据作为冷数据存储；预判所述冷数据被访问的时间和被访问的内容；在所述被访问的时间到来前，对所述被访问的内容进行预热处理。2.根据权利要求1所述的冷热数据自动切换方法，其特征在于，所述分层处理是基于所述待存储数据的应用情况进行的。3.根据权利要求2所述的冷热数据自动切换方法，其中，所述应用情况包括：访问频率、数据大小、数据的内容、数据特点、数据应用特征和所属行业中的至少一项。4.根据权利要求3所述的冷热数据自动切换方法，其中，在分层处理之前，将占用容量大的数据文件整理成一个小容量的数据。5.根据权利要求4所述的冷热数据自动切换方法，其中所述整理是指采用具有代表性的图片和/或文字来标识占用容...

【专利技术属性】
技术研发人员：田志鹤，
申请(专利权)人：北京蓝杞数据科技有限公司天津分公司，
类型：发明
国别省市：天津,12