一种大数据存储方法、装置、设备、存储介质制造方法及图纸

本发明专利技术属于数据存储技术领域，具体提供一种大数据存储方法、装置、设备、存储介质，所述方法包括如下步骤：响应于用户的操作请求，对用户进行身份验证；身份验证通过后，按照文字、语音、图片和视频分类别进行数据采集；对采集后的数据进行预处理；对预处理后的数据分别按照时间节点和数据完整性进行筛选；将筛选后时间跨度小于设定阈值且数据完整的数据放置于对应的目录路径内，并将这些数据添加设定的指定关键字，完成数据存储。在操作存储装置前，需要对操作人员进行身份验证，身份验证时，可以进行密码识别、语言识别、人脸识别、指纹识别，通过一种或多种方式识别，使得存储装置在使用时，安全性高。安全性高。安全性高。

【技术实现步骤摘要】
一种大数据存储方法、装置、设备、存储介质


[0001]本专利技术涉及数据存储
，具体涉及一种大数据存储方法、装置、设备、存储介质。

技术介绍

[0002]随着计算机技术的发展和网络技术的进步，人类的工作和生活发生了巨大的变化，现在人们每天都在接触、读取、存储、处理的信息，诸如通过移动终端进行社会交往、获取新闻、查询知识元素、购物、娱乐等，这使得创造的数据量成倍地增加。由此形成的海量数据被称为大数据。
[0003]如授权公告号为CN110532804A所公开的一种基于大数据的安全存储控制方法，其虽然实现了能够针对用户所产生或待存储和处理的大数据，基于各存储节点的属性，将大数据安全地、可靠地、合理地、不可由黑客截取部分进而还原地存储到该节点，使得该大数据不受攻击影响，不受节点故障或物理变化的影响，从而实现了大数据的安全存储，但是并未解决现有基于大数据存储装置及其存储方法存在的不便于进行存储分类，同时存储装置的使用安全性较低的问题。

技术实现思路

[0004]现有基于大数据存储装置及其存储方法存在的不便于进行存储分类，同时存储装置的使用安全性较低的问题，本专利技术提供一种大数据存储方法、装置、设备、存储介质。
[0005]第一方面，本专利技术技术方案提供一种大数据存储方法，包括如下步骤：
[0006]响应于用户的操作请求，对用户进行身份验证；
[0007]身份验证通过后，按照文字、语音、图片和视频分类别进行数据采集；
[0008]对采集后的数据进行预处理；/>[0009]对预处理后的数据分别按照时间节点和数据完整性进行筛选；
[0010]将筛选后时间跨度小于设定阈值且数据完整的数据放置于对应的目录路径内，并将这些数据添加设定的指定关键字，完成数据存储。
[0011]作为本专利技术技术方案的进一步限定，响应于用户的操作请求，对用户进行身份验证的步骤包括：
[0012]响应于用户的操作请求，对用户输入的包括密码信息、语音信息、人脸信息、指纹信息的一种或多种信息进行用户身份的验证。
[0013]作为本专利技术技术方案的进一步限定，对采集后的数据进行预处理的步骤包括：
[0014]将数据的采集时间按照顺序划分为多个时间段；
[0015]分别将各类别的采集数据按照划分的时间段在类别内进行去重处理得到第一去重数据；
[0016]将第一去重数据中的语音信息、图像信息、视频信息分别转换成文字信息；
[0017]将第一去重数据中文字信息、语音信息转换成的文字信息、图像信息转换成的文
字信息、视频信息转换成的文字信息分别在同时间段内去重得到数据处理结果。
[0018]作为本专利技术技术方案的进一步限定，将筛选后时间跨度小于设定阈值且数据完整的数据放置于目录路径内，并将这些数据添加设定的指定关键字，完成数据存储的步骤之前包括：
[0019]设置目录用以对数据文件信息进行分类，目录的名称包含分类信息；
[0020]分别在数据库各区域设置文件名，文件名的名称包含分类信息。
[0021]作为本专利技术技术方案的进一步限定，将筛选后时间跨度小于设定阈值且数据完整的数据放置于目录路径内，并将这些数据添加设定的指定关键字，完成数据存储的步骤包括：
[0022]将筛选后时间跨度小于设定阈值且数据完整的数据存储到数据放置于目录路径内，并将这些数据添加设定的指定关键字；
[0023]将筛选掉的数据以及数据处理过程的去重数据存储到异常数据存储区。
[0024]作为本专利技术技术方案的进一步限定，该方法还包括：当需要在数据库中检索信息时，根据大数据目录进行信息检索和/或根据大数据关键字进行信息检索。
[0025]作为本专利技术技术方案的进一步限定，根据大数据关键字进行信息检索的步骤包括：
[0026]构建关键字的索引文件，用以通过关键字查找包含所述关键字的文件内容；
[0027]设置文件内容索引用以根据关键字直接定位到文件内容，并提取出包含所述关键字的文件内容信息。
[0028]第二方面，本专利技术技术方案提供一种大数据存储装置，包括身份验证子装置、数据获取子装置、数据处理子装置、数据筛选子装置和数据存储子装置；
[0029]身份验证子装置，配置为响应于用户的操作请求，对用户进行身份验证；
[0030]数据采集子装置，配置为身份验证通过后，按照文字、语音、图片和视频分类别进行数据采集，并配置数据的数据源和采集时间戳；
[0031]数据处理子装置，配置为将采集的数据进行预处理；
[0032]数据筛选子装置，配置为按照时间和数据的完整性对处理后的数据进行筛选；
[0033]数据存储子装置，配置为将筛选后时间跨度小于设定阈值且数据完整的数据放置于对应的目录路径内，并将这些数据添加设定的指定关键字，完成数据存储；
[0034]检索子装置，当需要在数据库中检索信息时，配置为根据大数据目录进行信息检索和/或根据大数据关键字进行信息检索。
[0035]作为本专利技术技术方案的进一步限定，身份验证子装置包括密码验证模块、语音验证模块、人脸识别模块、指纹识别模块中的一种模块或多种模块的组合；
[0036]密码验证模块，配置为接收用户输入的密码信息基于接收的密码信息进行身份验证；
[0037]语音验证模块，配置为获取用户的语音信息基于获取的语音信息进行身份验证；
[0038]人脸识别模块，配置为获取用户的人脸图像基于获取的人脸图像进行身份验证；
[0039]指纹识别模块，配置为获取用户的指纹信息基于获取的指纹信息进行身份验证。
[0040]作为本专利技术技术方案的进一步限定，数据采集子装置包括文字采集模块、语音采集模块、图像采集模块和视频采集模块；
[0041]文字采集模块，配置为进行文字信息的采集；
[0042]语音采集模块，配置为进行语音信息的采集；
[0043]图像采集模块，配置为进行图像信息的采集；
[0044]视频采集模块，配置为进行视频信息的采集。
[0045]作为本专利技术技术方案的进一步限定，数据处理子装置包括划分模块、第一处理模块、信息转换模块、第二处理模块；
[0046]划分模块，配置为将数据的采集时间按照顺序划分为多个时间段；
[0047]第一处理模块，配置为分别将各类别的采集数据按照划分的时间段在类别内进行去重处理得到第一去重数据；
[0048]信息转换模块，配置为将第一去重数据中的语音信息、图像信息、视频信息分别转换成文字信息；
[0049]第二处理模块，配置为将第一去重数据中文字信息、语音信息转换成的文字信息、图像信息转换成的文字信息、视频信息转换成的文字信息分别在同时间段内去重得到数据处理结果。
[0050]作为本专利技术技术方案的进一步限定，信息转换模块包括语音信息转换单元、图像信息转换单元、视频信息转换单元；
[0051]语音信息转换本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据存储方法，其特征在于，包括如下步骤：响应于用户的操作请求，对用户进行身份验证；身份验证通过后，按照文字、语音、图片和视频分类别进行数据采集；对采集后的数据进行预处理；对预处理后的数据分别按照时间节点和数据完整性进行筛选；将筛选后时间跨度小于设定阈值且数据完整的数据放置于对应的目录路径内，并将这些数据添加设定的指定关键字，完成数据存储。2.根据权利要求1所述的大数据存储方法，其特征在于，响应于用户的操作请求，对用户进行身份验证的步骤包括：响应于用户的操作请求，对用户输入的包括密码信息、语音信息、人脸信息、指纹信息的一种或多种信息进行用户身份的验证。3.根据权利要求2所述的大数据存储方法，其特征在于，对采集后的数据进行预处理的步骤包括：将数据的采集时间按照顺序划分为多个时间段；分别将各类别的采集数据按照划分的时间段在类别内进行去重处理得到第一去重数据；将第一去重数据中的语音信息、图像信息、视频信息分别转换成文字信息；将第一去重数据中文字信息、语音信息转换成的文字信息、图像信息转换成的文字信息、视频信息转换成的文字信息分别在同时间段内去重得到数据处理结果。4.根据权利要求3所述的大数据存储方法，其特征在于，将筛选后时间跨度小于设定阈值且数据完整的数据放置于目录路径内，并将这些数据添加设定的指定关键字，完成数据存储的步骤之前包括：设置目录用以对数据文件信息进行分类，目录的名称包含分类信息；分别在数据库各区域设置文件名，文件名的名称包含分类信息。5.根据权利要求4所述的大数据存储方法，其特征在于，将筛选后时间跨度小于设定阈值且数据完整的数据放置于目录路径内，并将这些数据添加设定的指定关键字，完成数据存储的步骤包括：将筛选后时间跨度小于设定阈值且数据完整的数据存储到数据放置于目录路径内，并将这些数据添加设定的指定关键字；将筛选掉的数据以及数据处理过程的去重数据存...

【专利技术属性】
技术研发人员：王军，张茗瑛，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：