一种数据存储系统和方法、存储介质技术方案

本发明专利技术提供一种数据存储的系统和方法、存储介质，所述系统包括：存储模块，用于通过分文件存储方式对存储对象的Key值与行为习惯文件模型的偏移量进行存储；使用模块，用于将所述存储对象的Key值与行为习惯文件模型的偏移量加载到内存中；更新模块，用于根据所述存储对象的Key值与行为习惯文件模型的偏移量，计算静态行为习惯数据并从文件系统中获取外部静态行为习惯数据，从而更新所述静态行为习惯数据；以及接口模块，用于提供通用接口，接收所述静态行为习惯数据。本发明专利技术通过采用关键key与存储偏移量关系存储来快速获得存储位置，并使用关键key值搜索使用行为习惯数据，提出文件模型与内存模型相映射的方式，实现动态行为习惯实时计算和实时更新。

【技术实现步骤摘要】
一种数据存储系统和方法、存储介质
本专利技术涉及数据处理领域，具体而言，涉及一种数据存储的系统和方法、存储介质。
技术介绍
随着信息技术的发展，人们可以通过对大量数据进行统计分析来帮助决策。例如在银行的风险监控领域，可以通过分析客户的每一笔交易行为，以及此客户的历史交易行为，来判断客户当笔交易是否非本人操作的可能性，并以此决策是否对该客户的交易采取控制措施。单一的历史交易行为对于风险识别来说无参考价值，系统的有规律的行为数据才是有价值的数据，我们把这类数据称为行为习惯。行为习惯绝大部分数据是相对稳定的，部分数据是需要迭代更新。就风险识别领域而言，2个研究对象之间的习惯关联几乎没有，更多的是要得到当前交易行为与行为习惯的匹配度。相对存储而言，我们更关心数据的使用效率。通常业界在行为习惯应用方面，主要使用大数据技术、分布式DB来实现。常用的大数据技术有HADOOP等，借用HSQL语言，实现对行为习惯的存储及使用。但在实际应用中发现，实时分析交易风险时，这种方法存在成本高、处理效率不足、滞后、取脏数据、客户发生交易行为后行为习惯数据不能立即更新使用等缺陷。
技术实现思路
为解决上述技术问题，本专利技术提供了一种数据存储的系统和方法、存储介质，解决当前数据存储成本高、搜索效率低和实时更新性能差的问题。根据本专利技术实施例的第一方面，提供了一种数据存储系统，所述系统包括：存储模块，用于通过分文件存储方式对存储对象的Key值与行为习惯文件模型的偏移量进行存储；使用模块，用于将所述存储对象的Key值与行为习惯文件模型的偏移量加载到内存中；更新模块，用于根据所述存储对象的Key值与行为习惯文件模型的偏移量，计算静态行为习惯数据并从文件系统中获取外部静态行为习惯数据，从而更新所述静态行为习惯数据；以及接口模块，用于提供通用接口，接收所述静态行为习惯数据。根据本专利技术实施例的第二方面，提供一种数据存储方法，所述方法包括：存储模块通过分文件存储方式对存储对象的Key值与行为习惯文件模型的偏移量进行存储；使用模块将所述存储对象的Key值与行为习惯文件模型的偏移量加载到内存中；更新模块根据所述存储对象的Key值与行为习惯文件模型的偏移量，计算静态行为习惯数据并从文件系统中获取外部静态行为习惯数据，从而更新所述静态行为习惯数据；以及接口模块提供通用接口，接收所述静态行为习惯数据。根据本专利技术实施例的第三方面，提供一种计算机可读存储介质，所述计算机存储介质包含有计算机程序，其中，所述计算机程序在被一个或多个计算机执行时使得所述一个或多个计算机执行如下操作：所述操作包括如上中任一项所述的数据存储方法所包含的步骤。实施本专利技术实施例提供的一种数据存储的系统和方法、存储介质，具有以下优点：有效地降低了数据存储的成本，并提高了数据的搜索效率和实时更新性能。附图说明图1是本专利技术实施例的一种数据存储系统1的结构示意图；图2是本专利技术实施例所述系统1中所述行为存储模块100的结构示意图；图3是本专利技术实施例所述系统1中所述行为更新模块300的结构示意图；图4是本专利技术实施例的一种数据存储方法的流程图；图5是本专利技术实施例所述方法中步骤S1的流程图；图6是本专利技术实施例所述方法中步骤S3的流程图。具体实施方式为使本专利技术的实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步地详细描述。首先，本专利技术涉及的专业术语如下：静态行为习惯：相对稳定的行为习惯，时间段比较长(3个月到一年)的研究对象行为特征，一段时间内不会发生变化。动态行为习惯:累计变化的或短时间区间的客户行为特征，在使用过程中矢量更新。文件模型:行为习惯文件系统存储结构，也指在文件系统中的存储。内存模型:行为习惯内存中存储结构。习惯加载:从文件模型到内存模型。习惯回写:将动态行为习惯回写到文件模型。图1是本专利技术实施例的一种数据存储系统1的结构示意图；参见图1，所述系统包括：存储模块100，用于通过分文件存储方式对存储对象的Key值与行为习惯文件模型的偏移量进行存储；其中，分文件存储研究对象行为习惯，分文件存储研究对象key值与行为习惯文件模型偏移量二者关系；使用模块200，用于将所述存储对象的Key值与行为习惯文件模型的偏移量加载到内存中；其中，加载对象key值与行为习惯文件模型偏移量到内存，并提供搜索方法。加载文件模型到内存模型，实时计算动态行为习惯，得出行为习惯匹配结果，并在研究对象行为习惯移出内存时更新动态行为习惯；更新模块300，用于根据所述存储对象的Key值与行为习惯文件模型的偏移量，计算静态行为习惯数据并从文件系统中获取外部静态行为习惯数据，从而更新所述静态行为习惯数据；以及接口模块400，用于提供通用接口，接收所述静态行为习惯数据。其中，存储模块100援用现有技术，技术人员选择了分文件存储代替分布式存储，对研究对象的key值做hash得到存储文件，并对研究对象的key值、文件模型相对存储文件起始位置偏移量二者关系进行存储。使用模块200将这个关系即存在文件系统中，在程序启动时也会加载到内存中。对象的交易行为过来后，通过内存判断是否是已经进行了习惯加载，如果已经加载，则可以直接使用行为习惯，如果未加载则通过关系查找到行为习惯的文件模型存储位置将其加载到内存模型。更新模块300执行过程中，动态行为习惯是实时计算的，每次都能获得最新的动态行为习惯，更新动态行为习惯。对静态行为习惯进行更新时，也利用存储关系能快速定位更新静态行为习惯。最后，接口模块400执行过程中，该专利技术对行为习惯做了统一接口定义，可以存储任意第三方提供的行为习惯。本专利技术实施例提供的一种数据存储系统，可有效地降低了数据存储的成本，并提高了数据的搜索效率和实时更新性能。图2是本专利技术实施例所述系统1中所述行为存储模块100的结构示意图；参见图2，所述存储模块包括：计算子模块，用于对所述存储对象的Key值进行哈希计算处理得到存储文件；以及存储子模块，用于通过分文件存储方式对所述存储对象的Key值与行为习惯文件模型相对于所述存储文件起始位置偏移量进行存储。图3是本专利技术实施例所述系统1中所述行为更新模块300的结构示意图；参见图3，所述更新模块包括：静态计算子模块，用于根据所述存储对象的Key值与行为习惯文件模型的偏移量，实时获取和计算所述静态行为习惯数据；动态计算子模块，用于根据所述存储对象的Key值与行为习惯文件模型的偏移量，实时获取和计算所述外部行为习惯数据；以及更新子模块，用于对用户交易信息进行采集和数据整理。所述更新所述静态行为习惯数据包括：利用所述行为习惯文件模型相对于所述存储文件起始位置偏移量进行定位和更新。图4是本专利技术实施例的一种数据存储方法的流程图；参见图4，所述方法包括：步骤S1，存储模块通过分文件存储方式对存储对象的Key值与行为习惯文件模型的偏移量进行存储；步骤S2，使用模块将所述存储对象的Key值与行为习惯文件模型的偏移量加载到内存中；步骤S3，更新模块根据所述存储对象的Key值与行为习惯文件模型的偏移量，计算静态行为习惯数据和获取外部行为习惯数据，从而更新所述静态行为习惯数据；以及步骤S4，接口模块提供通用接口，接收所述静态行为习惯数据。其中，在步骤S1中，援用现有技术，技术人员选择了分文件存储代替分布本文档来自技高网...

【技术保护点】
1.一种数据存储系统，其特征在于，所述系统包括：存储模块，用于通过分文件存储方式对存储对象的Key值与行为习惯文件模型的偏移量进行存储；使用模块，用于将所述存储对象的Key值与行为习惯文件模型的偏移量加载到内存中；更新模块，用于根据所述存储对象的Key值与行为习惯文件模型的偏移量，计算静态行为习惯数据并从文件系统中获取外部静态行为习惯数据，从而更新所述静态行为习惯数据；以及接口模块，用于提供通用接口，接收所述静态行为习惯数据。

【技术特征摘要】
1.一种数据存储系统，其特征在于，所述系统包括：存储模块，用于通过分文件存储方式对存储对象的Key值与行为习惯文件模型的偏移量进行存储；使用模块，用于将所述存储对象的Key值与行为习惯文件模型的偏移量加载到内存中；更新模块，用于根据所述存储对象的Key值与行为习惯文件模型的偏移量，计算静态行为习惯数据并从文件系统中获取外部静态行为习惯数据，从而更新所述静态行为习惯数据；以及接口模块，用于提供通用接口，接收所述静态行为习惯数据。2.如权利要求1所述系统，其特征在于，所述存储模块包括：计算子模块，用于对所述存储对象的Key值进行哈希计算处理得到存储文件；以及存储子模块，用于通过分文件存储方式对所述存储对象的Key值与行为习惯文件模型相对于所述存储文件起始位置偏移量进行存储。3.如权利要求1所述系统，其特征在于，所述更新模块包括：静态计算子模块，用于根据所述存储对象的Key值与行为习惯文件模型的偏移量，实时获取和计算所述静态行为习惯数据；动态计算子模块，用于根据所述存储对象的Key值与行为习惯文件模型的偏移量，实时获取和计算所述外部行为习惯数据；以及更新子模块，用于对用户交易信息进行采集和数据整理。4.如权利要求3所述系统，其特征在于，所述更新所述静态行为习惯数据包括：利用所述行为习惯文件模型相对于所述存储文件起始位置偏移量进行定位和更新。5.一种数据存储方法，其特征在于，所述方法包括：存储模块通过分文件存储方式对存储对象的Key值与行为习惯文件模型的偏移量进行存储；使用模块将所述存储对象的Key值与行为习惯文件模型的偏移...

【专利技术属性】
技术研发人员：梁学甲，覃鹏，程明远，龚苇，梁永健，禤栋雄，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：北京,11