日志存储检索方法、电子装置及计算机设备制造方法及图纸

本发明专利技术公开了一种日志存储检索方法。将风险控制系统的多条日志数据存储到第一数据库；根据所述多笔日志数据建立多个键值和组成所述多个键值的各个字段的映射关系，并将所述多个键值与每一个键值的申请号存储到第二数据库；当要检索一条日志数据时，根据某个或某些字段去第二数据库查出对应所述条日志数据的键值；及根据在所述第二数据库查出对应所述条日志数据的键值，再去所述第一数据库查出对应所述键值的日志数据。本发明专利技术还提供使用日志存储检索方法的电子装置，通过整合ElasticSearch数据库与HBase数据库，实现海量日志的存储和快速检索。

【技术实现步骤摘要】
日志存储检索方法、电子装置及计算机设备
本专利技术涉及过程优化的
，尤其涉及一种日志存储检索方法、电子装置、计算机设备及存储介质。
技术介绍
目前业内通过关系型数据库如Oracle存储检索日志，面临着存储容量有限问题，当数据量剧增时检索效率较低；通过非关系型数据库如MongoDB存储检索日志，日志量剧增时，存储空间相应的增长，耗费昂贵的费用。由于风险控控系统每天的日志量很大，传统的关系型数据库难以满足海量日志的存储需求，所以需要将日志存储到非关系型数据库。当数据量很大时，检索效率明显降低。
技术实现思路
有鉴于此，本专利技术提出一种日志存储检索方法，通过整合ElasticSearch数据库与HBase数据库，实现海量日志的存储和快速检索。为实现上述目的，本专利技术提出一种日志存储检索方法，应用于电子装置中，该方法包括步骤：将风险控制系统的多条日志数据存储到第一数据库，其中，一条日志数据对应一个行键的键值；根据所述多条日志数据建立多个键值和组成所述多个键值的各个字段的映射关系，并将所述映射关系存储到第二数据库；当检索目标日志数据时，根据所述目标日志数据对应的字段从第二数据库查找对应所述目标日志数据的键值；及根据所述目标日志数据的键值，从所述第一数据库查找对应所述目标日志数据的的日志数据。进一步地，所述多个键值的各个字段包括申请号和日期，根据所述申请号和所述日期两个字段查所述日志数据时，先根据所述申请号和所述日期去所述第二数据库找到所述键值；及通过所述第二数据库的二级索引组合多个查询字段。进一步地，所述键值由多个字段拼成，格式为：递增序号_申请号_调用ID_策略集编码_查询类型_日期_序列号。进一步地，所述日志数据至少包括申请号、入参、出参、处理器ID、请求开始时间和请求结束时间。进一步地，所述第一数据库为HBase数据库，所述第二数据库为ElasticSearch数据库。为实现上述目的，本专利技术还提出一种电子装置，包括存储模块、建立模块与查找模块。所述存储模块用于将风险控制系统的多条日志数据存储到第一数据库，其中，一条日志数据对应一个行键的键值。所述建立模块用于根据所述多条日志数据建立多个键值和组成所述多个键值的各个字段的映射关系，并将所述映射关系储到第二数据库。所述查找模块用于当检索目标日志数据时，根据所述目标日志数据对应的字段从第二数据库找出对应所述目标日志数据的键值，及根据所述目标日志数据的键值，从所述第一数据库找出对应所述目标日志数据的日志数据。进一步地，所述多个键值的各个字段包括申请号和日期，所述查找模块根据所述申请号和所述日期两个字段查所述日志数据时，先根据所述申请号和所述日期去所述第二数据库找到所述键值，及通过所述第二数据库的二级索引组合多个查询字段。进一步地，所述键值由多个字段拼成，格式为：递增序号_申请号_调用ID_策略集编码_查询类型_日期_序列号。为实现上述目的，本专利技术还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述日志存储检索方法的步骤。为实现上述目的，本专利技术还提供计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述日志存储检索方法的步骤。相较于现有技术，本专利技术之日志存储检索方法应用在风险控制系统中，通过整合ElasticSearch数据库与HBase数据库，实现海量日志的存储和快速检索。附图说明图1系显示本专利技术实施例之电子装置的硬件架构示意图；图2系显示本专利技术实施例之电子装置的功能方块图；图3系显示本专利技术实施例之日志存储检索方法的步骤流程图；及图4系显示本专利技术实施例之步骤303的具体实施流程图。附图标记：电子装置10存储器110处理器120日志存储检索系统130存储模块210建立模块220查找模块230本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，在本专利技术中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本专利技术要求的保护范围之内。图1系显示本专利技术实施例之电子装置的硬件架构示意图。电子装置10，但不仅限于，可通过系统总线相互通信连接存储器110、处理器120以及日志存储检索系统130，图1仅示出了具有组件110-130的电子装置10，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。所述存储器110至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器110可以是所述电子装置10的内部存储单元，例如该电子装置10的硬盘或内存。在另一些实施例中，所述存储器也可以是所述电子装置10的外部存储设备，例如该电子装置10上配备的插接式硬盘，智能存储卡(SmartMediaCard，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(FlashCard)等。当然，所述存储器110还可以既包括所述电子装置100的内部存储单元也包括其外部存储设备。本实施例中，所述存储器110通常用于存储安装于所述电子装置10的操作系统和各类应用软件，例如日志存储检索系统130的程序代码等。此外，所述存储器110还可以用于暂时地存储已经输出或者将要输出的各类数据。所述处理器120在一些实施例中可以是中央处理器(CentralProcessingUnit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器120通常用于控制所述电子装置10的总体操作。本实施例中，所述处理器120用于运行所述存储器110中存储的程序代码或者处理数据，例如，运行所述日志存储检索系统130等。图2系显示本专利技术实施例之电子装置的功能方块图。本专利技术实施例之电子装置10包括存储模块210、建立模块220与查找模块230。存储模块210将风险控制系统的日志数据存储到HBase数据库(又称第一数据库)，其中，一行日志数据对应一个行键(RowKey)的键值，行键(RowKey)表示为键值(KeyValue)的Key，表示唯一一行。所述日志数据包括申请号，入参，出参，处理器ID，请求开始时间，结束时间。本专利技术的风险控制系统是通过采集征信报告，设备指纹等数据，对客户进行风险评级。产生的日志记录了数据本文档来自技高网...

【技术保护点】
1.一种日志存储检索方法，应用于电子装置中，其特征在于，所述方法包括步骤：将风险控制系统的多条日志数据存储到第一数据库，其中，一条日志数据对应一个行键的键值；根据所述多条日志数据建立多个键值和组成所述多个键值的各个字段的映射关系，并将所述映射关系存储到第二数据库；当检索目标日志数据时，根据所述目标日志数据对应的字段从第二数据库查找对应所述目标日志数据的键值；及根据所述目标日志数据的键值，从所述第一数据库查找对应所述目标日志数据的日志数据。

【技术特征摘要】
1.一种日志存储检索方法，应用于电子装置中，其特征在于，所述方法包括步骤：将风险控制系统的多条日志数据存储到第一数据库，其中，一条日志数据对应一个行键的键值；根据所述多条日志数据建立多个键值和组成所述多个键值的各个字段的映射关系，并将所述映射关系存储到第二数据库；当检索目标日志数据时，根据所述目标日志数据对应的字段从第二数据库查找对应所述目标日志数据的键值；及根据所述目标日志数据的键值，从所述第一数据库查找对应所述目标日志数据的日志数据。2.如权利要求1所述之日志存储检索方法，其特征在于，所述方法还包括步骤：所述多个键值的各个字段包括申请号和日期，根据所述申请号和所述日期两个字段查所述日志数据时，先根据所述申请号和所述日期去所述第二数据库找到所述键值；及通过所述第二数据库的二级索引组合多个查询字段。3.如权利要求1所述之日志存储检索方法，其特征在于，所述键值由多个字段拼成，格式为：递增序号_申请号_调用ID_策略集编码_查询类型_日期_序列号。4.如权利要求1所述之日志存储检索方法，其特征在于，所述日志数据至少包括申请号、入参、出参、处理器ID、请求开始时间和请求结束时间。5.如权利要求1所述之日志存储检索方法，其特征在于，所述第一数据库为HBase数据库，所述第二数据库为ElasticSearch数据库。6.一种电子装置，其特征...

【专利技术属性】
技术研发人员：袁康，
申请(专利权)人：平安普惠企业管理有限公司，
类型：发明
国别省市：广东,44