【技术实现步骤摘要】
本专利技术属于基础数据处理领域，特别涉及一种业务系统架构的基础数据处理方法。
技术介绍
1、大数据时代的到来，大量的数据通过数据分析得出的重要结论是企业发展的重要助力，在物流服务的数据系统中，随着日益增长的业务需求，系统访问量日益增加，需要面临超高吞吐量的信息访问、数据更新等，在系统的操作日志记录、流量溯源和缓存等都面临着巨大瓶颈，基于此，特提出本方案。
技术实现思路
1、专利技术目的：为了克服现有技术中存在的不足，本专利技术提供一种业务系统架构的基础数据处理方法，能够解决高吞吐环境下的信息访问、数据更新、操作日志记录和流量溯源，满足在各种情况下持续提供稳定的服务。
2、技术方案：为实现上述目的，本专利技术的技术方案如下：
3、一种业务系统架构的基础数据处理方法，所述业务系统架构包括数据库、操作日志、流量溯源和缓存，包括：
4、将数据库分为一个主库以及至少一个从库，在主库中处理数据的写请求，在从库中处理数据的读请求；
5、根据写请求的类型匹配对应的处理策略，建立操作日志；
6、将各个域请求基础平台的服务进行区分，每个域仅能调用专属服务，并禁止其他域的前端调用基础平台的后端服务，以进行流量溯源；
7、缓存常用数据形成缓存数据库，在访问原始数据源之前优先调用缓存数据库。
8、进一步地，在数据库的数据处理过程中，首先判断读/写请求的类型，然后对相应的主库或从库进行健康检查，若对应的数据库正常则从对应的库中
9、进一步地，建立操作日志的步骤包括：
10、通过拦截器拦截写请求，并将写请求的语句存入threadlocal中，用于日志切面进行查询获取新增或更新后的所有字段数据；
11、建立日志配置表；
12、通过日志切面将拦截器处理后的数据信息发送给日志解析消费者；
13、所述日志解析消费者接收消息内容并查询日志配置表，如果未配置或者日志开关为关闭则不进行日志记录；若配置表中的日志开关为开启则将更新前数据和更新后数据转换为map进行比较，然后根据不同的写请求类型匹配相对应的处理策略。
14、进一步地，通过sql拦截器将更新、删除、插入语句转换成select语句存入threadlocal中，用于日志切面进行查询获取新增或更新后的所有字段数据；
15、如果是更新和删除语句，则所述操作日志记录更新前和更新后的数据查询语句；如果是插入语句，则所述操作日志只记录更新后的数据查询语句。
16、进一步地，根据sql拦截器处理并存入threadlocal中的数据进行处理，如果是更新类型则再次执行select语句获得更新后的数据，然后将解析日志所需的数据集合转成json并发送至mq。
17、进一步地，在日志解析消费者步骤中，根据不同的操作类型匹配不同的处理策略包括：
18、若为插入类型，则将更新后数据中字段转为日志字段，将配置表中的描述拼接上具体的值，然后取数据库中的创建人字段作为操作人，最后将整个更新后数据转换为日志描述存入数据库中；
19、若为更新类型，则将更新后map和更新前map进行比较，取出key相同但value不同的数据，将存在变化的数据的key转为日志字段，将配置表中的描述拼接上具体的值，取数据库中的更新人字段作为操作人，最后将整个日志描述存入数据库中；
20、若为删除类型，则将更新前数据中字段转为日志字段，将配置表中的描述拼接上具体的值，然后取数据库中的更新人字段作为操作人，最后将整个before转换为日志描述存入数据库中。
21、进一步地，在流量溯源的步骤包括：
22、获取调用路径，检验路径白名单；
23、获取调用方ip，获取注册中心内服务列表；
24、根据服务列表匹配调用方应用名称，匹配服务应用白名单。
25、进一步地，在所述流量溯源的步骤中包含以下特征至少之一：
26、通过调用httpservletrequest.getrequesturi()，获取请求的调用路径；
27、获取apollo配置中的白名单，若当前调用路径属于白名单则直接放行；
28、通过httpservletrequest.getremoteaddr()，获取调用方ip地址；
29、调用discoveryclient.getservices()，获取当前注册中心内的服务列表；
30、根据调用方ip匹配服务列表中对应的应用名称，获取apollo配置中的服务拦截器允许访问的应用名称，和当前调用方ip对应的应用名称做比对，若能够匹配则放行，否则将被拦截。
31、进一步地，在调用缓存的过程中包含以下步骤：
32、检查是否启用缓存拦截，若启动了缓存拦截则生成缓存键；
33、获取目标方法的返回类型，若缓存中存在对应数据则直接返回数据，若缓存中不存在对应的数据则通过执行目标方法获取数据，并将其存储在变量返回值中；
34、记录日志，表示目标方法是通过执行而不是从缓存获得的结果；
35、设置缓存，将通过目标方法获取的数据存入到缓存中。
36、进一步地，所述缓存键的生成步骤包括：
37、接收程序连接点对象作为参数，用于获取当前的请求和方法信息，然后调用到键字符串方法拼接生成一个唯一的缓存键；或，
38、接收服务请求属性、方法参数数组和方法对象作为参数，首先从request中获取当前请求的uri，然后通过md5工具将方法所属类名和参数数组转换成一个md5哈希字符串，再将这两部分连接后作为最终的缓存键。
39、有益效果：本专利技术通过读写分离使得整个系统的查询性能得到极大的改善，通过请求的类型匹配对应的处理策略，从数据交互层建立操作日志框架，记录准确、处理速度更快；通过将各个域请求基础平台的服务进行区分，每个域仅能调用专属服务，并禁止其他域的前端调用基础平台的后端服务，以进行流量溯源；通过缓存提升访问速度。
本文档来自技高网...【技术保护点】
1.一种业务系统架构的基础数据处理方法，所述业务系统架构包括数据库、操作日志、流量溯源和缓存，其特征在于：
2.根据权利要求1所述的一种业务系统架构的基础数据处理方法，其特征在于：在数据库的数据处理过程中，首先判断读/写请求的类型，然后对相应的主库或从库进行健康检查，若对应的数据库正常则从对应的库中调取数据，若对应的数据库异常，则从另一个从库或主库中调取数据。
3.根据权利要求1所述的一种业务系统架构的基础数据处理方法，其特征在于：建立操作日志的步骤包括：
4.根据权利要求3所述的一种业务系统架构的基础数据处理方法，其特征在于：通过SQL拦截器将更新、删除、插入语句转换成SELECT语句存入ThreadLocal中，用于日志切面进行查询获取新增或更新后的所有字段数据；
5.根据权利要求3所述的一种业务系统架构的基础数据处理方法，其特征在于：根据SQL拦截器处理并存入ThreadLocal中的数据进行处理，如果是更新类型则再次执行SELECT语句获得更新后的数据，然后将解析日志所需的数据集合转成JSON并发送至MQ。
6.
7.根据权利要求1所述的一种业务系统架构的基础数据处理方法，其特征在于：在流量溯源的步骤包括：
8.根据权利要求7所述的一种业务系统架构的基础数据处理方法，其特征在于：在所述流量溯源的步骤中包含以下特征至少之一：
9.根据权利要求1所述的一种业务系统架构的基础数据处理方法，其特征在于：在调用缓存的过程中包含以下步骤：
10.根据权利要求1所述的一种业务系统架构的基础数据处理方法，其特征在于：所述缓存键的生成步骤包括：
...【技术特征摘要】
1.一种业务系统架构的基础数据处理方法，所述业务系统架构包括数据库、操作日志、流量溯源和缓存，其特征在于：
2.根据权利要求1所述的一种业务系统架构的基础数据处理方法，其特征在于：在数据库的数据处理过程中，首先判断读/写请求的类型，然后对相应的主库或从库进行健康检查，若对应的数据库正常则从对应的库中调取数据，若对应的数据库异常，则从另一个从库或主库中调取数据。
3.根据权利要求1所述的一种业务系统架构的基础数据处理方法，其特征在于：建立操作日志的步骤包括：
4.根据权利要求3所述的一种业务系统架构的基础数据处理方法，其特征在于：通过sql拦截器将更新、删除、插入语句转换成select语句存入threadlocal中，用于日志切面进行查询获取新增或更新后的所有字段数据；
5.根据权利要求3所述的一种业务系统架构的基础数据处理方法，其特征在于：根...
【专利技术属性】
技术研发人员：蔡军，程凯，张龙，
申请(专利权)人：上海捷晓信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。