【技术实现步骤摘要】
数据写入方法及装置
本公开涉及大数据
,尤其涉及一种数据写入方法及装置。
技术介绍
目前,许多服务和应用程序需要使用不同类型的数据源。例如,在政务和教育等领域,有条件的共享企业内部的数据成为一大需求,而大部分业务需要通过数据集市(DataMar)进行安全的、受管理的数据访问。相关技术中,通过SOA(Service-OrientedArchitecture,面向服务的体系结构)将企业的数据转变成服务,屏蔽底层差异,从不同的数据源解耦以提供数据服务。在实际业务场景中,为保证服务的共享质量、服务的健康程度、共享数据的安全性和出现安全事故的责任追溯能力,需要针对每次调用服务进行监控,记录调用的服务名称、服务操作名称、调用状态、调用起始时间、响应时间、调用方IP(InternetProtocol,网络协议)地址、调用用户名称、租户名称和调用失败信息(如有)等调用日志数据。
技术实现思路
有鉴于此,本公开提出了一种数据写入方法及装置,以解决相关技术中针对脉冲类型的短时间高并发调用服务访问量,导致部分调用日志数据因为等待数据库连接的时长超时而丢失的问题。根据本公开的一方面,提 ...
【技术保护点】
1.一种数据写入方法,其特征在于,所述方法适用于服务器,所述方法包括:获取调用服务对应的调用日志数据;在等待将所述调用日志数据写入数据库的时长到达预设时长时,将所述调用日志数据存入缓存;确定所述数据库的状态为空闲的时间段,并在所述空闲的时间段将所述缓存中的所述调用日志数据写入所述数据库。
【技术特征摘要】
1.一种数据写入方法,其特征在于,所述方法适用于服务器,所述方法包括:获取调用服务对应的调用日志数据;在等待将所述调用日志数据写入数据库的时长到达预设时长时,将所述调用日志数据存入缓存;确定所述数据库的状态为空闲的时间段,并在所述空闲的时间段将所述缓存中的所述调用日志数据写入所述数据库。2.根据权利要求1所述的方法,其特征在于,所述方法还包括:获取数据库连接池中数据库连接的使用情况,并根据所述数据库连接的使用情况,确定所述数据库的状态;如果所述数据库的状态为繁忙,则等待将所述调用日志数据写入数据库;或,如果所述数据库的状态为空闲,则通过所述数据连接将所述调用日志数据写入所述数据库。3.根据权利要求2所述的方法,其特征在于,根据所述数据库连接的使用情况,确定所述数据库的状态,包括:获取所述数据库连接池中处于使用状态的所述数据库连接的个数;计算处于使用状态的所述数据库连接的个数与所述数据库连接池中所述数据库连接的总个数的比值;如果所述比值大于或等于阈值,则确定所述数据库的状态为繁忙;或,如果所述比值小于阈值,则确定所述数据库的状态为空闲。4.根据权利要求1或2所述的方法,其特征在于,将所述调用日志数据写入所述数据库,包括:获取数据库连接池中处于未使用状态的数据库连接;通过所获取的数据库连接,将所述调用日志数据写入所述数据库。5.根据权利要求1所述的方法,其特征在于,确定所述数据库的状态为空闲的时间段,包括:根据采集的每秒数据库增加的调用日志数据的大小和每秒数据库连接的使用情况,训练得到预测模型;通过所述预测模型确定所述数据库的状态为空闲的时间段。6.一种数据写入装置,其特征在于,所述装置...
【专利技术属性】
技术研发人员:张冲,
申请(专利权)人:新华三大数据技术有限公司,
类型:发明
国别省市:河南,41
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。