本发明专利技术公开了一种电池数据迁移方法、装置及存储介质，其中，所述方法包括：基于电池数据库的电池数据存储格式在Hive数据库中创建目标数据表和目标数据库；获取电池数据库中的历史数据并传输至目标数据表，根据目标数据表中的当前最新数据生成起始数据标签；针对电池数据库中的新增数据，循环执行如下操作：在电池数据库中获取与预设的数据同步时间相对应的当前最新数据，并生成终止数据标签；基于当前的起始数据标签和终止数据标签确定待同步数据并传输至目标数据表，将终止数据标签更新为当前的起始数据标签。本发明专利技术所提供的技术方案能够解决现有技术中电池数据持续增加使得传统型数据库数据存储量过大，进而导致数据处理速度慢的技术问题。速度慢的技术问题。速度慢的技术问题。
【技术实现步骤摘要】
电池数据迁移方法、装置及存储介质
[0001]本专利技术涉及数据存储
，尤其涉及一种电池数据迁移方法、装置及存储介质。
技术介绍
[0002]在车辆系统中，需要每天采集车辆电池相关的数据，随着车辆电池数据的不断增加，原始存储电池数据的数据库不足以支撑庞大的数据量。随着存储的数据越来越多，原始数据库里对应的数据查询计算功能逐渐变慢，无法满足日常的报表查询及计算功能，造成业务功能使用效率低下。所以现有技术中存在电池数据持续增加使得传统型数据库数据存储量过大，进而导致数据处理速度慢的技术问题。
技术实现思路
[0003]本专利技术提供了一种电池数据迁移方法、装置及存储介质，旨在有效解决现有技术中电池数据持续增加使得传统型数据库数据存储量过大，进而导致数据处理速度慢的技术问题。
[0004]根据本专利技术的一方面，本专利技术提供一种电池数据迁移方法，所述方法包括：
[0005]基于电池数据库的电池数据存储格式在Hive数据库中创建目标数据表，基于所述目标数据表构建与所述电池数据库相对应的目标数据库；
[0006]获取所述电池数据库中的历史数据，通过数据传输工具将所述历史数据传输至所述目标数据表，并根据所述目标数据表中的当前最新数据生成起始数据标签；
[0007]针对所述电池数据库中的新增数据，循环执行如下操作：
[0008]在所述电池数据库中获取与预设的数据同步时间相对应的当前最新数据，并基于该当前最新数据生成终止数据标签；
[0009]基于当前的起始数据标签和终止数据标签确定待同步数据，通过所述数据传输工具将该待同步数据传输至所述目标数据表，并将该终止数据标签更新为当前的起始数据标签。
[0010]进一步地，所述基于电池数据库的电池数据存储格式在Hive数据库中创建目标数据表包括：
[0011]读取所述电池数据库的数据表信息，基于所述数据表信息确定数据表元素和数据存储地址，并基于所述数据表元素生成所述目标数据表。
[0012]可选地，所述基于所述目标数据表构建与所述电池数据库相对应的目标数据库包括：
[0013]基于所述目标数据表在所述Hive数据库中构建所述目标数据库，并通过启动脚本启动所述目标数据库。
[0014]进一步地，所述根据所述目标数据表中的当前最新数据生成起始数据标签包括：
[0015]获取所述目标数据表中的当前最新数据对应的第一时间信息、第一电池信息和第
一数据编号信息，对所述第一时间信息、所述第一电池信息和所述第一数据编号信息进行字符串拼接操作以生成所述起始数据标签，并将所述起始数据标签存储于预设的标签数据表。
[0016]进一步地，所述方法还包括：
[0017]在所述电池数据库中获取与预设的数据同步时间相对应的当前最新数据之前，设置用于对所述目标数据库和所述电池数据库进行同步的数据同步时间；或，
[0018]设置数据同步时间间隔，基于所述数据同步时间间隔确定所述数据同步时间。
[0019]进一步地，所述在所述电池数据库中获取与预设的数据同步时间相对应的当前最新数据，并基于该当前最新数据生成终止数据标签包括：
[0020]在所述电池数据库中获取该数据同步时间之前最新的未同步数据，并确实所述未同步数据为该当前最新数据；
[0021]获取该当前最新数据对应的第二时间信息、第二电池信息和第二数据编号信息，对所述第二时间信息、所述第二电池信息和所述第二数据编号信息进行字符串拼接操作以生成所述终止数据标签。
[0022]进一步地，所述基于当前的起始数据标签和终止数据标签确定待同步数据包括：
[0023]获取该起始数据标签对应的起始时间以及该终止数据标签对应的终止时间，确定所述电池数据库中所述起始时间至所述终止时间之间新增的数据为所述待同步数据。
[0024]进一步地，所述通过数据传输工具将所述历史数据传输至所述目标数据表包括：
[0025]创建历史数据Json脚本，通过所述历史数据Json脚本获取所述历史数据，通过Datax数据传输工具将所述历史数据传输至所述目标数据表；
[0026]可选地，所述通过所述数据传输工具将该待同步数据传输至所述目标数据表包括：
[0027]创建同步数据Json脚本，通过所述同步数据Json脚本获取所述待同步数据，通过所述Datax数据传输工具将所述待同步数据传输至所述目标数据表。
[0028]进一步地，所述将该终止数据标签更新为当前的起始数据标签包括：
[0029]在所述标签数据表中删除数据同步之前的起始数据标签，将该终止数据标签存储于所述标签数据表以作为当前的起始数据标签。
[0030]根据本专利技术的另一方面，本专利技术还提供了一种电池数据迁移装置，所述装置包括：
[0031]目标数据库创建模块，用于基于电池数据库的电池数据存储格式在Hive数据库中创建目标数据表，基于所述目标数据表构建与所述电池数据库相对应的目标数据库；
[0032]历史数据同步模块，用于获取所述电池数据库中的历史数据，通过数据传输工具将所述历史数据传输至所述目标数据表，并根据所述目标数据表中的当前最新数据生成起始数据标签；
[0033]新增数据同步模块，用于针对所述电池数据库中的新增数据，循环执行下列操作：
[0034]在所述电池数据库中获取与预设的数据同步时间相对应的当前最新数据，并基于该当前最新数据生成终止数据标签；
[0035]基于当前的起始数据标签和终止数据标签确定待同步数据，通过所述数据传输工具将该待同步数据传输至所述目标数据表，并将该终止数据标签更新为当前的起始数据标签。
[0036]根据本专利技术的另一方面，本专利技术还提供了一种存储介质，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行如上所述的任一电池数据迁移方法。
[0037]通过本专利技术中的上述实施例中的一个实施例或多个实施例，至少可以实现如下技术效果：
[0038]在本专利技术所公开的技术方案中，在大数据集群的一个大数据的数据库中创建与电池数据库对应的目标数据库和目标数据表，对历史电池数据进行备份后，根据特定的时间同步新增的电池数据。将电池数据库中全部的数据迁移到大数据库的数据表中，能够解决电池数据查询缓慢的问题，提高数据获取效率和数据业务功能。
附图说明
[0039]下面结合附图，通过对本专利技术的具体实施方式详细描述，将使本专利技术的技术方案及其它有益效果显而易见。
[0040]图1为本专利技术实施例提供的一种电池数据迁移方法的步骤流程图；
[0041]图2为本专利技术实施例提供的一种电池数据迁移装置的结构示意图。
具体实施方式
[0042]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种电池数据迁移方法，其特征在于，所述方法包括：基于电池数据库的电池数据存储格式在Hive数据库中创建目标数据表，基于所述目标数据表构建与所述电池数据库相对应的目标数据库；获取所述电池数据库中的历史数据，通过数据传输工具将所述历史数据传输至所述目标数据表，并根据所述目标数据表中的当前最新数据生成起始数据标签；针对所述电池数据库中的新增数据，循环执行如下操作：在所述电池数据库中获取与预设的数据同步时间相对应的当前最新数据，并基于该当前最新数据生成终止数据标签；基于当前的起始数据标签和终止数据标签确定待同步数据，通过所述数据传输工具将该待同步数据传输至所述目标数据表，并将该终止数据标签更新为当前的起始数据标签。2.如权利要求1所述的方法，其特征在于，所述基于电池数据库的电池数据存储格式在Hive数据库中创建目标数据表包括：读取所述电池数据库的数据表信息，基于所述数据表信息确定数据表元素和数据存储地址，并基于所述数据表元素生成所述目标数据表；可选地，所述基于所述目标数据表构建与所述电池数据库相对应的目标数据库包括：基于所述目标数据表在所述Hive数据库中构建所述目标数据库，并通过启动脚本启动所述目标数据库。3.如权利要求1所述的方法，其特征在于，所述根据所述目标数据表中的当前最新数据生成起始数据标签包括：获取所述目标数据表中的当前最新数据对应的第一时间信息、第一电池信息和第一数据编号信息，对所述第一时间信息、所述第一电池信息和所述第一数据编号信息进行字符串拼接操作以生成所述起始数据标签，并将所述起始数据标签存储于预设的标签数据表。4.如权利要求1所述的方法，其特征在于，所述方法还包括：在所述电池数据库中获取与预设的数据同步时间相对应的当前最新数据之前，设置用于对所述目标数据库和所述电池数据库进行同步的数据同步时间；或，设置数据同步时间间隔，基于所述数据同步时间间隔确定所述数据同步时间。5.如权利要求4所述的方法，其特征在于，所述在所述电池数据库中获取与预设的数据同步时间相对应的当前最新数据，并基于该当前最新数据生成终止数据标签包括：在所述电池数据库中获取该数据同步时间之前最新的未同步数据，并确实所述未同步数据为该当前最新数据；获取该当前最新数据对应的...
【专利技术属性】
技术研发人员：董腾飞，杨红新，张建彪，高攀龙，曾维思，
申请(专利权)人：章鱼博士智能技术上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。