本发明专利技术公开了一种场景数据存储方法、装置、设备和介质，涉及多个数据处理线程与多个场景模拟模型，各个数据处理线程均关联有一个消息队列，方法包括：当接收到任一场景模拟模型输出的多个初始场景数据时，计算各个初始场景数据对应的队列哈希值；将各个初始场景数据发送至队列哈希值对应的消息队列；通过数据处理线程从消息队列获取多个初始场景数据并进行数据整合，得到目标场景数据；通过数据处理线程将目标场景数据写入至目标数据库，从而提高对场景数据等碎片化数据的写入效率。高对场景数据等碎片化数据的写入效率。高对场景数据等碎片化数据的写入效率。
【技术实现步骤摘要】
一种场景数据存储方法、装置、设备和介质
[0001]本专利技术涉及场景数据传输
，尤其涉及一种场景数据存储方法、装置、设备和介质。
技术介绍
[0002]随着当前社会的发展以及各项技术水平的不断提升，人们对自动驾驶方面的要求也在不断提高。对于自动驾驶相关技术而言，为保证自动驾驶的安全性，需要进行大量的测试以验证此技术的可行性，而路测成本较高，无法在技术初期阶段进行，因此，仿真测试无疑成为了最通用也最实际的测试手段。
[0003]在现有的仿真测试过程中，通常需要在每次场景模拟测试多个仿真场景，而在每个仿真场景的测试过程中，都会产生大量碎片化的数据进行后续分析。
[0004]为此，现有方案通常是在产生数据的同时将数据写入至数据库，但由于数据碎片化程度较高且数量较多，数据库写入效率受限。
技术实现思路
[0005]本专利技术提供了一种场景数据存储方法、装置、设备和介质，解决了现有方案通常是在产生数据的同时将数据写入至数据库，但由于数据碎片化程度较高且数量较多，数据库写入效率受限的技术问题。
[0006]本专利技术第一方面提供的一种场景数据存储方法，涉及多个数据处理线程与多个场景模拟模型，各个所述数据处理线程均关联有一个消息队列，所述方法包括：
[0007]当接收到任一所述场景模拟模型输出的多个初始场景数据时，计算各个所述初始场景数据对应的队列哈希值；
[0008]将各个所述初始场景数据发送至所述队列哈希值对应的消息队列；
[0009]通过所述数据处理线程从所述消息队列获取多个所述初始场景数据并进行数据整合，得到目标场景数据；
[0010]通过所述数据处理线程将所述目标场景数据写入至目标数据库。
[0011]可选地，所述当接收到任一所述场景模拟模型输出的多个初始场景数据时，计算各个所述初始场景数据对应的队列哈希值的步骤，包括：
[0012]当接收到任一所述场景模拟模型输出的多个初始场景数据时，获取各个初始场景数据对应的算法标识；
[0013]按照所述算法标识从多个预设的哈希函数中选择第一目标哈希函数；
[0014]采用所述第一目标哈希函数计算各个所述初始场景数据对应的队列哈希值。
[0015]可选地，还涉及待分组消息队列和数据分组组件；所述当接收到任一所述场景模拟模型输出的多个初始场景数据时，计算各个所述初始场景数据对应的队列哈希值的步骤，包括：
[0016]当接收到任一所述场景模拟模型输出的多个初始场景数据时，将全部所述初始场
景数据发送至所述待分组消息队列；
[0017]通过所述数据分组组件按照预设的第一时间区间，从所述待分组消息队列中获取所述初始场景数据；
[0018]通过所述数据分组组件对所述初始场景数据进行分组，得到多个新的初始场景数据并标记对应的算法标识；
[0019]通过所述数据分组组件按照所述算法标识从多个预设的哈希函数中选择第二目标哈希函数；
[0020]通过所述数据分组组件采用所述第二目标哈希函数计算各个所述新的初始场景数据对应的队列哈希值。
[0021]可选地，所述通过所述数据处理线程从所述消息队列获取多个所述初始场景数据并进行数据整合，得到目标场景数据的步骤，包括：
[0022]通过所述数据处理线程按照预设的第二时间区间从所述消息队列获取多个所述初始场景数据以及对应的分区标识；
[0023]根据各个所述分区标识对所述初始场景数据进行聚类，得到至少一个聚类数据簇；
[0024]对所述聚类数据簇内的初始场景数据进行整合，得到目标场景数据。
[0025]可选地，所述目标数据库包括多个数据分区；所述通过所述数据处理线程将所述目标场景数据写入至目标数据库的步骤，包括：
[0026]通过所述数据处理线程按照所述分区标识，将所述目标场景数据写入至目标数据库；
[0027]所述目标数据库用于接收所述目标场景数据，并按照所述分区标识将所述目标场景数据合并至各个所述数据分区。
[0028]可选地，所述方法还包括：
[0029]当接收到更新场景模拟模型发送的更新场景数据时，采用预设的更新哈希函数计算所述更新场景数据对应的更新哈希值；
[0030]遍历全部所述消息队列，判断是否存在与所述更新哈希值关联的消息队列；
[0031]若存在，则将所述更新场景数据发送至所述更新哈希值关联的消息队列；
[0032]若不存在，则按照所述更新哈希函数从所述目标数据库中选取关联的更新数据分区，并生成与所述更新数据分区对应的新的分区标识；
[0033]创建与所述更新哈希值关联的更新消息队列与对应的更新数据处理线程，并采用所述新的分区标识标记所述更新场景数据后，发送至所述更新消息队列。
[0034]可选地，所述方法还包括：
[0035]当接收到多个所述场景模拟模型分别输出的多个特定场景数据时，将全部所述特定场景数据发送至所述数据处理线程；
[0036]通过所述数据处理线程对全部所述特定场景数据进行分组，得到多个与所述场景模拟模型对应的特定场景数据组；
[0037]通过所述数据处理线程将各个所述特定场景数据组写入至所述目标数据库。
[0038]可选地，所述方法还包括：
[0039]当接收到数据查询请求时，获取所述数据查询请求对应的目标算法标识；
[0040]按照所述目标算法标识检索所述目标数据库，得到携带有所述目标算法标识的全部目标场景数据。
[0041]本专利技术第二方面提供了一种场景数据存储装置，涉及多个数据处理线程与多个场景模拟模型，各个所述数据处理线程均关联有一个消息队列，所述装置包括：
[0042]队列哈希值计算模块，用于当接收到任一所述场景模拟模型输出的多个初始场景数据时，计算各个所述初始场景数据对应的队列哈希值；
[0043]队列缓存模块，用于将各个所述初始场景数据发送至所述队列哈希值对应的消息队列；
[0044]数据整合模块，用于通过所述数据处理线程从所述消息队列获取多个所述初始场景数据并进行数据整合，得到目标场景数据；
[0045]数据写入模块，用于通过所述数据处理线程将所述目标场景数据写入至目标数据库。
[0046]本专利技术第三方面提供了一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如本专利技术第一方面任一项所述的场景数据存储方法的步骤。
[0047]本专利技术第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如本专利技术第一方面任一项所述的场景数据存储方法。
[0048]从以上技术方案可以看出，本专利技术具有以下优点：
[0049]当本专利技术接收到任一个场景模拟模型输出的多个初始场景数据时，计算各个初始场景数据对应的队列哈希值，以确定对应的消息队列，将各个初始场景数据发送至各自对应的消息队列后，进一本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种场景数据存储方法，其特征在于，涉及多个数据处理线程与多个场景模拟模型，各个所述数据处理线程均关联有一个消息队列，所述方法包括：当接收到任一所述场景模拟模型输出的多个初始场景数据时，计算各个所述初始场景数据对应的队列哈希值；将各个所述初始场景数据发送至所述队列哈希值对应的消息队列；通过所述数据处理线程从所述消息队列获取多个所述初始场景数据并进行数据整合，得到目标场景数据；通过所述数据处理线程将所述目标场景数据写入至目标数据库。2.根据权利要求1所述的方法，其特征在于，所述当接收到任一所述场景模拟模型输出的多个初始场景数据时，计算各个所述初始场景数据对应的队列哈希值的步骤，包括：当接收到任一所述场景模拟模型输出的多个初始场景数据时，获取各个初始场景数据对应的算法标识；按照所述算法标识从多个预设的哈希函数中选择第一目标哈希函数；采用所述第一目标哈希函数计算各个所述初始场景数据对应的队列哈希值。3.根据权利要求1所述的方法，其特征在于，还涉及待分组消息队列和数据分组组件；所述当接收到任一所述场景模拟模型输出的多个初始场景数据时，计算各个所述初始场景数据对应的队列哈希值的步骤，包括：当接收到任一所述场景模拟模型输出的多个初始场景数据时，将全部所述初始场景数据发送至所述待分组消息队列；通过所述数据分组组件按照预设的第一时间区间，从所述待分组消息队列中获取所述初始场景数据；通过所述数据分组组件对所述初始场景数据进行分组，得到多个新的初始场景数据并标记对应的算法标识；通过所述数据分组组件按照所述算法标识从多个预设的哈希函数中选择第二目标哈希函数；通过所述数据分组组件采用所述第二目标哈希函数计算各个所述新的初始场景数据对应的队列哈希值。4.根据权利要求1所述的方法，其特征在于，所述通过所述数据处理线程从所述消息队列获取多个所述初始场景数据并进行数据整合，得到目标场景数据的步骤，包括：通过所述数据处理线程按照预设的第二时间区间从所述消息队列获取多个所述初始场景数据以及对应的分区标识；根据各个所述分区标识对所述初始场景数据进行聚类，得到至少一个聚类数据簇；对所述聚类数据簇内的初始场景数据进行整合，得到目标场景数据。5.根据权利要求4所述的方法，其特征在于，所述目标数据库包括多个数据分区；所述通过所述数据处理线程将所述目标场景数据写入至目标数据库的步骤，包括：通过所述数据处理线程按照所述分区标识，将所述目标场景数据写入至目标数据库；所述目标数据库用于接收所述目标场景数据，并按照...
【专利技术属性】
技术研发人员：熊腾浩，王亚亮，胡方炜，王红宾，谭伟华，韩旭，
申请(专利权)人：广州文远知行科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。