System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 对数据进行挖掘的方法、机器可读存储介质及电子设备技术_技高网

对数据进行挖掘的方法、机器可读存储介质及电子设备技术

技术编号:41238834 阅读:2 留言:0更新日期:2024-05-09 23:52
本发明专利技术提供了一种对数据进行挖掘的方法、机器可读存储介质及电子设备。其中,对数据进行挖掘的方法,包括:基于算法模型从第一数据集的数据中获取第一价值数据;根据第一价值数据对第二数据集中的数据进行挖掘,得到第二价值数据;和/或,根据第一价值数据生成第二价值数据。通过算法模型从第一数据集中寻找出第一价值数据。基于这些问题数据的特点,自动地从第二数据集中的数据中获取第二数据集中存在的第二价值数据,即第二数据集中的问题数据,不用人工筛选,可高效地利用采集到的数据。进一步地,利用第二价值数据进行算法模型的迭代,由于第二价值数据的获取速度快,因此能够提升模型迭代速度。

【技术实现步骤摘要】

本专利技术涉及数据挖掘,特别是涉及对数据进行挖掘的方法、机器可读存储介质及电子设备,更特别是涉及对车辆的数据进行挖掘的方法、机器可读存储介质及电子设备。


技术介绍

1、自动驾驶技术是一种通过使用摄像头、雷达、其他传感器和计算机等技术,使车辆能够在没有人类司机的情况下自主行驶的技术。如今,自动驾驶技术的发展正在为汽车行业带来巨大的改变,用户对于自动驾驶产品的需求也推动着相关技术的快速落地,汽车行业生态和商业模式面临创新与重塑。在自动驾驶技术中,感知算法用于帮助车辆理解传感器获取到的周围环境信息,感知结果的正确与否在很大程度上影响着自动驾驶的功能。同时,面对复杂的场景变化和内容,会产生大量使得感知结果错误的问题数据,算法需要不断迭代来提升感知能力,遇到问题数据时的迭代速度对现实应用有着较大影响。

2、现有技术中,企业会采集海量的数据,从中筛选一部分进行标注,标注好的数据用来对感知模型进行训练和评测。评测完成后,得到当前算法模型在当前数据集下的评测报告。后续操作中,常规的做法是通过查看评测的结果,找出评测中的失败案例,再通过手动或人肉定位的方式去原始采集的数据里寻找相似的数据,或者重新进行相关场景数据的采集,但这种方式定位效率较低,耗时较长,不适合于对算法进行快速迭代。


技术实现思路

1、鉴于上述问题,提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的对数据进行挖掘的方法、机器可读存储介质及电子设备,能够高效地利用采集到的数据,进而能够提升模型迭代速度。p>

2、具体地,本专利技术提供了一种对数据进行挖掘的方法,其包括:

3、基于算法模型从第一数据集的数据中获取第一价值数据;

4、根据所述第一价值数据对第二数据集中的数据进行挖掘,得到第二价值数据;和/或,根据所述第一价值数据生成第二价值数据。

5、可选地,所述的基于算法模型从第一数据集的数据中获取第一价值数据,包括:

6、基于所述算法模型对所述第一数据集中的数据进行处理,得到模型结果;

7、根据所述模型结果对所述第一数据集中的数据进行评测,得到评测结果;

8、根据所述所述评测结果从所述第一数据集的数据选取出所述第一价值数据。

9、可选地,所述的基于算法模型从第一数据集的数据中获取第一价值数据,还包括:

10、获取车辆的初始数据,以及所述初始数据对应的时间;

11、对所述初始数据增加对应的场景标签,所述场景标签配置成体现车辆所处的场景;

12、根据所述场景标签和所述时间对所述初始数据进行筛选,得到与所述场景标签对应的待标注数据;

13、对所述待标注数据进行标注,得到所述第一数据集中的数据;

14、所述第一数据集中的数据包括标注结果;所述的根据所述模型结果对所述第一数据集中的数据进行评测,得到评测结果,包括:

15、获取评价指标以及所述评价指标的指标阈值;

16、根据所述模型结果和所述标注结果确定所述评价指标的实际值;

17、根据所述实际值和所述指标阈值确定所述评测结果。

18、可选地,所述的根据所述第一价值数据对第二数据集中的数据进行挖掘,得到第二价值数据,包括:

19、根据所述第一价值数据生成搜索索引;

20、根据所述搜索索引在所述第二数据集中的数据中进行搜索,得到所述第二价值数据。

21、可选地,所述的根据所述搜索索引在所述第二数据集中的数据进行搜索,得到所述第二价值数据,包括:

22、基于所述第二数据集中的数据建立数据的特征库,所述特征库中存储所述第二数据集中的数据对应的特征;

23、根据所述搜索索引在所述特征库的所述特征中获取目标特征,获取所述目标特征对应的数据,所述目标特征对应的数据为所述第二价值数据。

24、可选地,所述第二数据集中的数据为图像数据;所述搜索索引为图像特征描述;

25、所述第二数据集中的数据对应的特征为所述图像数据的图像特征。

26、可选地,所述第一数据集中的数据包括至少一帧图像数据以及与每一帧所述图像数据对应的场景标签;所述场景标签配置成体现车辆所处的场景;

27、所述的根据所述第一价值数据生成搜索索引,包括:

28、根据所述第一价值数据的所述场景标签生成第一信息;

29、根据所述第一价值数据的所述图像数据生成第二信息;

30、基于所述第一信息和所述第二信息生成所述搜索索引。

31、可选地,所述第一数据集中的数据包括每一帧图像数据以及与每一帧所述图像数据对应的场景标签,每个所述场景标签对应多帧所述图像数据;所述场景标签配置成体现车辆所处的场景;

32、所述的根据所述第一价值数据生成搜索索引,包括:

33、根据所述第一价值数据的所述场景标签生成第一信息;

34、基于所述第一信息生成所述搜索索引。

35、可选地,所述的根据所述搜索索引在所述特征库的特征中获取目标特征,包括:

36、将所述搜索索引与所述特征库的所述特征进行匹配得到所述目标特征;或者,

37、将所述搜索索引与所述特征库的所述特征进行相似性计算,得到相似性得分;

38、根据所述相似性得分进行排名;

39、根据所述排名确定所述目标特征。

40、可选地,所述的根据所述第一价值数据生成第二价值数据,包括:

41、基于所述第一价值数据和所述第二数据集中的数据生成所述第二价值数据;

42、所述第一数据集中的数据包括至少一帧图像数据以及与每一帧所述图像数据对应的场景标签;所述场景标签配置成体现车辆所处的场景;

43、所述的基于所述第一价值数据生成所述第二价值数据,包括:

44、根据所述场景标签生成场景图像;

45、将所述图像数据中的图像元素添加到所述场景图像中,得到所述第二价值数据;或者,

46、所述的基于所述第一价值数据和所述第二数据集中的数据生成所述第二价值数据,包括:

47、根据所述场景标签从所述第二数据集中的数据中获取场景图像;

48、将所述图像数据中的图像元素添加到所述场景图像中,得到所述第二价值数据。

49、本专利技术还提供了一种电子设备,其包括存储器和处理器,所述存储器内存储有机器可执行程序,所述机器可执行程序被所述处理器执行时用于实现上述任一种对数据进行挖掘的方法。

50、本专利技术还提供了一种机器可读存储介质,所述机器可读存储介质上存储有机器可执行程序,所述机器可执行程序被处理器执行时实现上述任一种对数据进行挖掘的方法。

51、本专利技术的对数据进行挖掘的方法及相关设备中,可先将采集到的数据中的一部分数据作为第一数据集中数据,另一部分数据作为第二数据集中的数据。当然也可将先采集的数据本文档来自技高网...

【技术保护点】

1.一种对数据进行挖掘的方法,其特征在于,包括:

2.根据权利要求1所述的对数据进行挖掘的方法,其特征在于,

3.根据权利要求2所述的对数据进行挖掘的方法,其特征在于,

4.根据权利要求1所述的对数据进行挖掘的方法,其特征在于,

5.根据权利要求4所述的对数据进行挖掘的方法,其特征在于,

6.根据权利要求4所述的对数据进行挖掘的方法,其特征在于,

7.根据权利要求4所述的对数据进行挖掘的方法,其特征在于,

8.根据权利要求1所述的对数据进行挖掘的方法,其特征在于,

9.一种电子设备,其特征在于,包括存储器和处理器,所述存储器内存储有机器可执行程序,所述机器可执行程序被所述处理器执行时用于实现根据权利要求1至8中任一项所述的对数据进行挖掘的方法。

10.一种机器可读存储介质,其特征在于,所述机器可读存储介质上存储有机器可执行程序,所述机器可执行程序被处理器执行时实现根据权利要求1至8中任一项所述的对数据进行挖掘的方法。

【技术特征摘要】

1.一种对数据进行挖掘的方法,其特征在于,包括:

2.根据权利要求1所述的对数据进行挖掘的方法,其特征在于,

3.根据权利要求2所述的对数据进行挖掘的方法,其特征在于,

4.根据权利要求1所述的对数据进行挖掘的方法,其特征在于,

5.根据权利要求4所述的对数据进行挖掘的方法,其特征在于,

6.根据权利要求4所述的对数据进行挖掘的方法,其特征在于,

7.根据权利要求4所述的对数据进行挖掘的方法,...

【专利技术属性】
技术研发人员:李韦华高文明杨振州
申请(专利权)人:浙江智马达智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1