System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种数据采集方法、装置及相关设备制造方法及图纸_技高网

一种数据采集方法、装置及相关设备制造方法及图纸

技术编号:41280641 阅读:5 留言:0更新日期:2024-05-11 09:31
本申请提供了一种数据采集方法、装置及相关设备,该方法包括以下步骤:数据采集装置获取用户输入的场景信息,其中,场景信息包括用户所需训练的模型对应的业务场景信息,根据场景信息确定至少一个传感器中的目标传感器,使用目标传感器进行数据采集获得多个数据,根据场景信息确定多个数据中每个数据的场景相关度,向用户发送用于训练模型的样本集,其中,样本集是根据每个数据的场景相关度确定的,使得样本集中的数据是与业务场景相关的数据,将样本集中的数据上传至服务器,可以避免与业务场景无关的数据被上传至服务器,从而减轻数据传输和存储的压力,提高模型训练效率。

【技术实现步骤摘要】

本申请涉及人工智能(artificial intelligence,ai)领域,尤其涉及一种数据采集方法、装置及相关设备


技术介绍

1、随着科学技术的不断发展,ai模型在视频图像、语音识别、自然语言处理等相关领域得到了广泛应用。ai模型通常需要使用大量的样本对其进行训练,通常情况下,传感器会将采集到的原始数据统一上传至服务器中,再对服务器中的原始数据进行标注后获得样本才,然后使用样本训练ai模型。

2、但是,传感器采集到的原始数据可能会存在大量与业务场景无关的数据,这些数据也会被上传至服务器,造成数据传输和存储的压力,降低模型训练效率。


技术实现思路

1、本申请提供了一种数据采集方法、装置及相关设备,用于解决传感器采集到的原始数据与业务场景无关,导致数据传输和存储的压力大,模型训练效率低的问题。

2、第一方面,提供了一种数据采集方法,该方法包括以下步骤:数据采集装置获取用户输入的场景信息,其中,场景信息包括用户所需训练的模型对应的业务场景信息,根据场景信息确定至少一个传感器中的目标传感器,使用目标传感器进行数据采集获得多个数据,目标传感器的数量为一个或者多个,根据场景信息确定多个数据中每个数据的场景相关度,每个数据的场景相关度用于描述每个数据与业务场景之间的相关程度,向用户发送用于训练模型的样本集,其中,样本集是根据每个数据的场景相关度确定的。

3、上述实现方式,数据采集装置可以获取用户输入的场景信息,然后根据场景信息确定至少一个传感器中的目标传感器,使用目标传感器进行数据采集获得多个数据,再根据场景信息确定多个数据中每个数据的场景相关度,向用户发送用于训练上述模型的样本集,其中,样本集是根据每个数据的场景相关度确定的,使得样本集中的数据是与业务场景相关的数据,将样本集中的数据上传至服务器,可以避免与业务场景无关的数据被上传至服务器,从而减轻数据传输和存储的压力,提高模型训练效率。

4、在一可能的实现方式中,在数据采集装置获取用户输入的场景信息之前,该方法还包括以下步骤:数据采集装置向用户提供传感器信息,其中,传感器信息包括数据采集装置拥有的至少一个传感器的参数信息,传感器信息用于供用户确定场景信息。

5、可选地,传感器信息可包括数据采集装置中传感器的参数信息,比如分辨率、灵敏度、线性范围、稳定性、精度、频率响应特性、采样频率等等,本申请不作具体限定。应理解,不同传感器的参数信息类型可能不同,本申请不作具体限定。

6、可选地,传感器信息还可包括其他用于确认业务场景的相关信息,举例来说,传感器信息还可包括数据采集装置的设备信息,比如数据采集装置的设备型号、设备功能、资源状态、设备状态等等,其中,资源状态可包括但不限于内存资源状态、中央处理器(centralprocessing unit,cpu)资源状态、网络占用等等,设备状态可包括但不限于数据采集装置的传感器是否发生损坏,数据采集装置是否处于异常状态等等。再举例来说,传感器信息还可包括数据采集装置和用户所持有的客户端之间的通信网络的状态信息,比如带宽、网速等等,应理解,上述举例用于说明,本申请不作具体限定。

7、具体实现中,数据采集装置可以在首次与用户所持有的客户端建立通信连接后,向客户端上报传感器信息,或者,在接收到客户端发起的上报请求之后,向客户端上报传感器信息,或者,在数据采集装置的传感器信息发生更新后,将更新后的传感器信息上报给客户端,本申请不作具体限定。

8、可选地,用户可以根据客户端显示的传感器信息,输入用户所需的业务场景的信息,如果客户端显示该数据采集装置没有业务场景所需的传感器信息,用户可以选择其他能够满足业务场景需求的其他数据采集装置,从而避免数据采集装置无法采集到用户的业务场景相关的数据,降低模型训练效率。

9、上述实现方式,在用户输入场景信息之前,将数据采集装置的传感器信息上报给用户,使得用户可以根据数据采集装置的传感器信息确定输入的场景信息,避免出现数据采集装置无法满足用户需求这一情况的发生,提高用户的使用体验。

10、在一可能的实现方式中,场景信息可以是用户所需的业务场景的信息,比如业务场景的名称、编号、缩写等等,本申请不作具体限定。用户所需的业务场景可包括但不限于图像识别、语音识别、文字识别、图像检测等等,本申请不作具体限定。

11、具体实现中,客户端可以根据传感器信息确定该传感器信息可实现的一个或者多个场景,然后向用户展示的上述一个或者多个场景后,获取用户从中选择的场景信息。或者,用户也可以根据客户端展示的传感器信息,自行输入场景信息,本申请不作具体限定。具体实现中,客户端可以通过可视化界面向用户展示多个场景信息以供选择,也可以通过应用程序接口(application programming interface,api)输入场景信息,本申请不作具体限定。

12、上述实现方式,通过获取用户输入的场景信息,可以使得最后确定的样本集中的数据是与业务场景相关的数据,从而避免与业务场景无关的数据被上传至服务器,减轻数据传输和存储的压力,提高模型训练效率。

13、在一可能的实现方式中,数据采集装置可以存储有场景信息和目标传感器之间的对应关系,获取用户输入的场景信息之后,可以根据对应关系确定该场景信息对应的目标传感器,比如图像识别场景对应图像传感器,语音识别场景对应麦克风、声敏传感器等等,本申请不作具体限定。

14、需要说明的,根据场景信息对应的多个目标传感器中,不仅包括业务直接需求的目标传感器,还可包括业务扩展需求的目标传感器,其中,业务扩展需求的目标传感器所采集到的数据,能够为业务直接需求的目标传感器采集到的数据提供更多数据维度的补充。举例来说,图像识别场景中,业务直接需求的目标传感器是摄像头,但是雷达传感器、红外传感器、激光传感器等其他传感器所采集到的关联模态的样本数据也可能在该图像识别场景中提供数据维度的补充,这些传感器可以是该业务场景下存在业务扩展需求的目标传感器,那么图像识别场景下的目标传感器不仅包括摄像头,还可包括雷达传感器、红外传感器、激光传感器等,应理解,上述举例用于说明,在不同的业务场景中,业务直接需求的目标传感器和业务扩展需求的目标传感器不同,这里不一一举例说明。

15、上述实现方式,根据用户确认的场景信息确定目标传感器,使用目标传感器采集多个数据,这样提供给用户的多个数据是与用户所确认的业务场景相关的数据,从而避免向用户提供与业务场景无关的数据,提高通信效率,同时减轻样本存储压力,避免资源的浪费。

16、在一可能的实现方式中,在目标传感器的数量为多个时,使用目标传感器采集的多个数据可包括同一时刻下多个目标传感器采集的多个数据。具体地,可以对多个目标传感器采集到的数据进行数据对齐操作后,获得上述多个数据。应理解,由于不同目标传感器的采集频率存在差异,因此可以对多个目标传感器采集的数据进行数据对齐处理,获得上述多个数据。

本文档来自技高网...

【技术保护点】

1.一种数据采集方法,其特征在于,所述方法应用于数据采集装置,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述样本集中的数据的场景相关度高于阈值,或者,所述样本集中的数据是根据所述多个数据的场景相关度对所述多个数据进行排序后获得的。

3.根据权利要求1或2所述的方法,其特征在于,在所述数据采集装置获取用户输入的场景信息之前,所述方法还包括:

4.根据权利要求1至3任一权利要求所述的方法,其特征在于,根据所述场景信息确定所述多个数据中每个数据的场景相关度之前,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述采集策略包括目标采集条件,其中,所述样本集中数据的是在所述目标采集条件下采集的数据。

6.根据权利要求4或5所述的方法,其特征在于,所述采集策略包括数据的优先级信息,其中,优先级高的数据的场景相关度高于优先级低的数据的场景相关度。

7.根据权利要求4至6任一权利要求所述的方法,其特征在于,所述采集策略包括上传逻辑,所述上传逻辑包括实时上传、资源占用低时上传、定时上传、周期间隔上传中的任一种,所述方法还包括:根据所述上传逻辑将所述样本集上传至服务器,其中,所述服务器用于供所述用户训练所述模型。

8.根据权利要求4至7任一权利要求所述的方法,其特征在于,所述根据所述场景信息确定所述每个数据的第一场景相关度包括:

9.根据权利要求1至8任一权利要求所述的方法,其特征在于,向所述用户发送用于训练所述模型的样本集之后,所述方法还包括:

10.一种数据采集装置,其特征在于,所述装置包括:

11.根据权利要求10所述的装置,其特征在于,所述样本集中的数据的场景相关度高于阈值,或者,所述样本集中的数据是根据所述多个数据的场景相关度对所述多个数据进行排序后获得的。

12.根据权利要求10或11所述的装置,其特征在于,所述装置包括上报能力单元,所述上报能力单元用于在所述数据采集装置获取用户输入的场景信息之前,向所述用户提供传感器信息,其中,所述传感器信息包括所述数据采集装置拥有的至少一个传感器的参数信息,所述传感器信息用于供所述用户确定所述场景信息。

13.根据权利要求10至12任一权利要求所述的装置,其特征在于,

14.根据权利要求13所述的装置,其特征在于,所述采集策略包括目标采集条件,其中,所述样本集中数据的是在所述目标采集条件下采集的数据。

15.根据权利要求13或14所述的装置,其特征在于,所述采集策略包括数据的优先级信息,其中,优先级高的数据的场景相关度高于优先级低的数据的场景相关度。

16.根据权利要求13至15任一权利要求所述的装置,其特征在于,所述采集策略包括上传逻辑,所述上传逻辑包括实时上传、资源占用低时上传、定时上传、周期间隔上传中的任一种;

17.根据权利要求13至16任一权利要求所述的装置,其特征在于,所述评估单元,用于确定所述场景信息对应的评估模型,使用所述评估模型对所述数据进行场景相关度评估,确定所述数据的第一场景相关度,其中,不同场景信息对应不同的评估模型。

18.根据权利要求10至17任一权利要求所述的装置,其特征在于,所述采集单元还用于获取的新的采集策略,根据新的采集策略确定新的样本集,其中,所述新的采集策略是所述服务器使用所述样本集对所述模型训练后确定的,或者,所述新的采集策略是所述用户输入的。

19.一种计算设备,其特征在于,所述计算设备包括处理器和存储器,所述存储器用于存储代码,所述处理器用于执行所述代码实现如权利要求1至9任一权利要求所述的方法。

20.一种计算机可读存储介质,其特征在于,包括指令,当所述指令在计算设备上运行时,使得所述计算设备执行如权利要求1至9任一权利要求所述的方法。

...

【技术特征摘要】

1.一种数据采集方法,其特征在于,所述方法应用于数据采集装置,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述样本集中的数据的场景相关度高于阈值,或者,所述样本集中的数据是根据所述多个数据的场景相关度对所述多个数据进行排序后获得的。

3.根据权利要求1或2所述的方法,其特征在于,在所述数据采集装置获取用户输入的场景信息之前,所述方法还包括:

4.根据权利要求1至3任一权利要求所述的方法,其特征在于,根据所述场景信息确定所述多个数据中每个数据的场景相关度之前,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述采集策略包括目标采集条件,其中,所述样本集中数据的是在所述目标采集条件下采集的数据。

6.根据权利要求4或5所述的方法,其特征在于,所述采集策略包括数据的优先级信息,其中,优先级高的数据的场景相关度高于优先级低的数据的场景相关度。

7.根据权利要求4至6任一权利要求所述的方法,其特征在于,所述采集策略包括上传逻辑,所述上传逻辑包括实时上传、资源占用低时上传、定时上传、周期间隔上传中的任一种,所述方法还包括:根据所述上传逻辑将所述样本集上传至服务器,其中,所述服务器用于供所述用户训练所述模型。

8.根据权利要求4至7任一权利要求所述的方法,其特征在于,所述根据所述场景信息确定所述每个数据的第一场景相关度包括:

9.根据权利要求1至8任一权利要求所述的方法,其特征在于,向所述用户发送用于训练所述模型的样本集之后,所述方法还包括:

10.一种数据采集装置,其特征在于,所述装置包括:

11.根据权利要求10所述的装置,其特征在于,所述样本集中的数据的场景相关度高于阈值,或者,所述样本集中的数据是根据所述多个数据的场景相关度对所述多个数据进行排序后获得的。

12.根据权利要求10或11...

【专利技术属性】
技术研发人员:欧争光黄志炜郑子木
申请(专利权)人:华为云计算技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1