一种基于数据形式的数据处理方法、装置和电子设备制造方法及图纸

本公开实施例涉及一种基于数据形式的数据处理方法、装置和电子设备。数据形式为包括第一SDK和数据形式配置信息的第二SDK，其中，第一SDK用于数据采集，数据形式配置信息为数据处理相关的定义信息的集合。数据处理方法包括：预先在数据形式库中保存至少一个数据形式，不同的数据形式的第一SDK和/或数据形式配置信息不同；接收用户从数据形式库中选择指定数据形式的选择操作，并接收用户输入的指定业务系统的信息；将指定数据形式与指定业务系统的数据接口对接，以使指定数据形式的第一SDK采集指定业务系统中的数据。本公开实施例中，通过将数据形式对接业务系统，可采集业务系统中的数据，并提供数据形式配置信息为数据处理提供依据，降低开发成本。

【技术实现步骤摘要】
一种基于数据形式的数据处理方法、装置和电子设备
本公开实施例涉及机数据处理
，具体涉及一种基于数据形式的数据处理方法、装置和电子设备。
技术介绍
将人工智能(AI)技术在实际场景进行落地的流程包括但不限于：问题定义、数据治理、特征工程、机器学习模型建立(简称建模)、模型上线服务、反馈信息收集和模型迭代更新等过程。其中，建模是机器学习过程中的重要环节，而在建模之前的数据治理、特征工程等是为了得到建模所需的有效数据，从而使得能够得到有效的模型。在实际应当中，很多业务系统/场景中的数据的采集、存储和整理都是业务方自己制定的规则的，或者根本没有规则可言。当AI应用需要落地该业务系统/应用时需要花费大量的时间和精力来进行数据治理。这也使得AI应用的门槛变高，阻碍AI应用的落地使用。
技术实现思路
为了解决现有技术存在的至少一个问题，本公开的至少一个实施例提供了一种基于数据形式的数据处理方法、装置和电子设备。第一方面，本公开实施例提出一种基于数据形式的数据处理方法，所述数据形式为包括第一SDK和数据形式配置信息的第二SDK，其中，所述第一SDK用于数据采集，所述数据形式配置信息为数据处理相关的定义信息的集合；所述方法包括：预先在数据形式库中保存至少一个数据形式，其中，不同的数据形式的第一SDK和/或数据形式配置信息不同；接收用户从所述数据形式库中选择指定数据形式的选择操作，以及接收用户输入的指定业务系统的信息；将所述指定数据形式与所述指定业务系统的数据接口对接，以使所述指定数据形式的第一SDK采集所述指定业务系统中的数据。在一些实施例中，所述方法还包括：接收用户从应用库中选择指定应用的选择操作，运行所述指定应用，以使所述指定应用打开所述指定数据形式的第二SDK，并基于所述指定数据形式的数据形式配置信息，对所述指定数据形式的第一SDK采集的数据进行处理。在一些实施例中，所述第二SDK中还包括第三SDK，所述第三SDK用于基于所述数据形式配置信息对所述第一SDK采集的数据进行数据处理；所述方法还包括：所述指定数据形式的第三SDK基于所述指定数据形式的数据形式配置信息，对所述指定数据形式的第一SDK采集的数据进行数据处理。在一些实施例中，所述数据形式配置信息包括：数据形式描述信息；所述方法还包括：展示所述数据形式库中各数据形式的数据形式描述信息供用户参考；相应地，所述接收用户从所述数据形式库中选择指定数据形式的选择操作后，根据所述选择操作确定指定数据形式。在一些实施例中，所述数据形式描述信息包括以下至少一种：数据形式的场景定义、数据形式的类型定义和数据形式关联的任务定义。在一些实施例中，所述数据形式配置信息包括：数据形式的对接方式；相应地，所述将所述指定数据形式与所述指定业务系统的数据接口对接包括：基于所述指定数据形式的对接方式，将所述指定数据形式的第一SDK与所述指定业务系统的数据接口对接。在一些实施例中，所述数据形式配置信息包括：数据形式关联的应用；所述方法还包括：展示所述数据形式库中各数据形式关联的应用供用户选择；相应地，所述接收用户从应用库中选择指定应用的选择操作后，根据所述选择操作确定指定应用。在一些实施例中，所述数据形式配置信息包括：数据形式的数据表模式定义；相应地，所述对所述指定数据形式的第一SDK采集的数据进行处理包括：基于所述指定数据形式的数据表模式定义，对所述指定数据形式的第一SDK采集的数据进行数据处理。在一些实施例中，所述数据形式配置信息包括：数据形式的状态，所述状态包括可用和不可用；所述方法还包括：若所述指定数据形式的第一SDK采集的数据满足所述指定数据形式的数据表模式定义，则将所述指定数据形式的状态置为可用；若所述指定数据形式的第一SDK采集的数据不满足所述指定数据形式的数据表模式定义，则将所述指定数据形式的状态置为不可用。在一些实施例中，所述方法还包括：若将所述指定数据形式的状态置为可用，则展示所述指定数据形式关联的应用供用户选择；若将所述指定数据形式的状态置为不可用，则不展示所述指定数据形式关联的应用。在一些实施例中，所述数据形式配置信息包括：数据形式的存储定义；所述方法还包括：基于所述指定数据形式的存储定义，存储所述指定数据形式的第一SDK采集的数据。在一些实施例中，所述方法还包括：展示数据采集SDK库中的各数据采集SDK，以供开发者选择针对所述指定业务系统的数据采集SDK；接收开发者从所述数据采集库中选择指定数据采集SDK的选择操作，和/或，接收开发者针对所述指定业务系统开发的数据采集SDK；接收开发者针对所述指定业务系统开发的数据形式配置信息；将所述指定数据采集SDK和/或开发的数据采集SDK，以及所述数据形式配置信息进行整合打包，得到针对所述指定业务系统的指定数据形式。在一些实施例中，所述方法还包括：展示应用库中的各应用，以供开发者选择与所述指定数据形式关联的应用；接收开发者从所述应用库中选择指定应用的选择操作，将所述指定应用与所述指定数据形式相关联。在一些实施例中，所述方法还包括：提供应用开发SDK，以供开发者针对所述指定数据形式开发指定应用；接收开发者使用所述应用开发SDK开发的指定应用；将所述指定应用与所述指定数据形式相关联。第二方面，本公开实施例还一种基于数据形式的数据处理装置，所述数据形式为包括第一SDK和数据形式配置信息的第二SDK，其中，所述第一SDK用于数据采集，所述数据形式配置信息为数据处理相关的定义信息的集合；预先在数据形式库中保存至少一个数据形式，其中，不同的数据形式的第一SDK和/或数据形式配置信息不同；所述装置包括：第一接收单元，用于接收用户从所述数据形式库中选择指定数据形式的选择操作，以及接收用户输入的指定业务系统的信息；对接单元，用于将所述指定数据形式与所述指定业务系统的数据接口对接，以使所述指定数据形式的第一SDK采集所述指定业务系统中的数据。在一些实施例中，所述装置还包括：运行单元，用于接收用户从应用库中选择指定应用的选择操作，运行所述指定应用，以使所述指定应用打开所述指定数据形式的第二SDK，并基于所述指定数据形式的数据形式配置信息，对所述指定数据形式的第一SDK采集的数据进行处理。在一些实施例中，所述第二SDK中还包括第三SDK，所述第三SDK用于基于所述数据形式配置信息对所述第一SDK采集的数据进行数据处理；相应地，所述指定数据形式的第三SDK基于所述指定数据形式的数据形式配置信息，对所述指定数据形式的第一SDK采集的数据进行数据处理。在一些实施例中，所述数据形式配置信息包括：数据形式描述信息；所述装置还包括：第一展示单元本文档来自技高网...

【技术保护点】
1.一种基于数据形式的数据处理方法，其特征在于，所述数据形式为包括第一SDK和数据形式配置信息的第二SDK，其中，所述第一SDK用于数据采集，所述数据形式配置信息为数据处理相关的定义信息的集合；所述方法包括：/n预先在数据形式库中保存至少一个数据形式，其中，不同的数据形式的第一SDK和/或数据形式配置信息不同；/n接收用户从所述数据形式库中选择指定数据形式的选择操作，以及接收用户输入的指定业务系统的信息；/n将所述指定数据形式与所述指定业务系统的数据接口对接，以使所述指定数据形式的第一SDK采集所述指定业务系统中的数据。/n

【技术特征摘要】
1.一种基于数据形式的数据处理方法，其特征在于，所述数据形式为包括第一SDK和数据形式配置信息的第二SDK，其中，所述第一SDK用于数据采集，所述数据形式配置信息为数据处理相关的定义信息的集合；所述方法包括：
预先在数据形式库中保存至少一个数据形式，其中，不同的数据形式的第一SDK和/或数据形式配置信息不同；
接收用户从所述数据形式库中选择指定数据形式的选择操作，以及接收用户输入的指定业务系统的信息；
将所述指定数据形式与所述指定业务系统的数据接口对接，以使所述指定数据形式的第一SDK采集所述指定业务系统中的数据。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收用户从应用库中选择指定应用的选择操作，运行所述指定应用，以使所述指定应用打开所述指定数据形式的第二SDK，并基于所述指定数据形式的数据形式配置信息，对所述指定数据形式的第一SDK采集的数据进行处理。


3.根据权利要求1所述的方法，其特征在于，所述第二SDK中还包括第三SDK，所述第三SDK用于基于所述数据形式配置信息对所述第一SDK采集的数据进行数据处理；
所述方法还包括：
所述指定数据形式的第三SDK基于所述指定数据形式的数据形式配置信息，对所述指定数据形式的第一SDK采集的数据进行数据处理。


4.根据权利要求1所述的方法，其特征在于，所述数据形式配置信息包括：数据形式描述信息；
所述方法还包括：
展示所述数据形式库中各数据形式的数据形式描述信息供用户参考；
相应地，所述接收用户从所述数据形式库中选择指定数据形式的选择操作后，根据所述选择操作确定指定数据形式。


5.根据权利要求4所述的方法，其特征在于，所述数据形式描述信息包括以下至少一种：
数...

【专利技术属性】
技术研发人员：孔维，黄缨宁，陈雨强，王明，白杨，钏思静，张陈丞，
申请(专利权)人：第四范式北京技术有限公司，
类型：发明
国别省市：北京;11