信息处理方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了一种信息处理方法、装置、电子设备及存储介质，涉及机器学习技术领域。该方法包括：获取评估请求，所述评估请求包括数据集标识和算法标识；获取所述数据集标识对应的目标数据集；基于所述目标数据集，训练所述算法标识对应的待评估算法，得到训练好的待评估模型；获取所述待评估模型的评估结果；通过用户终端输出所述评估结果，以提示所述待评估算法的评估结果。本申请实施例使得用户只需输入数据集标识、算法标识，即可获取算法在该数据集上的评估结果，从而可避免中间人为参与可能带来的误差，同时也可简化评估算法优劣的操作，因此不仅可提高评估准确性和评估结果的参考性，还可减少研发过程的大量重复工作，提高研发效率。

Information processing methods, devices, electronic equipment and storage media

【技术实现步骤摘要】
信息处理方法、装置、电子设备及存储介质
本申请涉及机器学习
，更具体地，涉及一种信息处理方法、装置、电子设备及存储介质。
技术介绍
随着人工智能的不断发展，相应的算法技术也在不断拓宽，在研发新的算法时，需要将新的算法与现有的算法进行比较，以获知新的算法的性能。而对于研究人员来说，为进行比较，首先需要获取相应的数据集，其次是使用现有的机器学习算法对数据进行训练并预测，但是在不断优化算法时，会大量重复前述工作。因此目前研究人员难以获知算法的优劣，机器学习算法的改进较为繁琐。
技术实现思路
本申请实施例提出了一种信息处理方法、装置、电子设备及存储介质，以提高算法评估效率，进而提高算法开发效率。第一方面，本申请实施例提供了一种信息处理方法，所述方法包括：获取评估请求，所述评估请求包括数据集标识和算法标识；获取所述数据集标识对应的目标数据集；基于所述目标数据集，训练所述算法标识对应的待评估算法，得到训练好的待评估模型；获取所述待评估模型的评估结果；通过用户终端输出所述评估结果，以提示所述待评估算法的评估结果。可选地，所述页面包括一个或多个输入项，所述确定所述页面是否存在待填写的输入项之后，所述方法还包括：在所述页面不存在待填写的输入项时，生成页面提交提示，所述页面提交提示用于提示提交所述页面。可选地，所述获取所述数据集标识对应的目标数据集，包括：获取所述数据集标识对应的本地路径和云端路径；当所述云端路径的云端时间戳大于所述本地路径的本地时间戳时，基于所述云端路径，获取所述数据集标识对应的数据集作为目标数据集。可选地，所述方法还包括：在无法获取到所述数据集标识对应的本地路径时，基于所述云端路径，获取所述数据集标识对应的数据集作为目标数据集。可选地，所述获取所述数据集标识对应的本地路径和云端路径之后，所述方法还包括：当所述云端路径的云端时间戳不大于所述本地路径的本地时间戳时，基于所述本地路径，获取所述数据集标识对应的数据集作为目标数据集。可选地，所述基于所述云端路径，获取所述数据集标识对应的数据集作为目标数据集，包括：基于所述云端路径，下载所述数据集标识对应的云端数据集；将所述云端数据集存储于所述数据集标识对应的本地路径，并将所述云端数据集作为所述目标数据集；根据所述云端路径的云端时间戳，配置所述本地路径的本地时间戳，以使所述本地时间戳大于或等于所述云端时间戳。可选地，所述将所述云端数据集存储于所述数据集标识对应的本地路径，包括：将所述云端数据集存储于指定路径；更新所述指定路径为所述数据集标识对应的本地路径。可选地，所述目标数据集预先存储于所述数据集标识对应的云端路径，所述获取所述数据集标识对应的目标数据集之前，所述方法还包括：从所述数据集标识对应的目标设备获取所述数据集标识对应的初始数据集；对所述初始数据集进行预处理得到预处理后的数据集，并将所述预处理后的数据集存储于所述数据集标识对应的云端路径。可选地，所述从所述数据集标识对应的目标设备获取所述数据集标识对应的初始数据集，包括：基于预设时间间隔，向所述数据集标识对应的目标设备发送查询请求，所述查询请求用于查询所述数据集标识对应的初始数据集是否已更新；若所述数据集标识对应的初始数据集已更新，从所述目标设备获取所述数据集标识对应的新的初始数据集；根据所述新的初始数据集，更新所述数据集标识对应的初始数据集。可选地，所述从所述数据集标识对应的目标设备获取所述数据集标识对应的初始数据集，包括：获取数据更新请求，所述数据更新请求包括所述数据集标识；基于所述数据更新请求，向所述数据集标识对应的目标设备请求所述数据集标识对应的新的初始数据集；根据所述新的初始数据集，更新所述数据集标识对应的初始数据集。可选地，所述预处理包括缺失值处理、异常值处理、编码处理以及归一化处理中的至少一种。可选地，所述目标数据集包括训练数据集、验证数据集和测试数据集，所述基于所述目标数据集，训练所述算法标识对应的待评估算法，得到训练好的待评估模型，包括：基于所述训练数据集和所述验证数据集，训练所述算法标识对应的待评估算法，得到训练好的待评估模型；所述获取所述待评估模型的评估结果，包括：获取所述待评估模型基于所述测试数据集进行预测的评估结果，作为所述待评估模型的评估结果。可选地，所述评估请求还包括目标评估指标，所述基于所述目标数据集，训练所述算法标识对应的待评估算法，得到训练好的待评估模型，包括：基于所述目标数据集和所述算法标识对应的训练方法，训练所述算法标识对应的待评估算法，得到训练好的待评估模型；所述获取所述待评估模型的评估结果，包括：获取所述待评估模型对应于所述目标评估指标的评估结果，所述目标评估指标由所述评估请求确定，所述目标评估指标包括准确率、召回率、准确率与召回率的调和平均数、灵敏度、特异度以及混淆矩阵中的至少一种。可选地，所述获取评估请求之前，所述方法还包括：获取待评估算法；确定所述待评估算法对应的算法标识、训练方法以及可选评估指标，所述可选评估指标包括准确率、召回率、准确率与召回率的调和平均数、灵敏度、特异度以及混淆矩阵中的至少一种；将所述待评估算法与所述待评估算法对应的算法标识、训练方法以及可选评估指标对应存储，其中，所述训练方法以及所述可选评估指标均与所述算法标识对应。可选地，所述获取所述待评估模型对应于所述目标评估指标的评估结果，包括：当所述目标评估指标与所述算法标识对应的可选评估指标匹配时，获取所述待评估模型对应于所述目标评估指标的评估结果。第二方面，本申请实施例提供了一种信息处理装置，该装置包括：请求获取模块，用于获取评估请求，所述评估请求包括数据集标识和算法标识；数据获取模块，用于获取所述数据集标识对应的目标数据集；模型训练模块，用于基于所述目标数据集，训练所述算法标识对应的待评估算法，得到训练好的待评估模型；模型评价模块，用于获取所述待评估模型的评估结果；结果输出模块，用于输出所述评估结果，以提示所述待评估算法的评估结果。可选地，所述数据获取模块包括：路径获取子模块以及第一获取子模块，其中：路径获取子模块，用于获取所述数据集标识对应的本地路径和云端路径；第一获取子模块，用于当所述云端路径的云端时间戳大于所述本地路径的本地时间戳时，基于所述云端路径，获取所述数据集标识对应的数据集作为目标数据集。可选地，所述获取所述数据集标识对应的本地路径和云端路径之后，信息处理装置还包括：第二获取模块，其中：第二获取模块，用于当所述云端路径的云端时间戳不大于所述本地路径的本地时间戳时，基于所述本地路径，获取所述数据集标识对应的数据集作为目标数据集。可选地，信息处理装置还包括：第三获取模块，其中：第三获取模块，用于在无法获取到所述数据集标识对应的本地路径时，基于所述云端路径，获取所述数据集标识对应的数据集作为目标数据集。可选地，所述第一获取子模块以及所述第三获取模块，均包括：云端下载单元、云端存储单元以及云端配置单元，其中：云端下载单元，用于基于所述云端路径，本文档来自技高网...

【技术保护点】
1.一种信息处理方法，其特征在于，所述方法包括：/n获取评估请求，所述评估请求包括数据集标识和算法标识；/n获取所述数据集标识对应的目标数据集；/n基于所述目标数据集，训练所述算法标识对应的待评估算法，得到训练好的待评估模型；/n获取所述待评估模型的评估结果；/n通过用户终端输出所述评估结果，以提示所述待评估算法的评估结果。/n

【技术特征摘要】
1.一种信息处理方法，其特征在于，所述方法包括：
获取评估请求，所述评估请求包括数据集标识和算法标识；
获取所述数据集标识对应的目标数据集；
基于所述目标数据集，训练所述算法标识对应的待评估算法，得到训练好的待评估模型；
获取所述待评估模型的评估结果；
通过用户终端输出所述评估结果，以提示所述待评估算法的评估结果。


2.根据权利要求1所述的方法，其特征在于，所述获取所述数据集标识对应的目标数据集，包括：
获取所述数据集标识对应的本地路径和云端路径；
当所述云端路径的云端时间戳大于所述本地路径的本地时间戳时，基于所述云端路径，获取所述数据集标识对应的数据集作为目标数据集。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在无法获取到所述数据集标识对应的本地路径时，基于所述云端路径，获取所述数据集标识对应的数据集作为目标数据集。


4.根据权利要求2所述的方法，其特征在于，所述获取所述数据集标识对应的本地路径和云端路径之后，所述方法还包括：
当所述云端路径的云端时间戳不大于所述本地路径的本地时间戳时，基于所述本地路径，获取所述数据集标识对应的数据集作为目标数据集。


5.根据权利要求4所述的方法，其特征在于，所述基于所述云端路径，获取所述数据集标识对应的数据集作为目标数据集，包括：
基于所述云端路径，下载所述数据集标识对应的云端数据集；
将所述云端数据集存储于所述数据集标识对应的本地路径，并将所述云端数据集作为所述目标数据集；
根据所述云端路径的云端时间戳，配置所述本地路径的本地时间戳，以使所述本地时间戳大于或等于所述云端时间戳。


6.根据权利要求5所述的方法，其特征在于，所述将所述云端数据集存储于所述数据集标识对应的本地路径，包括：
将所述云端数据集存储于指定路径；
更新所述指定路径为所述数据集标识对应的本地路径。


7.根据权利要求1所述的方法，其特征在于，所述目标数据集预先存储于所述数据集标识对应的云端路径，所述获取所述数据集标识对应的目标数据集之前，所述方法还包括：
从所述数据集标识对应的目标设备获取所述数据集标识对应的初始数据集；
对所述初始数据集进行预处理得到预处理后的数据集，并将所述预处理后的数据集存储于所述数据集标识对应的云端路径。


8.根据权利要求7所述的方法，其特征在于，所述从所述数据集标识对应的目标设备获取所述数据集标识对应的初始数据集，包括：
基于预设时间间隔，向所述数据集标识对应的目标设备发送查询请求，所述查询请求用于查询所述数据集标识对应的初始数据集是否已更新；
若所述数据集标识对应的初始数据集已更新，从所述目标设备获取所述数据集标识对应的新的初始数据集；
根据所述新的初始数据集，更新所述数据集标识对应的初始数据集。


9.根据权利要求7所述的方法，其特征在于，所述从所述数据集标识对应的目标设备获取所述数据集标识对应的初始数据集，包括：
获取数据更新请求，所述数据更新请求包括所述数据集标识；
基于所述数据更新请求，向所述数据集标识对应的目标设备请求所述数据集标识对应的新的初始...

【专利技术属性】
技术研发人员：侯皓龄，刘云峰，
申请(专利权)人：深圳追一科技有限公司，
类型：发明
国别省市：广东;44