商业服务模型的自动化建模方法技术

商业服务模型的自动化建模方法，该方法包括构建模型、训练模型、评估模型、应用模型，并在训练模型和应用模型的过程中进行持续性的数据探索和模型调优；构建模型：通过上传训练集进行清理数据，挖掘数据，转换数据和编写数据，自动化快速匹配算法模型，并提供多个维度评估模型质量；训练模型：利用机器学习技术通过测试集来训练模型；应用模型：将模型应用到真实业务场景中验证模型，通过测试集评估、优化模型完成后根据业务需求输出可视化的图表报告。本发明专利技术提供一种针对全行业的涵盖了数据挖掘程序、机器学习、人工智能程序模块的大数据技术自动建模方法。

【技术实现步骤摘要】
商业服务模型的自动化建模方法
本专利技术属于信息
，具体涉及自动建模技术。
技术介绍
对于日益激烈的市场环境，企业为提高市场竞争力，再生产制造过程，供应链，销售，物流等经营过程中收集数据、分析挖掘，用于过程精细化流程控制，大数据分析和挖掘方法为企业完成大数据落地提供了方法支持。目前市场上的数据建模技术主要还是掌握在数据科学家手上，普通用户不仅无法支付高昂的费用来雇佣他们进行数据挖掘的建模环节，而且找到这样的人来为他们提供这项服务也是有困难的。
技术实现思路
本专利技术所要解决的技术问题是：根据给定的数据集，自动进行清理数据，挖掘数据，转换数据和编写数据，最后自动建立统计模型，提供一种针对全行业的涵盖了数据挖掘程序、机器学习、人工智能程序模块的大数据技术自动建模方法。本专利技术为解决上述技术问题采用以下技术方案：商业服务模型的自动化建模方法，该方法包括构建模型、训练模型、评估模型、应用模型，并在训练模型和应用模型的过程中进行持续性的数据探索和模型调优；构建模型：通过上传训练集进行清理数据，挖掘数据，转换数据和编写数据，自动化快速匹配算法模型，并提供多个维度评估模型质量；训练模型：利用机器学习技术通过测试集来训练模型；应用模型：将模型应用到真实业务场景中验证模型，通过测试集评估、优化模型完成后根据业务需求输出可视化的图表报告。a.构建模型过程依次包括：上传数据，合并数据集，用户变量映射到模型变量，变量转换，创建目标变量，数据格式初步处理，数据缺失处理，数据离散值处理，数据分段处理，数据分类，参数特征选择，建立模型，选择算法模型，模型评估，输出模型数据，保存模型，输出可视化智能报告。b.所述训练模型步骤为选择已经构建好的模型，按照所述构建模型的步骤上传测试集不断训练模型，往复不断的进行各个步骤的的调优，评估模型、优化模型。c.按照所述训练模型的步骤进行实际的场景应用，选择已构建的模型，根据实际应用导入数据，在场景应用过程中优化数据模型。进一步的，所述上传数据步骤包括：多数据源接入，建立数据宽表，利用数据库技术将数据引入到所述数据宽表中，并通过相关逻辑关系进行汇总计算。进一步的，所述创建目标变量过程包括：按照按照时间序列在各个时间点上形成的数值序列，通过观察历史数据预测未来的值。进一步的，所述模型评估的方法为从多个维度通过雷达图的形式进行对比，评估模型，然后根据雷达图选择需要的模型。进一步的，判断是否构建目标变量，如不构建目标变量直接进入数据格式初步处理，如构建目标变量则创建目标变量后再进入数据格式初步处理流程。进一步的，判断是否构进行数据分类，如不进行数据分类直接进入参数特征值选择，如进行数据分类，则进行数据分类后再进入参数特征值选择。与现有技术相比，本专利技术具有以下有益效果：1.在自动化建模各个环节都可以不断地循环往复的进行数据探索和模型的调优；选择已经构建好的模型，按照步骤上传测试集不断训练模型，可以往复不断的进行各个步骤的的调优，评估模型、优化模型，使数据分析结果更加精准。2.与真实业务场景打通，通过建立模型、训练模型、评估模型，直接应用到真实场景当中，即时可视化的应用。3.通过测试集评估、优化模型完成后，按照步骤应用到真实业务场景中，根据业务需求输出可视化的图表报告，智能展示分析结果。4.实现大数据云平台的无缝对接，整合文件(CSV、excel等)、数据库(access、mysql、oracle、sqlserver、DB2，sybase等)、应用端口(支持CRM、OA、ERP等)等数据源，让已有的数据云平台支持数据驱动的商业应用；5.模型构建效率大大提高，几个小时就可以构建上百个模型，建模速度提升30倍以上；6.建立模型及参数调整灵活性高，可适时的构建模型、训练模型、评估模型，最终将最优模型应用到实际业务场景中。附图说明图1是自动化建模总体流程图。图2是构建模型流程图。图3是训练模型流程图。图4是应用模型流程图。图5是多维度雷达图。具体实施方式以基于客户流失模型的自动化建模流程作为实施例进行进一步说明：如图1：自动建模的总体流程包括：构建模型-训练模型-应用模型，在构建模型-训练模型-应用模型三个环节中，每个环节都评估模型流程，通过模型评估(模型对比)进行持续性的数据探索和模型调优。(一)构建模型：客户流失模型构建过程如图2：构建模型过程依次包括：上传数据，合并数据集，用户变量映射到模型变量，变量转换，创建目标变量，数据格式初步处理，数据缺失处理，数据离散值处理，数据分段处理，数据分类，参数特征选择，建立模型，选择算法模型，模型评估，输出模型数据，保存模型，输出可视化智能报告。1.上传数据(uploaddata)多数据源接入，具体接入的数据源包括：①文件：CSV、excel等多种文件类型的数据接入；②数据库：access、mysql、oracle、sqlserver、DB2，sybase等多种关系数据库的数据接入；③应用端口：CRM、OA、ERP等多种系统数据源接入。2.合并数据集(mergedata)基于数据分析需要，找到接入的相关数据，建立一张数据宽表，利用数据仓库技术将数据引入到这张宽表当中，基于一定的逻辑关系进行汇总计算。该数据宽表作为数据分析的基础，再依据数据分析需要衍生出不同的表单，为数据分析提供全面的数据源。宽表一方面是用于集中相关分析数据，一方面是提高效率，不需要每次分析时都查询其他的数据表，影响数据仓库效率。3.变量映射(mapvariables)按照一定规范标准定义模型变量，识别已经上传的用户变量，识别不符合规范的用户变量，然后用户可自行将不能识别的用户变量进行重新定义。4.变量转换(transformdata)对字符串变量的列以分隔符的方式进行拆分、聚合，把原始数据转换成为适合数据挖掘的形式。5.创建目标变量(targetvariables)按照时间序列在各个时间点上形成的数值序列，通过观察历史数据预测未来的值根据需要选择是否创建目标变量，如创建目标变量选择相关参数(时间长度、时间周期、时间点及观察点)，最后根据时间区间确定时间段，按照时间序列在各个时间点上形成的数值序列，通过观察历史数据预测未来的值。6.数据格式初步处理(preliminarydata)由于原始数据存在数据不一致、重复、含噪声、纬度高等问题，需要进行数据格式初步处理，数据格式初步处理的步骤包括数据清洗、数据集成、数据变换、数据规约等。(1)数据清洗：去噪声和无关数据；(2)数据集成：将多个数据源中的数据结合起来存放在一个一致的数据存储中。(3)数据变换：把原始数据转换成为适合数据挖掘的形式。(4)数据规约：降低无效，错误数据对建模的影响，提高建模的准确性。少量且代表性的数据将大幅缩减数据挖掘所需时间，降低存储数据成本。主要方法包括：数据立方体聚集，维度归约，数据压缩，数值归约，离散化和概念分层等。7.数据缺失值处理(missdata)通过数据分析处理，统计每行、每列数据缺失值的分布情况，缺失处理有三种处理方式：第一种是选择缺失值百分比，直接去除大于此百分数的缺失变量；第二种是由于缺失值的数据删除会造成数据的浪费，而且有时候可能数据本来就不多，删除包含缺失值的数据之后数据就更少了，这将会影响我们训练出来模型的本文档来自技高网...

【技术保护点】
1.商业服务模型的自动化建模方法，其特征在于，该方法包括构建模型、训练模型、评估模型、应用模型，并在训练模型和应用模型的过程中进行持续性的数据探索和模型调优；a.构建模型：通过上传训练集进行清理数据，挖掘数据，转换数据和编写数据，自动化快速匹配算法模型，并提供多个维度评估模型质量；b.训练模型：利用机器学习技术通过测试集来训练模型；c.应用模型：将模型应用到真实业务场景中验证模型，通过测试集评估、优化模型完成后根据业务需求输出可视化的图表报告。

【技术特征摘要】
1.商业服务模型的自动化建模方法，其特征在于，该方法包括构建模型、训练模型、评估模型、应用模型，并在训练模型和应用模型的过程中进行持续性的数据探索和模型调优；a.构建模型：通过上传训练集进行清理数据，挖掘数据，转换数据和编写数据，自动化快速匹配算法模型，并提供多个维度评估模型质量；b.训练模型：利用机器学习技术通过测试集来训练模型；c.应用模型：将模型应用到真实业务场景中验证模型，通过测试集评估、优化模型完成后根据业务需求输出可视化的图表报告。2.根据权利要求1所述的商业服务模型的自动化建模方法，其特征在于，a.构建模型过程依次包括：上传数据，合并数据集，用户变量映射到模型变量，变量转换，创建目标变量，数据格式初步处理，数据缺失处理，数据离散值处理，数据分段处理，数据分类，参数特征选择，建立模型，选择算法模型，模型评估，输出模型数据，保存模型，输出可视化智能报告。b.所述训练模型步骤为选择已经构建好的模型，按照所述构建模型的步骤上传测试集不断训练模型，往复不断的进行各个步骤的的调优，评估模型、优化模型。c.按照所述训练模型的步骤进行实际的场景应用，...

【专利技术属性】
技术研发人员：周柏荣，苏复生，
申请(专利权)人：杭州珞珈数据科技有限公司，
类型：发明
国别省市：浙江,33