一种基于大数据的决策方法和系统技术方案

本申请公开一种基于大数据的决策方法和系统，所述方法预先集成了一系列可通用于各行业的决策影响因素，并提供对各影响因素进行设置的设置功能，使各行各业的用户通过简单的设置即可实现对决策所需的采集规则、决策规则等进行定制，如用户可通过对行业类型、数据关键字进行设置来制定采集规则；同时，本发明专利技术预先建立了一个通用的分类模型，该模型可基于用户依据其业务需求设置的辅助信息对待分类数据进行分类，方便对用户所需数据进行进一步挖掘，得出目标数据，例如，模型可依据用户设置的“病症”这一辅助信息，从病症的角对采集的医疗数据进行分类，最后依据用户设置的决策规则实现决策。可见，本发明专利技术克服了现有决策方法不具有通用性的缺点。

【技术实现步骤摘要】
【专利摘要】本申请公开一种基于大数据的决策方法和系统，所述方法预先集成了一系列可通用于各行业的决策影响因素，并提供对各影响因素进行设置的设置功能，使各行各业的用户通过简单的设置即可实现对决策所需的采集规则、决策规则等进行定制，如用户可通过对行业类型、数据关键字进行设置来制定采集规则；同时，本专利技术预先建立了一个通用的分类模型，该模型可基于用户依据其业务需求设置的辅助信息对待分类数据进行分类，方便对用户所需数据进行进一步挖掘，得出目标数据，例如，模型可依据用户设置的“病症”这一辅助信息，从病症的角对采集的医疗数据进行分类，最后依据用户设置的决策规则实现决策。可见，本专利技术克服了现有决策方法不具有通用性的缺点。【专利说明】一种基于大数据的决策方法和系统
本专利技术属于基于大数据的数据挖掘和处理
，尤其涉及一种基于大数据的 决策方法和系统。
技术介绍
当前，人们生活在大数据时代，各种数据爆炸式增长，每天均有大量的资讯、娱乐、 财经、医疗、教育等各行各业的信息数据注入网络，形成海量数据。 从这些海量数据中挖掘出有价值的数据，并对其进行分析作出有效决策可为各行 业的企业或个人提供参考、辅助作用，例如从海量数据中挖掘医疗行业中某病症的病例、治 疗方法及治疗效果等信息，通过对各病例采用的治疗方法及相应的治疗效果进行分析，得 出治疗该病症的最优方法，为后续医生对该病症的治疗提供参考。然而，现有基于大数据的 决策方法或系统不具有通用性，不能满足不同行业、不同业务的决策需求。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于大数据的决策方法和系统，以解决现 有基于大数据的决策方法或系统不具有通用性的问题。 为此，本专利技术公开如下技术方案： 一种基于大数据的决策方法，包括： 基于用户依据其业务需求所设置的采集规则，从数据源中获取相应的原始数据， 并将所述原始数据作为待分类数据，所述采集规则包含预先集成的各采集因素的用户设置 信息； 利用预先建立的分类模型结合用户依据其业务需求设置的辅助信息对所述待分 类数据进行分类，得到各个类别的数据，并将所述各个类别的数据中与用户的业务需求相 对应的类别的数据作为目标数据； 基于用户依据其业务需求所设置的决策规则对所述目标数据进行处理和决策，得 出决策结果，所述决策规则包含预先集成的各决策因素的用户设置信息。 上述方法，优选的，所述采集因素包括行业类型、数据关键字、数据相似度、反监控 策略及数据抓取策略，所述行业类型包括资讯、娱乐、财经、教育、医疗、体育、汽车、时尚、科 技、房产。 上述方法，优选的，所述决策因素包含关联规则策略、决策目的、决策成本和决策 耗时，其中，所述关联规则策略包含关键参量之间的支持度和置信度，所述关键参量由用户 依据其业务需求而定。 上述方法，优选的，所述辅助信息包括分类方法和分类角度，所述分类方法包括决 策树分类、贝叶斯分类、神经网络分类。 上述方法，优选的，还包括： 对所述原始数据进行选样，利用所选出的样本数据，对所述分类模型进行验证，并 在验证结果未达到期望目标时，依据所述验证结果对所述分类模型进行调整。 上述方法,优选的，还包括： 利用设定的预处理规则对所述原始数据进行预处理，并将经过预处理的数据作为 新的待分类数据，所述预处理规则包含至少一个设定了操作方式的预处理操作，某一预处 理操作的操作方式由用户基于预先集成的所述预处理操作的操作方式集设置而定。 上述方法，优选的，所述预处理包括：数据清理、数据集成、数据转换、数据归约和 压缩，其中： 所述数据清理，包括填写空缺值，平滑噪声数据，识别、删除孤立点； 所述数据集成，包括将数据集成多个数据库、数据立方体或文件； 所述数据转换，包括数据的规范化和聚集。 上述方法，优选的，还包括依据用户的业务需求对所述原始数据进行如下分类存 储： 将不需要实时分析的数据以文件的形式通过分布式系统基础架构Hadoop的分布 式文件系统HDFS进行分布式存储； 将需要实时分析的数据通过面向文档存储的数据库MongoDB或关系型数据库进 行存储。 上述方法，优选的，采用数据爬虫技术实现从数据源中获取原始数据。 -种基于大数据的决策系统，包括获取模块、分类模块和决策模块，其中： 所述获取模块，用于基于用户依据其业务需求所设置的采集规则，从数据源中获 取相应的原始数据，并将所述原始数据作为待分类数据，所述采集规则包含预先集成的各 采集因素的用户设置信息； 所述分类模块，用于利用预先建立的分类模型结合用户依据其业务需求设置的辅 助信息对所述待分类数据进行分类，得到各个类别的数据，并将所述各个类别的数据中与 用户的业务需求相对应的类别的数据作为目标数据； 所述决策模块，用于基于用户依据其业务需求所设置的决策规则对所述目标数据 进行处理和决策，得出决策结果，所述决策规则包含预先集成的各决策因素的用户设置信 肩、。 上述系统，优选的，还包括： 选样和验证模块，用于对所述原始数据进行选样，利用所选出的样本数据，对所述 分类模型进行验证，并在验证结果未达到期望目标时，依据所述验证结果对所述分类模型 进行调整。 上述系统，优选的，还包括： 预处理模块，用于利用设定的预处理规则对所述原始数据进行预处理，并将经过 预处理的数据作为新的待分类数据，所述预处理规则包含至少一个设定了操作方式的预处 理操作，某一预处理操作的操作方式由用户基于预先集成的所述预处理操作的操作方式集 设置而定。 上述系统，优选的，还包括： 分类存储模块，用于依据用户的业务需求对所述原始数据进行如下分类存储：将 不需要实时分析的数据以文件的形式通过分布式系统基础架构Hadoop的分布式文件系统 HDFS进行分布式存储；需要实时分析的数据通过面向文档存储的数据库MongoDB或关系型 数据库进行存储。 本专利技术方法预先集成了一系列能够通用于各行业的决策影响因素，并为用户提供 对各影响因素进行设置的设置功能，使各行各业的用户通过简单的设置即可实现对决策所 需的采集规则、决策规则等各项规则进行自定义定制，例如，用户可通过对行业类型、数据 关键字等采集因素进行相应设置实现采集规则的制定；同时，本专利技术预先建立了一个通用 的分类模型，该模型可基于用户依据其业务需求设置的辅助信息对待分类数据进行分类， 方便对用户所需数据进行进一步挖掘，得出目标数据，例如，模型可依据用户设置的"病症" 这一辅助信息，从病症这一角对采集的医疗数据进行分类，最后依据用户设置的决策规则 对目标数据进行决策，得出决策结果。 可见，本专利技术克服了现有决策方法不具有通用性的缺点，能够满足不同行业、不同 业务的决策需求。 【专利附图】【附图说明】 为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据 提供的附图获得其他的附图。 图1是本专利技术实施例一公开的基于大数本文档来自技高网...

【技术保护点】
一种基于大数据的决策方法，其特征在于，包括：基于用户依据其业务需求所设置的采集规则，从数据源中获取相应的原始数据，并将所述原始数据作为待分类数据，所述采集规则包含预先集成的各采集因素的用户设置信息；利用预先建立的分类模型结合用户依据其业务需求设置的辅助信息对所述待分类数据进行分类，得到各个类别的数据，并将所述各个类别的数据中与用户的业务需求相对应的类别的数据作为目标数据；基于用户依据其业务需求所设置的决策规则对所述目标数据进行处理和决策，得出决策结果，所述决策规则包含预先集成的各决策因素的用户设置信息。

【技术特征摘要】

【专利技术属性】
技术研发人员：程恒炎，高伟，李登彪，陈烨，
申请(专利权)人：北京赛科世纪数码科技有限公司，
类型：发明
国别省市：北京;11