基于预测建模技术的搜索系统及方法技术方案

本发明专利技术涉及基于预测建模技术的搜索系统及方法。所述系统包括数据库、数据清洗单元、数据整理单元、建模分析单元、建模测试单元、结果集，所述数据库与所述数据清洗单元网络连接，所述数据清洗单元与所述数据整理单元网络连接，所述数据整理单元与所述建模分析单元网络连接，所述建模分析单元与所述建模测试单元网络连接，所述建模测试单元通过模型输出单元与所述结果集网络连接，所述结果集与所述数据清洗单元网络连接。本发明专利技术大大提高了海量数据查询速度、定性查询结果准确度。

【技术实现步骤摘要】
基于预测建模技术的搜索系统及方法
本专利技术属于建模、搜索
，涉及基于预测建模技术的搜索系统及方法。
技术介绍
搜索方法是为了实现搜索方案中的搜索目标所采用的具体操作方法和手段的总称。传统的搜索方法包括顺查法、倒查法、抽查法、追溯法、分段法、浏览法，不管是哪种搜索方法，都是围绕课题搜索出大量的历史数据，进行逐次辨别取舍，从中查找出课题所需要的数据。这种传统的搜索系统及方法有以下不足之处：首先就是搜索出来的是海量数据，数据量大,查询速度慢；数据包括各种残缺数据、错误数据、重复数据等，导致定性查询结果准确度差；为了解决传统的搜索方法的不足，本专利技术拟提出基于预测建模技术的搜索系统及方法。
技术实现思路
为了解决传统搜索系统及方法查询速度慢，查询结果准确度差的问题，本专利技术首先提出了一种基于预测建模技术的搜索系统，所述系统包括数据库、数据清洗单元、数据整理单元、建模分析单元、建模测试单元、结果集，其中：所述数据库与所述数据清洗单元网络连接；所述数据清洗单元与所述数据整理单元网络连接；所述数据整理单元与所述建模分析单元网络连接；所述建模分析单元与所述建模测试单元网络连接；所述建模测试单元通过模型输出单元与所述结果集网络连接；所述结果集与所述数据清洗单元网络连接。进一步地，所述数据清洗单元还包括描述分析单元，所述描述分析单元与所述数据整理单元网络连接。进一步地，所述结果集包括建模日志单元、建模分析过程单元、数据汇总单元、人为因素单元，各单元都是结果集的数据组成部分。根据所述系统进行基于预测建模技术的搜索方法，所述方法包括以下步骤：步骤S1，利用数据采集设备采集第一数据进行程序解析后存放在数据库，所述数据库把所述第一数据送到数据清洗单元；步骤S2，所述数据清洗单元接收所述第一数据进行数据清洗，丢弃不合格数据，把合格的第二数据通过网络传送到数据整理单元；步骤S3，所述数据整理单元接收所述第二数据进行数据整理分析，将得到的数据特征通过网络传送到建模分析单元；步骤S4，所述建模分析单元根据所述数据特征建立数据模型，根据所述数据模型计算出模型的参数值,将该模型的参数值通过网络传到建模测试单元；步骤S5，所述建模测试单元根据建立模型的参数值进行数据搜索，利用专门的测试模型对搜索的数据进行测试；根据测试的准确度修改建模分析的方法，把测试结果错误的数据返回到所述建模分析单元修正数据模型，把测试结果正确的数据通过模型输出单元送到所述结果集；步骤S6，所述结果集存储并应用所述第三数据进行事件预测。进一步地，步骤S2中，所述数据清洗单元清洗数据时，对有特殊需求的数据，可以利用所述数据清洗单元的描述分析单元，加入人为干扰的数据分析规则，分析后把合格的第二数据通过网络传送到所述数据整理单元。进一步地，所述数据清洗单元清洗数据的方式包括检查数据一致性，处理无效值和缺失值；去除残缺数据、错误数据、重复数据；数据标准化；数据分类。进一步地，所述数据整理单元进行数据整理分析的方式包括数据整理、数据关联。进一步地，所述建模分析单元建模的方法主要利用了数据分析法，从大量的观测数据中，利用统计方法建立数学模型。进一步地，所述结果集存储应用第三数据的方式包括以下步骤：利用所述建模日志单元记录整个系统工作过程的日志；利用所述建模过程分析单元记录建模分析过程，用于各个业务部分的具体业务分析；利用所述人为因素单元记录分析过程中加入的人为的业务需求；利用所述数据汇总单元汇总最后的所述第三数据。进一步地，所述结果集，将得到的所述第三数据传送到所述数据清洗单元，进行数据的再次清洗，以修正模型。本专利技术的应用获得了非常明显的益处：配合数据清洗,数据整理，建模分析，建模测试，将海量数据数据量减少；根据定时任务，比如：Timer，Quartz等，总结数据规律，得出数据模型；以上两点大大提高了海量数据查询速度、查询结果准确度。附图说明图1为实施例1系统工作流程图。图2为实施例2系统工作流程图。图3为结果集数据构成图。具体实施方式以下结合附图及实施例，对本专利技术的具体实施方式进行更加详细的说明，以便能够更好地理解本专利技术的方案以及其各个方面的优点，然而，以下描述的具体实施方式仅是说明的目的，而不是对本专利技术的限制。本专利技术首先提出了一种基于预测建模技术的搜索系统，如图1所示，所述系统包括数据库1、数据清洗单元2、数据整理单元3、建模分析单元4、建模测试单元5、结果集7。其中：所述数据库1与所述数据清洗单元2网络连接；所述数据清洗单元2与所述数据整理单元3网络连接；所述数据整理单元3与所述建模分析单元4网络连接；所述建模分析单元4与所述建模测试单元5网络连接；所述建模测试单元5通过所述模型输出单元6与所述结果集7网络连接；所述结果集7与所述数据清洗单元2网络连接。如图2所示，所述数据清洗单元2还包括描述分析单元21，所述描述分析单元21与所述数据整理单元3网络连接。所述结果集7包括建模日志单元71、建模分析过程单元72、数据汇总单元73、人为因素单元74，各单元都是结果集7的数据组成部分。根据所述系统进行基于预测建模技术的搜索方法，具体实施方式详细描述如下。(1)数据采集利用各种数据采集设备采集第一数据，进行程序解析，存放在数据库1，数据库1把所述第一数据送到所述数据清洗单元2。建模不仅需要大量的数据，同时数据必须可靠，并适合建模的要求。失真的数据以及不符合建模的数据必须通过分析，加以适当处理。数据是预测工作的前提和重要依据，预测不能是臆造和空想，任何事物的发展都有一定的规律，认真研究预测对象并充分考察预测对象所处的环境，以系统分析的方法对过去和现在的数据进行总结，从中找出规律，便可科学地推断未来。数据在预测中主要有两个作用：一是用于确定由某些历史考察点组成的行为模型；二是在因果模型预测中确定自变量的未来值。预测的初始阶段，首先是从事数据的收集、整理、加工和分析，为建模创造良好的条件。(2)数据清洗利用所述数据清洗单元2接收所述数据库1送来的所述第一数据进行数据清洗，丢弃不合格数据，把合格的第二数据通过网络传送到所述数据整理单元3。所述数据清洗单元2清洗数据的方式包括：检查数据一致性、处理无效值和缺失值、去除残缺数据、错误数据、重复数据；数据标准化；数据分类。对有特殊需求的数据，可以利用所述数据清洗单元2的描述分析单元21，加入人为干扰的数据分析规则，分析后把合格的第二数据通过网络传送到所述数据整理单元3。所述人为干扰的数据分析规则是在数据清洗过程中，可以加入历史清洗数据得出的结论，从而加强数据结果集7的准确性。(3)数据整理所述数据整理单元3接收所述数据清洗单元2送来的第二数据进行数据整理分析，包括数据整理、数据关联，将得到的数据特征通过网络传送到所述建模分析单元4。数据整理原则：准确，处理后的数据能正确反映事物发展的未来趋势和状况；及时，数据的处理要及时；适用，处理的数据能满足建模的需要；经济，要尽量减少数据处理的费用，以降低预测成本；一致，处理的数据在整个比较性，使用期间内必须是一致的，具有可比较性。数据整理方法：判别法，通过对历史数据的判断，选择其中可代表整个预测过程中很可能发生的模式的数据作为建模数据。剔除法，如果数据量比较大，且非必须连续的数据量，这时可剔除数据中受本文档来自技高网...

【技术保护点】
一种基于预测建模技术的搜索系统，所述系统包括数据库、数据清洗单元、数据整理单元、建模分析单元、建模测试单元、结果集，其中：所述数据库与所述数据清洗单元网络连接；所述数据清洗单元与所述数据整理单元网络连接；所述数据整理单元与所述建模分析单元网络连接；所述建模分析单元与所述建模测试单元网络连接；所述建模测试单元通过模型输出单元与所述结果集网络连接；所述结果集与所述数据清洗单元网络连接。

【技术特征摘要】
1.一种基于预测建模技术的搜索系统，所述系统包括数据库、数据清洗单元、数据整理单元、建模分析单元、建模测试单元、结果集，其中：所述数据库与所述数据清洗单元网络连接；所述数据清洗单元与所述数据整理单元网络连接；所述数据整理单元与所述建模分析单元网络连接；所述建模分析单元与所述建模测试单元网络连接；所述建模测试单元通过模型输出单元与所述结果集网络连接；所述结果集与所述数据清洗单元网络连接。2.根据权利要求1所述的系统，其特征在于,所述数据清洗单元还包括描述分析单元，所述描述分析单元与所述数据整理单元网络连接。3.根据权利要求1所述的系统，其特征在于,所述结果集包括建模日志单元、建模分析过程单元、数据汇总单元、人为因素单元，各单元都是结果集的数据组成部分。4.一种基于预测建模技术的搜索方法，包括以下步骤：步骤S1，利用数据采集设备采集第一数据进行程序解析后存放在数据库，所述数据库把所述第一数据送到数据清洗单元；步骤S2，所述数据清洗单元接收所述第一数据进行数据清洗，丢弃不合格数据，把合格的第二数据通过网络传送到数据整理单元；步骤S3，所述数据整理单元接收所述第二数据进行数据整理分析，将得到的数据特征通过网络传送到建模分析单元；步骤S4，所述建模分析单元根据所述数据特征建立数据模型，根据所述数据模型计算出模型的参数值,将该参数值通过网络传到建模测试单元；步骤S5，所述建模测试单元根据建立模型的参数值进行数据搜索，利用专门的测试模型对搜索的数据进行测试，根据测试的准确度修改建模分析的方法，...

【专利技术属性】
技术研发人员：王凤，杨宁，
申请(专利权)人：深圳市华讯方舟软件信息有限公司，
类型：发明
国别省市：广东,44