网络环境下的程序挖掘方法及其程序挖掘系统技术方案

本发明专利技术属于软件工程领域，包括：建立本地构件目录信息库；创建智能代理接受并分析用户请求，根据用户请求从构件目录信息库中检索可用构件的位置及描述信息；然后启动智能代理程序查询构件目录信息库和构件库，获取所需构件；对这些构件进行选择、取舍、组装，形成完成用户计算要求的程序。本发明专利技术可以在分布式网络中实现按需计算，根据用户的要求，从网络构件库中发现组装满足用户需求的程序，并链接执行，完成用户要求的处理功能。（*该技术在2021年保护过期，可自由使用*）

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术属于软件工程领域，特别涉及用于在网络环境中，通过多个智能代理，根据用户的特定需求，从分布式构件库中自动发现、获取所需要的构件，进行自动组装，形成实现用户所需计算功能的程序，并在应用框架中链接执行程序，完成用户所需要的处理功能的方法。近年来，Internet一直被看作是一个巨大的信息库和人们发布与共享各种信息的媒体。为了帮助用户从Internet中获取所需要的信息，人们研究开发了各种信息获取系统，如视频点播、新闻点播，及其他各种个性化、智能化的信息获取系统；还有一些研究人员将数据挖掘技术应用到Web领域，帮助用户从大量的HTML页面中挖掘所需要的知识，这些技术统称为Internet上的信息点播或知识点播(Information/Knowledge On Demand)系统。但是，随着网络技术的迅速发展，尤其是Java技术的普及，Internet逐渐成为一个大规模的分布式计算平台，除了大量的信息之外，网上还提供了大量的计算资源，提供各种各样的应用程序为用户提供各种网络服务，满足人们通讯、娱乐、工作的需求。通常情况下，这些应用都是包含各种功能的软件包，用户很难根据自己的需要扩展或定制系统的功能。但是在大规模分布式网络中(如Internet)，应用和服务需要面向各种各样的用户，用户所在的网络环境不同，需求也不同，因此很难用同一个解决方法来满足所有用户的需求。一种理想的解决方案应陔能够提供服务或应用的可定制性，用标准化的软构件实现应用，让用户能够根据自己的网络连接方式和特定的需求，自行选择所需要的功能或界面，让应用程序以一种按需加载的方式安装到用户本地系统中。因此在Internet网络中，除了对信息的定制需求，人们对处理信息的程序也有同样的要求，人们需要特定的程序处理特定的信息。这是在应用层次人们对计算的定制需求。另一方面，主动网的出现也在网络层次引入了按需计算的需求。主动网络中，网络中间节点引入了用户定制的计算，这样的节点称为主动节点，这些主动节点可以执行各种各样的程序，对流经的数据包执行定制的计算，如数据包的汇聚、拷贝、压缩等等。主动节点中的这些程序为用户或应用提供了灵活的网络服务，使网络成为一种可编程网络，使新协议、新算法、新应用的实现更加容易。但是，尽管主动网提供了在主动节点中加载、校验和执行程序的机制，但这些程序一般是由网络管理员或用户事先安装好的，主动节点并没有解决该选用哪些程序和如何获取这些程序的问题。要成为真正意义上的‘主动’网，还需要引入程序的主动搜索或获取机制，让主动节点根据需要选择所需要的计算模块，这就形成了网络层次的按需计算需求。要在网络中实现应用层和网络层的按需计算，首先要解决两个重要问题，一是创建大量可实现各种元计算功能的标准化软构件，并将它们组织成Internet上可访问的资源库，这里的元计算功能是指可以组合成各种计算程序的不同粒度的部件；另一个问题是如何从这些软构件资源中获取适当的构件，并组装链接，形成执行所需计算功能的程序。目前，针对网络环境下的按需计算问题，还没有人提出完整的解决方案。但是，现有的一些技术和成果为本专利技术提供了坚实的基础，分别介绍如下首先，软构件技术提供了一种从可复用构件中组装程序的有效方法。近年来，构件技术在研究领域和商业领域都引起人们的高度重视在技术上出现了长足进步，也出现了许多软构件产品，如JavaBeans、ActiveX等等。同时，Internet的易用性和广泛联通性，使它成为发布和测试软构件的理想场所。目前，在Internet上有很多专门的软构件库，如Gamelan、Alphaworks、Fashline等，有很多Web站点也提供指向软构件的链接，这样，在Internet上逐渐形成了一个不断扩展的在线软构件库，为基于构件的程序开发提供了坚实的基础。另外，各种构件表示方法、构件获取技术，构件的组装、测试等问题在文献中也有深入的讨论，使程序的组装和发布过程变得更容易。其次，迅速发展的软件代理技术，也提供了一种在网络中自动搜索和获取构件的有效方法。一般情况下，代理被看作是能够执行某些自主操作，代表用户或其他代理完成特定任务的软件实体。接受任务后，代理遵循某种算法自主行动，它们可以通过互相通讯共享所持有的知识，形成一个相互协作的有机整体，完成较为复杂的任务。另外，随着网络技术的迅速发展，能够在网络节点中自主移动成为代理的重要特性，这样的移动代理通过移动到信息或服务所在的主机，用本地的快速通讯代替通过网络的交互，可大大提高工作效率，有效地构建分布式应用。利用软件代理的这些特性，可以构建用于构件搜索、获取的多代理系统。具体来讲，就是利用某种构件表示方法形成查询请求，接口代理对该请求进行转换，并转交给构件发现代理，该代理可以在构件库服务器之间自主移动，搜索所需要的构件，最后带着查到的构件返回到客户端。这样利用软件代理，可以使网络环境下的构件搜索与获取更加方便。另外，随着数据库系统的广泛应用，从海量数据中帮助用户发现隐含知识的数据挖掘(Data Mining)技术取得了很大发展，同时，因特网上信息的迅速膨胀，促使人们将数据挖掘技术应用到Web领域，帮助用户从Web站点中挖掘所需要的知识，分析Web站点的结构及访问情况等等。Web挖掘技术(Web Mining)是数据挖掘技术在Web领域的应用和扩展，它采用数据挖掘中的关联规则、分类、聚类等技术分析Web文档的结构及访问情况，从超文本文件或日志文件中分析、提取用户感兴趣的信息。按照处理对象的不同，Web挖掘分为两种Web内容挖掘(Web Content Mining)和Web且志挖掘(Web Usage Mining)。其中Web内容挖掘是指通过归纳学习、机器学习、统计分析等方法从大量Web站点中发现和提取用户感兴趣的信息或者更高层次的知识和规律；Web日志挖掘是指通过分析Web服务器的日志文件，发现用户访问站点的浏览模式，为站点管理员提供各种利于Web站点改进或者可以带来经济效益的信息。虽然二者的处理对象不同，但它们采用一致的技术方案，Web挖掘包括以下几个步骤1．数据准备Web挖掘的处理对象是大量的数据，这些数据包括Web页面的内容、Web站点的结构、Web站点的访问记录等等，这些数据可以从Web服务器的日志文件、网站自身的内容、代理服务器及客户端得到。在Web挖掘之前，需要做数据准备工作，一般包括数据的选择(选择相关的数据)、净化(消除噪音、冗余数据)、推测(推算缺失数据)、转换(离散值数据与连续值数据之间的相互转换，数据值的分组分类，数据项之间的计算组合等)、数据缩减(减少数据量)等等，把网页中的文本、图片及其他文件转换成数据挖掘算法可用的形式。2．模式发现模式发现是Web挖掘最关键的步骤，采用决策树、分类、聚类、粗糙集、关联规则、神经网络、遗传算法等技术，选取相应算法的参数，分析数据，得到可能形成知识的模式模型。3．评估、解释模式模型根据用户的经验对得到的模式模型进行评估分析，找到那些有意义的模型或规则，用数据检验其准确性，并把模式以易于理解的方式呈现给用户。4．巩固知识能被用户理解的有价值模式模型形成了知识，还需要对这些知识做一致性检查，解决和以前得到的知识互相冲突、矛盾的地方本文档来自技高网...

【技术保护点】
一种网络环境下的程序挖掘方法，其特征在于，包括以下步骤：１）建立本地构件目录信息库，保存网络构件库所提供构件的组织与描述信息，建立构件索引，并通过智能代理程序的通讯维护该目录信息库，为程序挖掘提供组织良好的挖掘资源；２）通过建立相应 的智能代理接受并分析用户请求，根据用户的特定需求，从构件目录信息库中检索可用构件的位置及描述信息；３）然后启动用于构件搜索的智能代理程序查询构件目录信息库，并在构件库服务器间自主移动，获取所需要的构件；４）对这些构件进行选择、取舍， 分析它们之间的调用关系；５）并进行组装和重新链接，形成完成用户计算需求的程序；６）程序校验与执行。

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：张尧学，魏子忠，许克刚，李兴，张弛，邵巍，
申请(专利权)人：清华大学，
类型：发明
国别省市：11[中国|北京]