一种计算机物联网数据处理系统技术方案

本发明专利技术提出了一种计算机物联网数据处理系统，包括数据采集模块、数据处理模块、数据存储模块、信息优化模块及物流配送模块，能够从多个异构系统中实时采集物流数据以实时或批处理方式高效地处理数据，提高货物的依次投送能力，降低货物在中间节点的转发次数，提高货物的运输效率，克服了复杂事件管理不及时等困难。

【技术实现步骤摘要】
一种计算机物联网数据处理系统
本专利技术属于计算机物联网领域，具体涉及一种计算机物联网数据处理系统。
技术介绍
计算机物联网正导致物流行业思考模式的转变。物流服务供应商使用GPS或遥测等传感器技术来跟踪和管理他们的货物过程，传感器有助于标记和连接工厂、轮船和机器等，在此过程中，还通过使用外部数据，这些数据包含有关事件的关键信息，如信息交通事故和自然灾害，将来自不同传感器和社交媒体的数据关联起来并实时进行分析，提供交付延迟的预测事件和预防意外。“事物”的连接性通过Internet实现设备之间的即时通信，这个高度连接的生态系统对物流运营商、其业务客户和最终客户的收益均具有深远的影响。物联网生态系统的主要优势之一它能将后勤传感器与外部传感器，如天气传感器和交通(GPS)传感器等信息交汇融合，物联网还能够与社交媒体连接，如提供重要交通、事故、天气、自然灾害等事件的信息。然而，由于数据的多样性和收集速度的不同，导致从不同来源收集和处理数据的准确性和速度性也大不相同，同时，实时处理数据的工作量很大，传统的物流信息系统无法解决这一问题。另一方面，尽管预测分析以预测装运延误或规定分析以优化路线均能够在规定时间内提高交付速度进而提高客户满意度，但延迟交货仍然是一个悬而未决的问题，及时交货是物流公司面临的巨大挑战，因为有时延误是由任何人无法控制的因素所造成的。延迟交货会带来各种影响，如客户流失或订单取消进而造成巨大的损失。因此，及时交货对物流公司至关重要。近年来，物流企业开始着手调查如何利用数据预测延迟，尤其是，在大数据技术方面，物流供应商正在关注大量使用事故、交通拥挤等事件流源于外部资源，如社交媒体实时分析和预测延迟。实时预测延迟使公司能够采取行动，如优化实时飞行路线。现有的解决方案是建立在经典的数据处理技术之上的，因此，传统的物流信息系统无法实时处理传感器或社交媒体数据，因为这些数据以高速状态流动，另外传统的数据处理方法无法处理无模式数据，如文本。现有的数据处理方法(例如，技术或算法)没有足够的效率来实时处理数据。考虑到对数据源的评估，大多数现有解决方案仅限于一个数据源。另外，对于实时系统持续改进，现有技术使用的是静态历史数据集进行测试，而显然，仅依靠历史数据已经不能满足当今的物流需求。基于此，本专利技术提出了一种批处理和实时处理海量数据的混合框架，该框架建立在归类算法的基础上，能够从多个异构系统中实时采集物流数据传以实时或批处理方式高效地处理数据。本专利技术专注于开发一种混合解决方案，使实时数据能够得到批量处理，使物流服务成为可能，迫切需要计算机加工提供程序以实时执行分析。
技术实现思路
本专利技术提出了一种计算机物联网数据处理系统，建立在归类算法的基础上，能够从多个异构系统中采集物流数据以实时高效地处理数据。一种计算机物联网数据处理系统，包括数据采集模块、数据处理模块、数据存储模块、信息优化模块及物流配送模块，所述数据处理模块包括批数据处理设备和实时数据处理模块，批数据处理设备用于读取/提取存储数据并进行数据准备，批数据处理设备包括数据准备阶段和数据处理阶段，所述数据准备阶段包括数据提取、数据清理、数据过滤、数据集成和数据存储，所述数据处理阶段将准备充分的数据进行归类处理，所述批数据处理设备通过无线/有线网络将数据直接发送到实时数据处理模块，信息优化模块对物流进行线路优化，并将优化线路通过无线/有线数据传输给物流配送模块，批数据处理设备将来自多个数据传感器及物流应用的物流数据进行批处理。进一步地，数据提取器从云服务器上抓取特定网站中所链接的网页，并从已爬取来的网页中提取链接，提取的链接数据信息分别存储在数据存储模块中，同时，数据提取器包括网页预处理模块和查询模块，网页预处理模块将分析抓取来的网页，建立索引、计算网页的等级；查询模块提供用户搜索界面，用户输入搜索词，并根据用户的查询向用户返回查询结果所述数据过滤是对网页进行去噪，过滤掉一些脚本标识符和无用的信息，并将每个页面中有用的文本保存下来，进行分词、去噪、排序，提取出网页的关键字，根据网页抓取模块中提取到的网页间的链接关系，根据PageRank排序算法思想，获取基于网页的链接关系计算得出的网页PR值；再利用空间向量模型计算物流相关信息与相关网页关键字的相似度权重，并且增加用户历史搜索与搜索关键字的权重，最后通过算法重新计算有链接关系的网页间的贡献值，并获得等级排名，并由此作为物流服务的重要参考依据。进一步地，数据过滤包括如下步骤：(1)分析需要排序的网页链接集合Setweb中链接指向关系，确定每个网页的链出链入情况；(2)从Setweb中每个网页的页面内容中提取关键词，生成网页的关键词集合Sweb_keywords＝{V1,V2,V3,…,Vi}；(3)计算Setweb中每个网页对应的的关键词和K的相似度，得到关键词相关度因子集合W(u)；(4)根据ID找到该用户对应的物流、交通、天气、地理位置等关键词列表Sh_web_keywords；(5)计算Setweb中每个网页对应的关键词和Sh_web_keywords的距离d，得到影响因子H(u)；(6)对每个网页，都有三个因子，根据公式GR＝(1-d)+d[∑PR(v)(α/Nv+β·W(u)+γ·H(u))]；计算每个网页的综合得分，得到最终的网页排名GR；其中α，β，γ分别代表的是链接、主题相关度因子以及用户因子在PR值分配中的权重。进一步地，数据提取包括用于收集各种结构化和非结构化数据信息来源，以获得完整的以及对感兴趣区域的准确描述并将多源异构数据进行标准化处理。进一步地，网页的抓取是利用Heritrix开源爬虫程序进行的，在它现有的开源的代码上，用户可扩展其各个组件以实现自己的抓取逻辑，并从网络中获取所需的资源。进一步地，所述数据采集模块采集多源异构数据，多源异构数据包括数据传感器的信息和物流应用的信息，所述数据传感器包括车辆传感器、天气传感器；物流应用包括微博、社交媒体。进一步地，数据清理是检测纠正或移除损坏或不准确的记录集、表。进一步地，执行数据集成分两个步骤：第一步，数据被转换从源到目标序列化格式；第二步是合并转换的数据。进一步地，所述实时数据处理模块对数据项进行分组或分段，将目标函数生成一个聚集的数据集，在预测交货延迟时进行有效的分析。进一步地，信息优化模块用于构建高吞吐量的持久性数据和可靠交付的收集系统的信息，进而对物流线路进行主题集合，分为一个或多个线性有序的消息序列，其中每个消息都按其索引被标识。原始PageRank算法仅考虑网页的链入和链出关系，并没有分析网页内容是否与用户搜索的主题一致或者类似，虽然能抓取到高质量的网页，但是也会抓取到与查询主题无关或者相似度很低的网页，即存在主题漂移的问题，而本专利技术通过引入链接、主题相关度因子以及用户因子的权重比例，通过每一项权重的分配，得到更加符合实际需要的排序，为物流提供有效信息。实时数据处理模块实时执行事件的集群并获取对已处理本文档来自技高网...

【技术保护点】
1.一种计算机物联网数据处理系统，其特征在于，包括数据采集模块、数据处理模块、数据存储模块、信息优化模块及物流配送模块，所述数据处理模块包括批数据处理设备和实时数据处理模块，批数据处理设备用于读取/提取存储数据并进行数据准备，批数据处理设备包括数据准备阶段和数据处理阶段，所述数据准备阶段包括数据提取、数据清理、数据过滤、数据集成和数据存储，所述数据处理阶段将准备充分的数据进行归类处理，所述批数据处理设备通过无线/有线网络将数据直接发送到实时数据处理模块，信息优化模块对物流进行物流线路优化，并将优化线路通过无线/有线数据传输给物流配送模块。/n

【技术特征摘要】
1.一种计算机物联网数据处理系统，其特征在于，包括数据采集模块、数据处理模块、数据存储模块、信息优化模块及物流配送模块，所述数据处理模块包括批数据处理设备和实时数据处理模块，批数据处理设备用于读取/提取存储数据并进行数据准备，批数据处理设备包括数据准备阶段和数据处理阶段，所述数据准备阶段包括数据提取、数据清理、数据过滤、数据集成和数据存储，所述数据处理阶段将准备充分的数据进行归类处理，所述批数据处理设备通过无线/有线网络将数据直接发送到实时数据处理模块，信息优化模块对物流进行物流线路优化，并将优化线路通过无线/有线数据传输给物流配送模块。


2.如权利要求1所述的一种计算机物联网数据处理系统，其特征在于，数据提取器从云服务器上抓取特定网站中所链接的网页，并从已爬取来的网页中提取链接，提取的链接数据信息分别存储在数据存储模块中，同时，数据提取器包括网页预处理模块和查询模块，网页预处理模块将分析抓取来的网页，建立索引、计算网页的等级；查询模块提供用户搜索界面，用户输入搜索词，并根据用户的查询向用户返回查询结果所述数据过滤是对网页进行去噪，过滤掉一些脚本标识符和无用的信息，并将每个页面中有用的文本保存下来，进行分词、去噪、排序，提取出网页的关键字，根据网页抓取模块中提取到的网页间的链接关系，根据PageRank排序算法思想，获取基于网页的链接关系计算得出的网页PR值；再利用空间向量模型计算物流相关信息与相关网页关键字的相似度权重，并且增加用户历史搜索与搜索关键字的权重，最后通过算法重新计算有链接关系的网页间的贡献值，并获得等级排名，并由此作为物流服务的重要参考依据。


3.如权利要求2所述的一种计算机物联网数据处理系统，其特征在于，数据过滤包括如下步骤：
(1)分析需要排序的网页链接集合Setweb中链接指向关系，确定每个网页的链出链入情况；
(2)从Setweb中每个网页的页面内容中提取关键词，生成网页的关键词集合Sweb_keywords＝{V1,V2,V3,…,Vi}；
(3)计算Setweb中每个网页对应的的关键词和K的相似度，得到...

【专利技术属性】
技术研发人员：刘巍巍，
申请(专利权)人：沈阳体育学院，
类型：发明
国别省市：辽宁;21