【技术实现步骤摘要】
一种计算机物联网数据处理系统
本专利技术属于计算机物联网领域，具体涉及一种计算机物联网数据处理系统。
技术介绍
计算机物联网正导致物流行业思考模式的转变。物流服务供应商使用GPS或遥测等传感器技术来跟踪和管理他们的货物过程，传感器有助于标记和连接工厂、轮船和机器等，在此过程中，还通过使用外部数据，这些数据包含有关事件的关键信息，如信息交通事故和自然灾害，将来自不同传感器和社交媒体的数据关联起来并实时进行分析，提供交付延迟的预测事件和预防意外。“事物”的连接性通过Internet实现设备之间的即时通信，这个高度连接的生态系统对物流运营商、其业务客户和最终客户的收益均具有深远的影响。物联网生态系统的主要优势之一它能将后勤传感器与外部传感器，如天气传感器和交通(GPS)传感器等信息交汇融合，物联网还能够与社交媒体连接，如提供重要交通、事故、天气、自然灾害等事件的信息。然而，由于数据的多样性和收集速度的不同，导致从不同来源收集和处理数据的准确性和速度性也大不相同，同时，实时处理数据的工作量很大，传统的物流信息系统无法解决这一...
【技术保护点】
1.一种计算机物联网数据处理系统，其特征在于，包括数据采集模块、数据处理模块、数据存储模块、信息优化模块及物流配送模块，所述数据处理模块包括批数据处理设备和实时数据处理模块，批数据处理设备用于读取/提取存储数据并进行数据准备，批数据处理设备包括数据准备阶段和数据处理阶段，所述数据准备阶段包括数据提取、数据清理、数据过滤、数据集成和数据存储，所述数据处理阶段将准备充分的数据进行归类处理，所述批数据处理设备通过无线/有线网络将数据直接发送到实时数据处理模块，信息优化模块对物流进行物流线路优化，并将优化线路通过无线/有线数据传输给物流配送模块。/n
【技术特征摘要】
1.一种计算机物联网数据处理系统，其特征在于，包括数据采集模块、数据处理模块、数据存储模块、信息优化模块及物流配送模块，所述数据处理模块包括批数据处理设备和实时数据处理模块，批数据处理设备用于读取/提取存储数据并进行数据准备，批数据处理设备包括数据准备阶段和数据处理阶段，所述数据准备阶段包括数据提取、数据清理、数据过滤、数据集成和数据存储，所述数据处理阶段将准备充分的数据进行归类处理，所述批数据处理设备通过无线/有线网络将数据直接发送到实时数据处理模块，信息优化模块对物流进行物流线路优化，并将优化线路通过无线/有线数据传输给物流配送模块。
2.如权利要求1所述的一种计算机物联网数据处理系统，其特征在于，数据提取器从云服务器上抓取特定网站中所链接的网页，并从已爬取来的网页中提取链接，提取的链接数据信息分别存储在数据存储模块中，同时，数据提取器包括网页预处理模块和查询模块，网页预处理模块将分析抓取来的网页，建立索引、计算网页的等级；查询模块提供用户搜索界面，用户输入搜索词，并根据用户的查询向用户返回查询结果所述数据过滤是对网页进行去噪，过滤掉一些脚本标识符和无用的信息，并将每个页面中有用的文本保存下来，进行分词、去噪、排序，提取出网页的关键字，根据网页抓取模块中提取到的网页间的链接关系，根据PageRank排序算法思想，获取基于网页的链接关系计算得出的网页PR值；再利用空间向量模型计算物流相关信息与相关网页关键字的相似度权重，并且增加用户历史搜索与搜索关键字的权重，最后通过算法重新计算有链接关系的网页间的贡献值，并获得等级排名，并由此作为物流服务的重要参考依据。
3.如权利要求2所述的一种计算机物联网数据处理系统，其特征在于，数据过滤包括如下步骤：
(1)分析需要排序的网页链接集合Setweb中链接指向关系，确定每个网页的链出链入情况；
(2)从Setweb中每个网页的页面内容中提取关键词，生成网页的关键词集合Sweb_keywords＝{V1,V2,V3,…,Vi}；
(3)计算Setweb中每个网页对应的的关键词和K的相似度，得到...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。