一种海事多模态数据的获取及更新方法技术

技术编号:43472048 阅读:19 留言:0更新日期:2024-11-27 13:10
本发明专利技术提供一种海事多模态数据的获取及更新方法,包括:获取海事多模态船舶数据、港口数据、新闻数据;根据获取的海事多模态船舶数据,基于船舶首字母,更新多模态船舶数据;根据获取的港口数据,更新多模态港口数据;根据获取的新闻数据,更新多模态新闻数据。本发明专利技术采取Redis分块存储海事多模态数据,基于Redis分块读写的速度比较快,能够筛选重复的数据,保证数据的唯一性和获取数据的效率。可以传入动态数据作为参数,及时更新,保证数据的实时性。在新增文件中使用,防止第一次获取数据时没有全部获取到,保证数据的完整性。在第一次获取船舶、港口图片等非结构化数据时,通过遍历已经存储的船舶、港口标识数据,获取图片,保证数据的一致性。

【技术实现步骤摘要】

本专利技术涉及海事数据的获取和更新,具体而言,尤其涉及一种海事多模态数据的获取及更新方法


技术介绍

1、requests是python中的一个流行的http库,简化了发送http请求和处理响应的过程。它的出现使得在python中进行网络数据的获取变得更加容易和便捷。

2、随着数据挖掘和机器学习技术的发展,大量的数据被认为是宝贵的资源,因此对于获取数据的需求进一步增加。python技术为数据挖掘和机器学习提供了丰富的数据来源。

3、随着互联网的发展,网络上的信息量呈指数级增长,人们对获取特定数据的需求也越来越大。传统的手动方式已经无法满足日益增长的数据需求,因此自动化的网络数据获取技术变得尤为重要。

4、scrapy提供了一个强大而灵活的框架。在scrapy出现之前,虽然也有其他的工具和库,但它们可能在性能、功能感易用性方面存在一些不足。scrapy的出现填补了这一空白,提供了一个全面而高效的获取数据解决方案。它使用了twisted异步网络框架,这使得它可以高效地发送和处理大量的网络请求,从而实现了高并发和高效率的网页数本文档来自技高网...

【技术保护点】

1.一种海事多模态数据的获取及更新方法,其特征在于,包括:

2.根据权利要求1所述的一种海事多模态数据的获取及更新方法,其特征在于,所述获取海事多模态船舶数据、港口数据、新闻数据,具体包括:

3.根据权利要求1所述的一种海事多模态数据的获取及更新方法,其特征在于,所述根据获取的海事多模态船舶数据,基于船舶首字母,更新多模态船舶数据,具体包括:

4.根据权利要求1所述的一种海事多模态数据的获取及更新方法,其特征在于,所述根据获取的港口数据,更新多模态港口数据,具体包括:

5.根据权利要求1所述的一种海事多模态数据的获取及更新方法,其特征在于,...

【技术特征摘要】

1.一种海事多模态数据的获取及更新方法,其特征在于,包括:

2.根据权利要求1所述的一种海事多模态数据的获取及更新方法,其特征在于,所述获取海事多模态船舶数据、港口数据、新闻数据,具体包括:

3.根据权利要求1所述的一种海事多模态数据的获取及更新方法,其特征在于,所述根据获取的海事多模态船舶数据,基...

【专利技术属性】
技术研发人员:张俊臧兴东王怀毅周新
申请(专利权)人:大连海事大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1