【技术实现步骤摘要】
本专利技术涉及物联网，具体涉及一种物联网移动设备位置数据的存储方法、设备及存储介质。
技术介绍
1、在当今数字化时代，物联网(iot)已经成为人们生活中不可或缺的一部分。物联网移动设备的数量繁多，从智能手机到可穿戴设备，从智能家居到智能城市的各个角落，无处不在。这些移动设备通过无线网络相互连接，为我们提供了便利和智能化的生活体验。
2、随着物联网移动设备的快速发展，我们的位置和路径记录变得越来越复杂。移动设备不仅能够获取我们的当前位置，还能跟踪我们的移动轨迹。每个人都可以通过智能手机或其他可穿戴设备记录自己的行动轨迹，这些数据被用于导航、健康监控、社交媒体等各种应用。
3、然而，由于移动设备的多样性和数量的增加，位置和路径记录的复杂性也随之增加。不同的移动设备使用不同的定位技术，如全球定位系统(gps)、wi-fi定位、蓝牙定位等，这些技术有着各自的优势和限制。例如，在室内环境中，gps信号可能不稳定，而wi-fi定位和蓝牙定位则更为准确。因此，设备可能会根据环境的不同选择不同的定位方法。
4、此外，物联网移动设备的数量庞大，每个人可能同时拥有多个设备，如智能手机、智能手表、智能眼镜等。这些设备在不同的时间和地点使用，记录的位置和路径数据也会相应增加。管理和整合这些数据变得十分复杂，需要强大的数据处理和分析能力。
5、尽管面临许多挑战，物联网移动设备的位置和路径记录也带来了许多机遇。这些数据可以帮助城市规划者优化交通流量，改善公共交通系统；医疗机构可以利用这些数据提供个性化的健康服
6、总之，物联网移动设备的繁多性和移动设备位置路径记录的复杂性是当今数字化时代的一个显著特征。面对巨量的移动物联设备带来的位置数据信息，数据的计算、压缩存储是一个很大的挑战。
7、当前技术现状面临的挑战如下：
8、低延时响应管理：面对海量数据既要快速计算压缩，也需要快速响应外部查询。
9、可靠性：面对海量数据需要长时间稳定处理不出错。
10、系统可扩展性：需要一种机制能够动态适应不断增长的设备规模。
11、存储容量挑战：物联设备无时无刻不在的产生位置数据，大量位置数据的聚合对存储容量构成极大的挑战。
技术实现思路
1、本专利技术提出的一种物联网移动设备位置数据的存储方法、设备及存储介质，可至少解决
技术介绍
中的技术问题之一。
2、为实现上述目的，本专利技术采用了以下技术方案：
3、包括客户端从kakfa队列中消费新的位置数据，客户端将数据发送给服务端，服务端执行数据压缩过程，即压缩位置数据，并将压缩后的数据保存在服务端的内存数据结构中；还包括外部应用通过sql接口查询服务端上存储的数据，服务端位置数据超过了预设的阈值，将旧的位置数据溢出后输出到kafka中存储，减少服务端内存中数据的占用。
4、进一步地，数据压缩过程包括，
5、判断新数据是否是最新的位置数据；
6、判断新数据是否是已有路径中间的一个位置；
7、判断新数据是否是路径中最早的一个位置；
8、判断新数据与路径中上下两个位置是否发生了位置偏移。
9、进一步地，还包括以下步骤，
10、s1、接收端程序基于linux系统，使用c++语言开发的处理器可执行程序接收物联网位置数据，支持各种网络协议；数据接收程序应具备错误处理和容错机制；数据接收程序应具备可扩展性；
11、s2、使用消息队列技术，对接收到的消息进行缓存；
12、获取位置数据的数据标识；将所属数据标识进行哈希运算；
13、将哈希运算的结果对所属缓冲队列的数量取模得到的队列id；根据队列id得到相应的缓冲队列；将接收的数据存放到缓冲队列中；
14、s3、读取缓冲队列中的数据，对待压缩的位置数据进行预处理；
15、s4、设置系统中数据的保存量，同时使用相似位置去重技术；
16、s5、使用内存分布式数据库，确保状态信息的可靠性和高可用性；
17、s6、将被压缩地位置数据写入到消息队列中，将数据持久化地保存起来。
18、进一步地，所述s3、读取缓冲队列中的数据，对待压缩的位置数据进行预处理，包括数据清洗、去噪、坐标变换；
19、数据清洗：对于经纬度数据，首先需要进行数据清洗；这包括去除无效或错误的数据；
20、将位置信息中的经纬度数据转换为适合处理的十进制度表示法dd格式；
21、将位置经纬度数据使用geohash算法进行编码。
22、进一步地，s4、设置系统中数据的保存量，同时使用相似位置去重技术，包括，
23、s41、判断新接收的数据的时间点是否比之前的位置数据更新，如果是更新的位置数据，则将新位置与原有最新位置进行位置相似比较，如果不是相似位置则加入到设备的位置集合中；
24、s42、如果不是最新时间点的数据，那么就将接收的数据与系统中位置集合中的数据时间进行比较；找到相邻两个时间点的数据，将接收的数据与相邻的两个数据进行位置相似比较，如果都不相似，则将接收的数据也加入到位置集合中；如果与其中一个时间点的数据相似，那么就将接收的数据丢弃掉；
25、s43、如果新接收的数据比原有集合中所有的数据时间点都小，那么就将接收的数据与集合中时间点最小的数据进行位置相似比较，如果不是相似的则将接收的数据加入到位置集合中，否则将接收的数据丢弃掉；
26、s44、将接收的数据加入到新集合中后，需要判断当前集合中的元素个数是否已经超过预先设置的阈值，如果超过了就需要把集合中时间点最久的数据从集合中提出掉。
27、进一步地，还包括位置数据相似判断算法：
28、如果两个位置的getohash编码值一致则认为两个位置是相似的；
29、如果geohash不一致，则进行如下操作：
30、c)将经度、纬度值分别*1000000；
31、d)比较经度、纬度的差值，如果他们的差值的绝对值之和小于7则表示两个位置数据相似；否则表示两个位置数据不相似；
32、即相似值为：
33、val＝|(lng1*1000000-lng2*1000000)|+|(lat1*1000000-lat2*1000000)|；
34、如果val<7则表示相似，如果val>＝7则表示位置不相似。
35、进一步地，s5、使用内存分布式数据库，具体包括，
36、s51、内存分布式数据库将位置数据存储在内存中，加速数据写入的同时加速数据读取；
37、s52、内存分布式数据库支持动态扩展内存节点，线性增加系统可以存储的位置数据容量；
【技术保护点】
1.一种物联网移动设备位置数据的存储方法，其特征在于，包括客户端从kakfa队列中消费新的位置数据，客户端将数据发送给服务端，服务端执行数据压缩过程，即压缩位置数据，并将压缩后的数据保存在服务端的内存数据结构中；还包括外部应用通过SQL接口查询服务端上存储的数据，服务端位置数据超过了预设的阈值，将旧的位置数据溢出后输出到Kafka中存储，减少服务端内存中数据的占用。
2.根据权利要求1所述的物联网移动设备位置数据的存储方法，其特征在于：数据压缩过程包括，
3.根据权利要求1或2所述的物联网移动设备位置数据的存储方法，其特征在于：包括以下步骤，
4.根据权利要求3所述的物联网移动设备位置数据的存储方法，其特征在于：所述S3、读取缓冲队列中的数据，对待压缩的位置数据进行预处理，包括数据清洗、去噪、坐标变换；
5.根据权利要求3所述的物联网移动设备位置数据的存储方法，其特征在于：S4、设置系统中数据的保存量，同时使用相似位置去重技术，包括，
6.根据权利要求5所述的物联网移动设备位置数据的存储方法，其特征在于：还包括位置数据相
7.根据权利要求3所述的物联网移动设备位置数据的存储方法，其特征在于：S5、使用内存分布式数据库，具体包括，
8.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
...【技术特征摘要】
1.一种物联网移动设备位置数据的存储方法，其特征在于，包括客户端从kakfa队列中消费新的位置数据，客户端将数据发送给服务端，服务端执行数据压缩过程，即压缩位置数据，并将压缩后的数据保存在服务端的内存数据结构中；还包括外部应用通过sql接口查询服务端上存储的数据，服务端位置数据超过了预设的阈值，将旧的位置数据溢出后输出到kafka中存储，减少服务端内存中数据的占用。
2.根据权利要求1所述的物联网移动设备位置数据的存储方法，其特征在于：数据压缩过程包括，
3.根据权利要求1或2所述的物联网移动设备位置数据的存储方法，其特征在于：包括以下步骤，
4.根据权利要求3所述的物联网移动设备位置数据的存储方法，其特征在于：所述s3、读取缓冲队列中的数据，对待压缩的位置数据进行预处理，包括数据...
【专利技术属性】
技术研发人员：明正莹，张文平，李晓玲，薛蛟龙，阳立堂，
申请(专利权)人：敏博科技武汉有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。