一种位置轨迹大数据高效存储方法技术

本发明专利技术公开了一种位置轨迹大数据高效存储方法，包括位置存储流程和位置还原过程，具体步骤是：位置序列编码：将位置采集点的“位置序列标号”代表传统位置数据；时间序列编码：将时间戳值“序列化”成一个表示时间段的序列标号；通过位图拼凑算法结合位置和时间序列标号，将二维信息编码到一维；通过反算算法，将一维信息解码成二维信息；在位置轨迹由限定点位置提供时，可以极大的节省存储空间；采用位图拼凑数值，正反计算过程都比较简洁；可以根据位置节点和时间粒度进行随时的调节；基于位图拼凑的数值在进行连续时间位置相同的计算时(也就是数据进一步压缩时)，非常简单；只需要找连续递增的数值就可以，符合非编码情况下的使用习惯。

A high efficient storage method for location trajectory large data

The invention discloses a data storage method, location tracking, including location and location of flow reduction process, the specific steps are: Location: location acquisition point sequence encoding \position sequence label\ on behalf of the traditional position data; time sequence encoding: timestamp value \serialization\ into a representation of time sequential labeling; by piecing together the bitmap algorithm combined with position and time sequence labeling, two-dimensional information encoding to a one-dimensional inverse; through the algorithm, the one-dimensional information is decoded into two-dimensional information; in the tracking position provided by the limit of fixed position, can greatly save storage space; using bitmap together numerical calculation process is relatively simple and can be; at any time adjust according to the position of nodes and time granularity; numerical calculation in bitmap together the same location based on continuous time When the data is further compressed, it is very simple; it is only necessary to find a continuous increasing number, which is consistent with the use of non coding usage.

【技术实现步骤摘要】
一种位置轨迹大数据高效存储方法
本专利技术涉及一种位置轨迹大数据高效存储方法，特别是是基于指定标记物的物体运动位置轨迹的记录存储，可以至少节省1/3以上的存储空间。
技术介绍
当下WiFi已经成为生活中的必需品，Beacon设备在商业场所中也越来越多。类似商场和校园等部署有WiFi热点或者Beacon设备的场所内，处于实时人流热力情况获取，以及热门轨迹线路探寻等商业数据的获取需要，一般都会开启进行WiFi终端(或者Beacon终端)的位置定位，轨迹记录和回溯功能，此时就需要将终端的位置数据实时的记录下来。在一个大型的网络中，该种类数据将非常的庞大，特别是在开启WiFi嗅探(即无需接入WiFi也可以探知用户MAC的功能)时，位置数据基本成指数型增长。比如有1万颗无线接入点(AP)的大学校园，平均每个AP接入5个终端，每5秒进行一次位置数据记录(时间戳一般为4字节Byte)，常规使用GPS数据(占用8个字节Byte)，每次会有50000*12Byte＝600Kbyte。每天的数据有：600K*24*60*12＝10368000K≈10GByte，如果开启嗅探，这个数据将放大10倍以上，每天达到100GByte的数量。
技术实现思路
针对
技术介绍
中存在的问题，本专利技术提供了一种位置轨迹大数据高效存储方法。为实现上述目的，本专利技术提供如下技术方案：一种位置轨迹大数据高效存储方法，包括位置存储流程和位置还原过程，具体步骤是：位置序列编码：将位置采集点的“位置序列标号”代表传统位置数据；时间序列编码：将时间戳值“序列化”成一个表示时间段的序列标号；通过位图拼凑算法结合位置和时间序列标号，将二维信息编码到一维；通过反算算法，将一维信息解码成二维信息。其中：位置序列编码和时间序列编码没有先后顺序。所述位置存储流程包括：S10：根据场景位置和时间编码位数；S20：根据存储位置和时间计算编码；S30：位置存储。所述位置还原过程包括：S40：取出位置编码；S50：根据编码反算位置和时间；S60：根据位置和时间进行具体业务计算。其中位置序列编码和时间序列编码的最大值是根据字节数确定。与现有技术相比，本专利技术的有益效果是：在位置轨迹由限定点位置提供时，可以极大的节省存储空间；采用位图拼凑数值，正反计算过程都比较简洁；可以根据位置节点和时间粒度进行随时的调节；基于位图拼凑的数值在进行连续时间位置相同的计算时(也就是数据进一步压缩时)，非常简单；只需要找连续递增的数值就可以，符合非编码情况下的使用习惯。附图说明图1是本方法的位置存储过程示意图；图2是本方法的位置数据还原过程示意图；图3是位置和时间编码的示例示意图；具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例：请参阅图1与图2，本专利技术提供一种技术方案：一种位置轨迹大数据高效存储方法，包括位置存储流程和位置还原过程，具体步骤是：位置序列编码：将位置采集点的“位置序列标号”代表传统位置数据；时间序列编码：将时间戳值“序列化”成一个表示时间段的序列标号；通过位图拼凑算法结合位置和时间序列标号，将二维信息编码到一维；通过反算算法，将一维信息解码成二维信息。前提条件：(1)根据存储空间要求确定存储的字节数(Byte)；(2)再根据字节数，确定位置序列和时间序列的最大值；比如描述以4字节(Byte)作为存储字节：编码为一个4字节有符号整数型：4294967296(2^32)。共10位。假定前5位表示位置序列(00001-42948)，后5位表示时间序列(00001-99999)；以上数为例，如果以天为单位存储数据，则最低可以1秒为一个序列点(因为每天共有86400秒)。假定前4位表示位置序列(0001-4293)；后5位表示时间序列(000001-999999)；以上数为例，如果以年为单位存储数据，则最低可以1分钟为一个序列点(因为每年共有512640秒)。实施例1将位置点进行序列化：(a)比如每一个WiFi接入点(或者beacon设备点)进行排序(一般的设备管理软件都会自带接入点序列化)，该序列话满足前提条件设置。(b)序列化方法不限于(a)中描述，只要可以满足“位置唯一性”即可。(c)例如1号位置为00001，2号位置为00002。将时间点进行序列化：(a)根据前置条件中约束，以及实际情况要求(比如最低要求5秒的时间回溯精度)进行序列化。(b)比如5秒一个点，如附图3中，T1(00001)＝0:00:01-0:00:05；T2(00002)＝0:00:06-0:00:10；T3(00003)＝0:00:11-0:00:15以此类推。根据场景大小编码计算：前5位位置编码数*100000+后五位时间编码数。根据编码原则进行解码：假定编码数值为X；位置编码：L-ID＝X；时间编码：T-ID＝X-(位置L-ID)*100000；实施例2其余与实施例1相同，不同之处在于：根据场景大小编码计算：1-18bit为时间编码，19-32bit为位置编码。根据编码原则进行解码：假定编码数值为X，位置L-ID＝X&0xFFFC0000>>18(&表示“按位与”,>>表示“右移”位运算)；时间编码T-ID＝X&0x3FFFF(&表示“按位与”)。实施例3其余与实施例1相同，不同之处在于：根据场景大小编码计算：29-32bit为编码方法(代表时间编码大小，bit0:18,bit1:19,bit2:20,bit3:21)；根据编码方法自适应调整位置和时间的编码范围。根据编码原则进行解码：假定编码数值为X；计算时间编码bit数N＝＝X&0xC0000000>>30(&表示“按位与”,>>表示“右移”位运算)；计算位置编码bit数M＝32-N；时间编码T-ID＝X&2^N(&表示“按位与”,^表示求次方操作，非位运算)；位置L-ID＝X&((2^32)|2^N)0xFFFC0000>>M(&和|表示“按位与”和“按位或”,>>表示“右移”位运算)。基于上述，本专利技术具有的优点在于：在位置轨迹由限定点位置提供时，可以极大的节省存储空间；采用位图拼凑数值，正反计算过程都比较简洁；可以根据位置节点和时间粒度进行随时的调节；基于位图拼凑的数值在进行连续时间位置相同的计算时(也就是数据进一步压缩时)，非常简单；只需要找连续递增的数值就可以，符合非编码情况下的使用习惯。以上所述仅为本专利技术的较佳实施例而已，并不用以限制本专利技术，凡在本专利技术的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
一种位置轨迹大数据高效存储方法，其特征在于：包括位置存储流程和位置还原过程，具体步骤是：位置序列编码：将位置采集点的“位置序列标号”代表传统位置数据；时间序列编码：将时间戳值“序列化”成一个表示时间段的序列标号；通过位图拼凑算法结合位置和时间序列标号，将二维信息编码到一维；通过反算算法，将一维信息解码成二维信息。

【技术特征摘要】
1.一种位置轨迹大数据高效存储方法，其特征在于：包括位置存储流程和位置还原过程，具体步骤是：位置序列编码：将位置采集点的“位置序列标号”代表传统位置数据；时间序列编码：将时间戳值“序列化”成一个表示时间段的序列标号；通过位图拼凑算法结合位置和时间序列标号，将二维信息编码到一维；通过反算算法，将一维信息解码成二维信息。2.根据权利要求1所述的一种位置轨迹大数据高效存储方法，其特征在于：位置序列编码和时间序列编码没有先后顺序。3.根据权利要求1所述的...

【专利技术属性】
技术研发人员：高凤春，包月浩，夏兵，吴彬，
申请(专利权)人：上海数烨数据科技有限公司，
类型：发明
国别省市：上海,31