一种超大规模GPS数据切分方法技术

本发明专利技术属于GPS空间大数据挖掘技术。本发明专利技术以1/256秒经纬差为基本单元，在WGS84坐标平面上，从坐标原点起算，沿坐标轴方向，将整个坐标平面区划为等经纬差格网，取边长等于2^16=65536个基本单元的矩形区域为原始数据切块单位，使得每一个切块内恰好包含65536*65536个基本单元网格，以此达到高存贮效率与高计算效率优化平衡，同时又使切块数量保持在计算机操作系统所允许的文件复杂度之内，并且保证了对全局范围的精确覆盖。

A Very Large Scale GPS Data Segmentation Method

【技术实现步骤摘要】
一种超大规模GPS数据切分方法
本专利技术属于超大规模GPS空间数据挖掘
，与遥感技术、抽样调查技术、地理信息系统技术、数字图像技术、超级计算技术相关。本专利技术系列所生产的数字化道路成果是北斗/GPS大规模应用的基础性数据支撑，与车辆保险、无人汽车、地图测绘、国家海洋战略、国防安全等诸多领域关系极为密切。本专利技术所指GPS，是包括中华人民共和国的北斗导航系统在内的所有全球卫星定位系统，并不是特指美国的GPS系统。
技术介绍
随着GPS移动终端的大规模普及应用，在全社会范围内迅速地累积起了超大规模的GPS数据。截止2017年中，交通部所属全国联网联控平台和全国公共货运平台，累积接收数据量远超过万亿条，范围覆盖全国所有实际可通行道路及部分国外道路，其中蕴含了丰富的与交通运输相关的信息。从GPS数据中提取道路交通信息的尝试由来已久，但大多局限于MB级，最多不超过GB级小数据量开展工作，在小数据量情况下，主要考虑的只是算法逻辑方面的问题，一旦数据量达到TB级甚至PB级，受工具软件能力的限制，同样的算法逻辑，在计算机上根本不可能被执行。这时就必须从顶层规划开始，预先将GPS大数据做合理的切分。按行政区划做数据切分，是一种最容易被想到与使用的数据切分方案，表1即是本专利技术在前期所采用的一种数据切分方法：表1全国GPS数据按行政区划切分简表省区市地市州省区市地市州省区市地市州省区市地市州安徽省安庆市海南省三亚市江苏省常州市陕西省安康市安徽省蚌埠市河北省保定市江苏省淮阴市陕西省宝鸡市安徽省巢湖市河北省沧州市江苏省连云港市陕西省汉中市安徽省滁州市河北省承德市江苏省南通市陕西省商州市安徽省阜阳市河北省邯郸市江苏省苏州市陕西省铜川市安徽省贵池市河北省衡水市江苏省宿迁市陕西省渭南市安徽省淮北市河北省廊坊市江苏省泰州市陕西省咸阳市安徽省淮南市河北省秦皇岛市江苏省无锡市陕西省榆林市安徽省黄山市河北省唐山市江苏省徐州市四川省巴中市安徽省六安市河北省邢台市江苏省盐城市四川省达川市安徽省马鞍山市河北省张家口市江苏省扬州市四川省德阳市安徽省宿州市河南省安阳市江苏省镇江市四川省广安县安徽省铜陵市河南省鹤壁市江西省赣州市四川省广元市安徽省芜湖市河南省焦作市江西省吉安市四川省华蓥市安徽省宣州市河南省开封市江西省景德镇市四川省康定县福建省龙岩市河南省洛阳市江西省九江市四川省乐山市福建省南平市河南省漯河市江西省临川市四川省泸州市福建省宁德市河南省南阳市江西省萍乡市四川省马尔康县福建省莆田市河南省平顶山市江西省上饶市四川省绵阳市福建省泉州市河南省濮阳市江西省新余市四川省内江市福建省三明市河南省三门峡市江西省宜春市四川省南充市福建省厦门市河南省商丘市江西省鹰潭市四川省攀枝花市福建省漳州市河南省新乡市辽宁省鞍山市四川省遂宁市甘肃省白银市河南省信阳市辽宁省本溪市四川省西昌市甘肃省成县河南省许昌市辽宁省朝阳市四川省雅安市甘肃省定西县河南省周口市辽宁省大连市四川省宜宾市甘肃省合作镇河南省驻马店市辽宁省丹东市四川省自贡市甘肃省嘉峪关市黑龙江大庆市辽宁省抚顺市台湾省高雄市甘肃省金昌市黑龙江鹤岗市辽宁省阜新市台湾省基隆市甘肃省酒泉市黑龙江黑河市辽宁省锦州市台湾省台南市甘肃省临夏市黑龙江鸡西市辽宁省辽阳市台湾省台中市甘肃省平凉市黑龙江佳木斯市辽宁省盘锦市西藏昌都县甘肃省天水市黑龙江牡丹江市辽宁省祁家镇西藏林芝县甘肃省武威市黑龙江七台河市辽宁省铁岭市西藏那曲县甘肃省西峰市黑龙江齐齐哈尔市辽宁省营口市西藏乃东县甘肃省张掖市黑龙江双鸭山市内蒙古阿拉善左旗西藏日喀则市广东省潮州市黑龙江绥化市内蒙古包头市新疆阿克苏市广东省东莞市黑龙江伊春市内蒙古赤峰市新疆阿勒泰市广东省佛山市湖北省鄂州市内蒙古东胜市新疆阿图什市广东省河源市湖北省恩施市内蒙古海拉尔市新疆博乐市广东省惠州市湖北省黄冈市内蒙古集宁市新疆昌吉市广东省江门市湖北省黄石市内蒙古加格达奇新疆哈密市广东省揭阳市湖北省荆门市内蒙古临河市新疆和田市广东省茂名市湖北省荆州市内蒙古通辽市新疆喀什市广东省梅州市湖北省十堰市内蒙古乌海市新疆克拉玛依市广东省清远市湖北省咸宁市内蒙古乌兰浩特市新疆库尔勒市广东省汕头市湖北省襄樊市内蒙古锡林浩特市新疆塔城市广东省汕尾市湖北省孝感市宁夏石咀山市新疆吐鲁番市广东省韶关市湖北省宜昌市宁夏吴忠市新疆伊宁市广东省深圳市湖南省常德市青海省德令哈市云南省保山市广东省阳江市湖南省郴州市青海省共和县云南省楚雄市广东省云浮市湖南省衡阳市青海省海晏县云南省大理市广东省湛江市湖南省怀化市青海省玛沁县云南省东川市广东省湛江市湖南省吉首市青海省平安县云南省红河哈尼族彝族自治州广东省肇庆市湖南省娄底市青海省同仁县云南省丽江纳西族自治县广东省中山市湖南省邵阳市青海省玉树县云南省临沧地区广东省珠海市湖南省湘潭市山东省滨州市云南省泸水县广西百色市湖南省益阳市山东省德州市云南省潞西市广西防城港市湖南省永州市山东省东营市云南省怒江傈僳族自治州广西贵港市湖南省岳阳市山东省荷泽市云南省曲靖市广西桂林市湖南省张家界市山东省济宁市云南省思茅地区广西河池市湖南省株洲市山东省莱芜市云南省文山壮族苗族自治州广西柳州市吉林省白城市山东省聊城市云南省西双版纳傣族自治州广西钦州市吉林省白山市山东省临沂市云南省玉溪市广西梧州市吉林省冯家屯山东省青岛市云南省昭通市广西玉林市吉林省吉林市山东省泰安市云南省中甸县贵州省安顺市吉林省辽源市山东省威海市浙江省湖州市贵州省毕节市吉林省四平市山东省潍坊市浙江省嘉兴市贵州省都匀市吉林省松原市山东省烟台市浙江省金华市贵州省凯里市吉林省铁东山东省枣庄市浙江省宁波市贵州省六盘水市吉林省通化市山东省淄博市浙江省衢州市贵州省铜仁市吉林省新吉林山西省长治市浙江省绍兴市贵州省兴义市吉林省延吉市山西省大同市浙江省绍兴县贵州省遵义市山西省晋城市浙江省台州市山西省朔州市浙江省温州市山西省忻州市重庆市涪陵市山西省阳泉市重庆市黔江土家族苗族自治县山西省榆次市重庆市万县市山西省运城市按行政区划切分，存在若干重要的缺陷，首先，行政区划法依赖于第三方的行政区划矢量数据，其次，不同行政区域内道路密度差别巨大，导致数据量相差悬殊，第三，行政区形状不规则，数据即无法高效压缩，也无法高效地进行后续计算处理，第四，交界处数据判定算法实现困难。经过反复试验，本专利技术发现，在选定1/256秒经纬差为基本单元，取921600为整化系数，将浮点经纬度转换为整数经纬度之后，在WGS84坐标平面上，从坐标原点起算，沿坐标方向取256″×256″等经纬差区域是一个非常合适的GPS数据切分方法。优越性表现为，首先，计算简便，经纬度整数化后，在计算机中变成了一个四字节整数，直接取经纬度的高位字，即得到所在列号和行号，连最基本的整除运算都被省去。其次，由于一个数据分块中恰好包含了65536*65536个基本单元网格，为后续高存贮效率、高计算效率算法的实现带了巨大的便利，特别适宜于用矩阵编程方法，实现对原始数据量远大于2G的数据块的处理。第三，不依赖额外的矢量数据。第四，能实现对全国范围的精确覆盖。
技术实现思路
在WGS84坐标平台上，从坐标原点起算，以1/256秒经纬差为基本单元，取921,600为经纬度坐标整化系数，将浮点型经纬度乘以921,600取整后，作为经纬度整数型本文档来自技高网...

【技术保护点】
1.取1/256经纬差秒为基本长度，将浮点型经纬度乘以921600后转换为整数型纬度，在WGS84坐标平面上，从坐标原点起算，沿坐标轴方向取256″×256″等经纬差区域为GPS 原始数据的切分单位，称为一个BLACK，每一个BLACK 中恰好包含65536*65536个基本单元网格，这种大小的BLACK兼顾高数据存贮效率与高计算效率。

【技术特征摘要】
1.取1/256经纬差秒为基本长度，将浮点型经纬度乘以921600后转换为整数型纬度，在WGS84坐标平面上，从坐标原点起算，沿坐标轴方向取256″×256″等经纬差区域为GPS原始数据的切分单位，称为一个BLACK，每一个BLACK中恰好包含65536*65536个基本...

【专利技术属性】
技术研发人员：周科松，
申请(专利权)人：周明儒，
类型：发明
国别省市：湖南,43