入海排污口数据整编评估方法技术

本发明专利技术涉及一种入海排污口数据整编评估方法，属于数据处理领域，包括以下步骤：S1、设计排污口档案数据库；S2、将排污口的资料压缩包形成的文件实时上传至排污口档案数据库，对历史档案资料自动录入至排污口档案数据库；S3、进行多维度数据联合检索，创建新任务。本发明专利技术的优点是：解决多人协同操作、移动端数据分级缓释、精准导航定位、超大文件实时传输、批量数据高效归并输出、多源历史资料分拣入库、多维度联合检索等方面的问题。维度联合检索等方面的问题。维度联合检索等方面的问题。

【技术实现步骤摘要】
入海排污口数据整编评估方法


[0001]本专利技术涉及一种入海排污口数据整编评估方法，属于数据处理领域。

技术介绍

[0002]伴随云数据库、CDN节点加速、Elasticsearch搜索引擎等技术手段的普及，入海排污口资料产生、集成、应用的技术方法发生变革，数据资料逐步由传统的纸质资料时代进入数字资料时代。目前入海排口数据整编评估开始出现手机端输入、云上存储、PC端管理的趋势，但是当入海排污口数量突破至五千后，多人协同操作、移动端数据分级缓释、精准导航定位、超大文件实时传输、批量数据高效归并输出、多源历史资料分拣入库、多维度联合检索等方面亟需建立新的方式方法。
[0003]传统的入海排污口管理以工业排口为主，数量少，其资料以文字资料居多。随着入海排污口认识的深入以及手机、无人机等电子产品的普及，纳入管理的入海排污口种类及数量剧增，电子照片和视频资料逐渐增多，传统的纸质台账式整编评估模式已不适用于新形式下的整编评估要求。

技术实现思路

[0004]为克服现有技术的缺陷，本专利技术建立一种入海排污口数据整编评估方法，为省市级入海排污口监督管理提供了高效的解决方案。
[0005]本专利技术提供一种入海排污口数据整编评估方法，本专利技术的技术方案是：一种入海排污口数据整编评估方法，其特征在于，包括以下步骤：S1、设计排污口档案数据库；S2、将排污口的资料压缩包形成的文件实时上传至排污口档案数据库，对历史档案资料自动录入至排污口档案数据库；S3、进行多维度数据联合检索，创建新任务。
[0006]所述的步骤S1具体为：采用横向和纵向相结合的方式设计排污口档案数据表，横向数据为排污口固定属性档案表，纵向数据为排污口监测项表；入海排污口数据非归一化数据，多源数据不可能含有一致的监测项，同时存在数据库中未包含监测项的可能，该监测项表将根据数据的监测项进行增补，形成排污口监测项表；所述的排污口档案数据表包括排污口的固定档案属性内容，该固定档案属性包括排污口编码和排污口名称；所述的排污口监测项表包括排污口所有的监测项；所述监测项包括：排污口经纬度、点位位置、所属行政区划、详细地址、排放状况、污水来源、入海方式、周边环境、排污口类型、现场照片和视频以及描述、排污口状态、是否非法、是否合理、是否竖牌、是否标注路径、是否销号、排污口整治状况、污水排放量、主要污染物类型、责任主体和相应联系方式、排污口设立和撤销时间、现场感官和流量、COD、氨氮、总氮、总磷、盐度、pH、悬浮物、氯化物、六价铬、有机碳、BOD、砷、汞、铜、铅、镉、铬、锌、镍、油
类、挥发酚、粪大肠菌群数、挥发性卤代烃、行政审核状态以及备注情况。
[0007]在所述的步骤S2中，当将排污口的资料压缩包形成的文件实时上传时，具体为：2
‑
1、将多种类型文件打包成压缩文件： ；：排污口数据，：排污口压缩包，：排污口数据Excel，：排污口视频文件，：排污口图片文件；所述的压缩文件通过upload控件将本地文件上传到浏览器内存中；2
‑
2、采用slice切片的方法对内存中10M以上的文件进行切分，每次固定切分10M大小的分片，同时计算当前切出分片的顺序号以及文件切片的总个数，然后生成uuid连带分片以及分片的顺序号，通过构建的form表单进行提交到服务器；若提交失败，会每隔2秒再重新提交分片文件，若提交成功，继续下一个分片，直到所有分片提交成功；2
‑
3、使用文件提取器MutipartHttpServletRequest定向提取每次的分片文件，同时根据uuid以及分片顺序号进行校验并存储为临时文件；创建文件流，之后循环分片顺序号，并依次将分片写入缓冲区，同时设置文件流指针偏移量，然后从缓冲区中依次提取字节数据，写入创建的文件流中，同时按照字节数据长度后移文件流指针偏移量，直至所有分片数据全部按照顺序写入文件流；删除分片的临时文件，同时将合并后文件路径保存到数据库，，其中，F1：第1个切片文件，F2：第2个切片文件，F3：第3个切片文件，F4：第4个切片文件，Fn：第n个切片文件，F是切片文件的总和。
[0008]所述的步骤2
‑
1中，将图片以及视频存储到服务器物理硬盘，然后联合图片视频的路径将提报的数据转换成排污口档案资料实体，根据实体中数据，循环检索排污口监测项表获取相应监测项ID，最后将实体中数据与监测项ID对应存储入库。
[0009]所述的步骤S3具体为：3
‑
1、以关键信息查询所有排污口集合，只保留排污口关键信息，所述关键信息包括排污口编号、排污口经纬度以实现地图中快速叠加点位；当点击或选择排污口查看时，以排污口编码对排污口档案进行检索显示；3
‑
2、所述地图采用OpenLayers的地图，使用内置cluster方法，将所有点位集合叠加到地图中，设置点位聚合的像素距离为40，同时计算点位之间像素距离，将小于40的点位进行聚合显示。
[0010]在所述的步骤S2中，当对历史档案资料自动录入至排污口档案数据库时，具体为：2
‑
4、使用GetDirectories方法遍历检索文件夹，拆分文件夹并获取排查时间以及对应排查时间内的排污编码；2
‑
5、使用GetFiles方法遍历检索文件夹内的文件，关联相应文件的排污口编码和排查时间；2
‑
6、使用Move方法移动图片视频文件到相应物理路径下，并以排查时间加排污口编码和序号进行重命名文件，然后将对应文件路径对应排污口编码进行数据存储入库。
[0011]在所述的步骤3
‑
1中，具体为：以任务为操作集合，以排污口为操作单元，当多人同时操作排污口档案数据时，首先将排污口从操作集合中取出，并以synchronized对排污口进行加锁，以时间先后进行抢占，其他人欲操作时，根据排污口编码从操作集合中进行检索，由于排污口已从操作集合中
取出，故提示排污口正在被操作，并重新分配线程将本次操作数据以草稿数据形式进行存储；当数据操作结束后，自动检查同一排污口的档案表数据和草稿表数据，并以数据操作人员的角色优先级进行排序。
[0012]在所述的步骤3
‑
1中，对任务和排污口检索步骤为：设置内置排污口编号、任务名称、任务区域和排查人员作为检索条件，根据需要选择多维度检索，其它检索条件O
n
还包括排污口类型、排放状况、入海方式、排污口状态以及数据归档方式；根据实际业务需求，排污口的排查监测以任务为基础单元，需排查的排污口的信息组成一个数据集合，其中关联了排污口基础属性档案表、监测项目数据表；其中排污口档案基础属性档案表中包含排污口的编码、国标编码、名称，监测项目数据表中包含排污口编码、排污口经纬度、点位位置、所属行政区划、详细地址、排放状况、污水来源、入海方式、周边环境、排污口类型、现场照片和视频以及描述、排污口状态、是否非法、是否合理、是否竖牌、是否标注路径、是否销号、排污口整治状况、污水排放量、主本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种入海排污口数据整编评估方法，其特征在于，包括以下步骤：S1、设计排污口档案数据库；S2、将排污口的资料压缩包形成的文件实时上传至排污口档案数据库，对历史档案资料自动录入至排污口档案数据库；S3、进行多维度数据联合检索，创建新任务。2.根据权利要求1所述的一种入海排污口数据整编评估方法，其特征在于，所述的步骤S1具体为：采用横向和纵向相结合的方式设计排污口档案数据表，横向数据为排污口固定属性档案表，纵向数据为排污口监测项表；入海排污口数据非归一化数据，多源数据不可能含有一致的监测项，同时存在数据库中未包含监测项的可能，该监测项表将根据数据的监测项进行增补，形成排污口监测项表；所述的排污口档案数据表包括排污口的固定档案属性内容，该固定档案属性包括排污口编码和排污口名称；所述的排污口监测项表包括排污口所有的监测项；所述监测项包括：排污口经纬度、点位位置、所属行政区划、详细地址、排放状况、污水来源、入海方式、周边环境、排污口类型、现场照片和视频以及描述、排污口状态、是否非法、是否合理、是否竖牌、是否标注路径、是否销号、排污口整治状况、污水排放量、主要污染物类型、责任主体和相应联系方式、排污口设立和撤销时间、现场感官和流量、COD、氨氮、总氮、总磷、盐度、pH、悬浮物、氯化物、六价铬、有机碳、BOD、砷、汞、铜、铅、镉、铬、锌、镍、油类、挥发酚、粪大肠菌群数、挥发性卤代烃、行政审核状态以及备注情况。3.根据权利要求2所述的一种入海排污口数据整编评估方法，其特征在于，在所述的步骤S2中，当将排污口的资料压缩包形成的文件实时上传时，具体为：2
‑
1、将多种类型文件打包成压缩文件： ；：排污口数据，：排污口压缩包，：排污口数据Excel，：排污口视频文件，：排污口图片文件；所述的压缩文件通过upload控件将本地文件上传到浏览器内存中；2
‑
2、采用slice切片的方法对内存中10M以上的文件进行切分，每次固定切分10M大小的分片，同时计算当前切出分片的顺序号以及文件切片的总个数，然后生成uuid连带分片以及分片的顺序号，通过构建的form表单进行提交到服务器；若提交失败，会每隔2秒再重新提交分片文件，若提交成功，继续下一个分片，直到所有分片提交成功；2
‑
3、使用文件提取器MutipartHttpServletRequest定向提取每次的分片文件，同时根据uuid以及分片顺序号进行校验并存储为临时文件；创建文件流，之后循环分片顺序号，并依次将分片写入缓冲区，同时设置文件流指针偏移量，然后从缓冲区中依次提取字节数据，写入创建的文件流中，同时按照字节数据长度后移文件流指针偏移量，直至所有分片数据全部按照顺序写入文件流；删除分片的临时文件，同时将合并后文件路径保存到数据库，，其中，F1：第1个切片文件，F2：第2个切片文件，F3：第3个切片文件，F4：第4个切片文件，Fn：第n个切片文件，F是切片文件的总和。4.根据权利要求3所述的一种入海排污口数据整编评估方法，其特征在于，所述的步骤2
‑
1中，将图片以及视频存储到服务器物理硬盘，然后联合图片视频的路径将提报的数据转
换成排污口档案资料实体，根据实体中数据，循环检索排污口监测项表获取相应监测项ID，最后将实体中数据与监测项ID对应存储入库。5.根据权利要求4所述的一种入海排污口数据整编评估方法，其特征在于，所述的步骤S3具体为：3
‑
1、以关键信息查询所有排污口集合，只保留排污口关键信息，所述关键信息包括排污口编号、排污口经纬度以实现地图中快速叠加点位；当点击或选择排污口查看时，以排污口编码对排污口档案进行检索显示；3
‑
2、所述地图采用OpenLayers的地图，使用内置cluster方法，将所有点位集合叠加到地图中，设置点位聚合的像素距离为40，同时计算点位之间像素距离，将小于40的点位进行聚合显示。6.根据权利要求1所述的一种入海排污口数据整编评估方法，其特征在于，在所述的步骤S2中，当对历史档案资料自动录入至排污口档案数据库时，具体为：2
‑
4、使用GetDirectories方法遍历检索文件夹，拆分文件夹并获取排查时间以及对应排查时间内的排污编码；2
‑
5、使用Get...

【专利技术属性】
技术研发人员：杨朋金，王钦钦，赵玉慧，宋晓丽，王光峻，王晓亮，王利明，张馨星，王荣元，曲亮，魏计房，邓春梅，王鑫平，
申请(专利权)人：青岛恒天翼信息科技有限公司，
类型：发明
国别省市：