一种基于场景需求抓取开源数据建模系统技术方案

本发明专利技术提出了一种基于场景需求抓取开源数据建模系统，包括场景数据采集模块、场景数据检测模块、目标场景分析模块、材料数据库、数据爬虫模块和数据替换模块；所述场景数据采集模块：将上传的场景数据进行收集汇总，并根据场景信息对数据进行分类后，将分类后的场景数据发送至场景数据检测模块；所述场景数据检测模块：接收场景数据采集模块传输的分类数据，并同时对数据时序和数据完整度进行检测，在数据时序正确和且数据完整度超过阈值时，将检测数据发送至目标场景分析模块；若数据时序错误，则进行告警；若数据完整度未超过阈值，则进行告警；所述目标场景分析模块：对检测后的场景数据进行分析。景数据进行分析。景数据进行分析。

【技术实现步骤摘要】
一种基于场景需求抓取开源数据建模系统


[0001]本专利技术属于数据领域，特别涉及一种基于场景需求抓取开源数据建模系统。

技术介绍

[0002]目前，随着计算机技术的发展，计算机图形学在各个行业的应用也得到迅速普及和深入。目前，计算机图形学已进入三维时代，三维图形在人们生活中无所不在。三维图形的虚拟和展示具有直观性强、展示度高、体验感好等优点。建模技术是三维图形最重要的一个
建模技术是目前计算机图形学中最热门的方向之一，并在各行各业中发挥着重要的作用，如建筑、雕刻、军事、娱乐、房地产等。
[0003]三维场景快速构建技术的相关研究早已在国内外开展，并已投入使用。目前关于三维场景快速构建技术主要包括：基于无人机技术生成倾斜摄影模型、三维激光扫描建模、SLAM快速扫描建模、深度学习场景建模以及传统手工建模。
[0004]上述这几种建模方法在不同的领域都有优缺点。基于无人机技术生成倾斜摄影模型，在当下无人机技术越来越成熟稳定的背景下，对小范围内的三维场景构建，有着极大的优势，其仿真度高，生产流程快，但是成本较高，一般只适用于小范围的建模，当范围较大时成本投入过大，而且目前国内对无人机立法尚不完全，极易与各地保密单位产生纠纷，对技术应用有一定局限。三维激光扫描技术由于其测量精度高，在传统的古建筑数字化模型构建方法中得到了广泛应用，但由于工程造价成本较高，在实际应用中难以得到大量推广使用。SLAM快速扫描建模、深度学习场景建模等方法在成本投入，实际效果、生成范围代销等方面各自有着缺点。因此，现在亟需一种基于场景需求抓取开源数据建模系统。

技术实现思路

[0005]本专利技术提出一种基于场景需求抓取开源数据建模系统，解决了现有技术中在进行场景建立时，如果没有合适的场景，无法直接从开源数据中进行抓取适配的问题。
[0006]本专利技术的技术方案是这样实现的：一种基于场景需求抓取开源数据建模系统，包括场景数据采集模块、场景数据检测模块、目标场景分析模块、材料数据库、数据爬虫模块和数据替换模块；所述场景数据采集模块：将上传的场景数据进行收集汇总，并根据场景信息对数据进行分类后，将分类后的场景数据发送至场景数据检测模块；所述场景数据检测模块：接收场景数据采集模块传输的分类数据，并同时对数据时序和数据完整度进行检测，在数据时序正确和且数据完整度超过阈值时，将检测数据发送至目标场景分析模块；若数据时序错误，则进行告警；若数据完整度未超过阈值，则进行告警；所述目标场景分析模块：对检测后的场景数据进行分析，对需求的场景缺失数据调用材料数据库内的预存数据进行匹配，当匹配适应值超过设定阈值时，直接调用材料数据库内的预存数据进行场景数据补充，当匹配适应值低于设定阈值时，将需求信息发送至数据爬虫模块；所述材料数据库：预存通用场景数据，并在接收到目标场景分析模块的调用指令时，将内部预存的通用场景数据与目标场景分析模块发送的场景数据进行匹配，并将匹配近似率反馈至目标场景分析模
块；所述数据爬虫模块：对网络中的开源数据网站进行定向数据信息抓取，将进行抓取后开源场景信息反馈至材料数据库内；所述数据替换模块：在数据爬虫模块抓取数据后，再进行一次数据匹配，当匹配数据超过设定阈值时，选用匹配度最高的抓取数据，当匹配数据未超过阈值时，进行告警的同时，将近似度最高数据填充进场景数据中。
[0007]目前，大多数场景数据流程都在关注场景的精度，却对场景完整性不够重视。常见的场景构建的方法在结构相对简单的场景下可以取得较好的完整性，然而对于较为复杂的建筑场景来说，在没有参照情况下完整性难以保证。为获取大规模复杂场景的完整精确的模型(点云或网格)，需要对其全局结构与局部细节进行数据采集。当前主要有两种常用的场景建构方式：基于图像的建构与基于激光扫描的建构。这两类方法在灵活性与精度方面是互补的。精度与完整性是大规模建筑场景三维重建中的两个关键因素。
[0008]本申请文件所需要解决的则是第一数据不完整的情况，一般在场景建构时，是不会出现数据不完整的情况的，比如虚拟场景的搭建，这种只需要自行设计场景，对这种任意想像的场景，很少会出现数据不完整的情况，而一些现实场景的虚拟化，特别是古代文物、建筑的场景化，会有种种缺失，这种缺失是很难进行任意发挥的，首先需要通过修复人员的重构修复，如果能够匹配则可以直接使用，如果重构修复匹配度不高，则可以在开源数据中找寻，如果有匹配度更高的数据，则可以直接使用，在场景数据日益增多的情况下，可以方便用户根据情况进行不同场景的构建。
[0009]进一步地，所述场景数据采集模块通过获取用户上传场景数据进行汇总分类，分类为地形数据、材质数据、空间数据、冗余数据和数据时序，将数据进行分类后便于昌吉数据检测模块根据数据类型进行检测。通过对上传的场景数据进行分类，可以更加快速的进行检测，避免数据堆积过多，让场景检测模块逐一进行筛查，可以根据数据类型设置不同的权重，可以根据权重来分配场景数据检测模块的算力。
[0010]进一步地，所述场景数据检测模块中的对数据时序进行检测，用户在上传场景数据时，其中的地形数据、材质数据、空间数据、冗余数据各自按照时序进行排列，形成数据时序，通过对数据时序进行检测，查看在数据排列顺序。场景数据检测模块主要是对场景中的时序进行检测，因为不同的场景是会有变化的，比如湖泊、海洋、池塘和一些特殊的地形地貌都会随着不同的参数会产生变化，这种变化是根据时间顺序来的，一般是接受到了外部触发的信号来产生变化，这种变化的产生有时间顺序，但是在数据上传时，容易因为上传的速率问题产生快慢差，这种在数据传输中，特别是多数据传输中比较常见，所以一般连续数据或者有关联的数据有时序进行排列，方便在后期能够按照时序依次进行读取，这种时候对数据时序排序是否正确很重要，通过场景数据检测模块对数据时序进行检测，方便在数据时序混乱时及时发现进行调整。
[0011]进一步地，所述目标场景分析模块中在进行场景数据补充时，将材料数据库内的预存数据与目标场景数据进行一一贴合，并根据目标场景数据的缺失时序，在缺失时序内进行数据匹配填充。
[0012]采用了上述技术方案后，本专利技术的有益效果是：本申请文件通过修复人员的重构修复，如果能够匹配则可以直接使用，如果重构修复匹配度不高，则可以在开源数据中找寻，如果有匹配度更高的数据，则可以直接使用，在场景数据日益增多的情况下，可以方便用户根据情况进行不同场景的构建。
附图说明
[0013]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0014]图1为本专利技术系统框图。
具体实施方式
[0015]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于场景需求抓取开源数据建模系统，其特征在于，包括场景数据采集模块、场景数据检测模块、目标场景分析模块、材料数据库、数据爬虫模块和数据替换模块；所述场景数据采集模块：将上传的场景数据进行收集汇总，并根据场景信息对数据进行分类后，将分类后的场景数据发送至场景数据检测模块；所述场景数据检测模块：接收场景数据采集模块传输的分类数据，并同时对数据时序和数据完整度进行检测，在数据时序正确和且数据完整度超过阈值时，将检测数据发送至目标场景分析模块；若数据时序错误，则进行告警；若数据完整度未超过阈值，则进行告警；所述目标场景分析模块：对检测后的场景数据进行分析，对需求的场景缺失数据调用材料数据库内的预存数据进行匹配，当匹配适应值超过设定阈值时，直接调用材料数据库内的预存数据进行场景数据补充，当匹配适应值低于设定阈值时，将需求信息发送至数据爬虫模块；所述材料数据库：预存通用场景数据，并在接收到目标场景分析模块的调用指令时，将内部预存的通用场景数据与目标场景分析模块发送的场景数据进行匹配，并将匹配近似率反馈至目标场景分析模块；所述数据爬虫模块：对网络中的开源数据网站进行定向数据信息...

【专利技术属性】
技术研发人员：李猛，蔡闯，黄崧毅，
申请(专利权)人：无锡立禹网络科技有限公司，
类型：发明
国别省市：