数据仓库的构建方法、装置、电子设备及可读存储介质制造方法及图纸

本发明专利技术涉及物联网和大数据技术领域，公开了一种数据仓库的构建方法、装置、电子设备及可读存储介质。其中，该方法可以包括：获取待处理的源数据；基于批流一体方式对源数据进行离线处理和实时处理，得到目标处理数据；基于目标处理数据的类型，对目标处理数据进行数据加工，生成数据仓库。通过实施本发明专利技术，避免实时流程和离线流程分开加工，在满足实时性和准确性的基础上，降低了计算资源，节省了硬件成本。节省了硬件成本。节省了硬件成本。

【技术实现步骤摘要】
数据仓库的构建方法、装置、电子设备及可读存储介质


[0001]本专利技术涉及物联网和大数据
，具体涉及一种数据仓库的构建方法、装置、电子设备及可读存储介质。

技术介绍

[0002]物联网数据仓库是指应用大数据技术对物联网的海量数据进行抽取、转换、加载以及存储和加工等操作完成对数据生态框架的构建。物联网的数据特征是数据简单、数据量极大以及业务关联性弱。物联网的主体数据是传感器对绑定设备的感知信息，通过数据仓库的存储和加工来展现设备所处环境信息和实时的状态。一个物联网场景往往有数万以上级别的设备，每台设备往往有多个不同种类的传感器(如温度传感器、湿度传感器、红外传感器等)，每个传感器都会不停的产生数据，而不同设备的数据是独立的，互相之间没有关联的必要。
[0003]目前物联网数据仓库的构建通常只选择做实时流程或离线流程的一种，实时流程的特点是时效性高，但是在大数据场景下会存在数据丢失或数据重复的问题；离线流程的特点是数据准确性高、但是数据处理不及时，只选择实时流程或离线流程的一种则难以同时满足实时性和准确性。为了同时满足实时性和准确性本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据仓库的构建方法，其特征在于，包括：获取待处理的源数据；基于批流一体方式对所述源数据进行离线处理和实时处理，得到目标处理数据；基于所述目标处理数据的类型，对所述目标处理数据进行数据加工，生成数据仓库。2.根据权利要求1所述的方法，其特征在于，所述基于批流一体方式对所述源数据进行离线处理和实时处理，得到目标处理数据，包括：获取批处理方式的离线流程以及流处理方式的实时流程；基于所述批处理方式的离线流程对所述源数据进行离线处理，并基于所述流处理方式的实时流程对所述源数据进行实时处理；基于所述离线处理的第一结果以及所述实时处理的第二结果，得到所述目标处理数据。3.根据权利要求2所述的方法，其特征在于，所述基于所述离线处理的第一结果以及所述实时处理的第二结果，得到所述目标处理数据，包括：以所述第一结果对所述第二结果进行校正，得到所述目标处理数据。4.根据权利要求2所述的方法，其特征在于，获取批处理方式的离线流程，包括：获取所述源数据的离线采集间隔；判断所述离线采集间隔是否达到预设间隔；当所述离线采集间隔达到所述预设间隔时，获取批处理方式的离线流程。5.根据权利要求1所述的方法，其特征在于，所述获取待处理的源数据，包括：采集业务数据以及设备感知数据；将所述业务数据以及所述设备感知数据确定为所述待处理的源数据。6.根据权利要求1所述的方法，其特征在于，所述基于所述目标处理数据的类型，对所述目标处理数据进行数据加工，生成数...

【专利技术属性】
技术研发人员：聂泳忠，荀兆勇，信华哺，刘敏，谭海棠，刘湧敦，
申请(专利权)人：西人马深圳科技有限责任公司，
类型：发明
国别省市：