大数据的处理方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种大数据的处理方法、装置、设备及计算机可读存储介质，该处理方法包括：获取与用户端相关联的大数据流，大数据流至少包括：用户行为数据和/或设备状态；解码大数据流，生成通用格式数据，并对通用格式数据进行计数；根据计数结果对通用格式数据进行聚合计算，生成聚合计算结果；根据聚合计算结果监测用户行为，执行交互操作。通过实施本发明专利技术，可以为用户提供更加开放、人性化的数据共享机制，同时，能够通过用户的身份认证保证用户自身数据的安全性；并且，基于共享平台提供相应的数据处理流程或处理算法，能够为用户量身定做各自的数据处理服务，提高用户的使用感受。

Processing Method, Device, Equipment and Computer Readable Storage Medium for Large Data

【技术实现步骤摘要】
大数据的处理方法、装置、设备及计算机可读存储介质
本专利技术涉及大数据处理
，具体涉及一种大数据的处理方法、装置、设备及计算机可读存储介质。
技术介绍
在信息化时代，数据库的发展形成了利用数据建模归纳总结过去并对未来做预测的“计算科学”；而消费互联网/大数据年代，通过收集大量的数据，形成了让计算机去规律的学习并优化模型的“数据科学”。大数据(Bigdata)通常用来形容一个公司创造的大量非结构化数据和半结构化数据，随着产业互联网AI智能时代的来临，大数据(Bigdata)需要更有效的进化成数据密集型科学发现(ScientificDiscovery)。而任何一个科学发现，都需要满足ReproducibleResult(可重复性结果)的要求。因为基于数据的结果，都是从数据->处理->结果(Data->Process->Result)这样一个过程，因此，要满足ReproducibleResult的要求,则需要一种更智能、更灵活的实时(不单只面对用户)数据处理系统对数据进行处理。在消费互联网的时代，各大型技术平台所使用的数据处理系统，是通过提供数据共享技术，将数本文档来自技高网...

【技术保护点】
1.一种大数据的处理方法，其特征在于，包括：获取与用户端相关联的大数据流，所述大数据流至少包括：用户行为数据和/或设备状态；解码所述大数据流，生成通用格式数据，并对所述通用格式数据进行计数；根据计数结果对所述通用格式数据进行聚合计算，生成聚合计算结果；根据所述聚合计算结果监测用户行为，执行交互操作。

【技术特征摘要】
2019.01.15 CN 20191003730901.一种大数据的处理方法，其特征在于，包括：获取与用户端相关联的大数据流，所述大数据流至少包括：用户行为数据和/或设备状态；解码所述大数据流，生成通用格式数据，并对所述通用格式数据进行计数；根据计数结果对所述通用格式数据进行聚合计算，生成聚合计算结果；根据所述聚合计算结果监测用户行为，执行交互操作。2.根据权利要求1所述的大数据的处理方法，其特征在于，根据所述聚合计算结果监测用户行为，执行交互操作，包括：根据所述聚合计算结果检测所述用户行为的数量是否达到预设阈值；如果所述用户行为的数量达到所述预设阈值，则对被执行对象发起交互动作。3.根据权利要求1所述的大数据的处理方法，其特征在于，还包括：获取用户输入的请求信息；根据所述请求信息从数据共享平台中下载预设的数据处理流程和/或预设机器学习算法。4.根据权利要求3所述的大数据的处理方法，其特征在于，还包括：判断是否获取到数据处理通知信息；如果获取到所述数据处理通知信息，使用所述预设的数据处理流程和/或预设机器学习算法处理所述数据处理通知信息中的数据，根据处理后的数据配置所述用户端的用户数据及应用场景。5.根据权利要求1所述的大数据的处理方法，其特征在于，解码所述大数据流，生成通用格式数据，包括：使用flume*或kafka*技术解码所述大数据流，将所述大数据流解码为所述通用格式数据。6.一种大数据的处理装置，其特征在于，包括：大数据流获取模块，用于获取与用户端相关联的大数据流，所述大数据流至少包括：用户行为数据和/或设备状态；数据处理模块，用于解码所述大数据流，生成通用格式数据，并对所述通用格式数据...

【专利技术属性】
技术研发人员：陈怡伶，黄震，
申请(专利权)人：热茶云科技北京有限公司，
类型：发明
国别省市：北京,11