一种基于大数据的数据运营系统技术方案

本发明专利技术公开了一种基于大数据的数据运营系统，包括数据采集模块用于采集外部数据源中的实时数据；预处理模块用于对实时数据进行识别，检测实时数据的有效性；预存储模块还用于短暂储存采集模块采集的实时数据；数据处理模块对实时数据进行整理，并从数据库模块中调取历史数据，以实时数据和历史数据为基础进行建模，计算货物运输结果以构建货物运输方案。本发明专利技术基于大数据的数据运营系统通过建立数据之间的映射关系，再根据映射关系建立数据模型，该模型基于客观数据建立，与行业运行规律的贴合度较高，数据模型建立后，系统可合理的规划和调度运输方式，相对于运输方式盲目策划可提升货物运输策略的科学性以及货物运输效率。率。率。

【技术实现步骤摘要】
一种基于大数据的数据运营系统


[0001]本专利技术涉及数据运营领域，具体涉及一种基于大数据的数据运营系统。

技术介绍

[0002]当前，随着信息技术的不断发展，在数据的管理和应用方面的技术也在不断地更新迭代，从传统的数据仓库、数据集市发展到现在的数据中台，从传统的BI应用发展到现在的智能报表、自动报表，从传统的单体架构发展到现在微服务架构，以及目前主流的云计算平台等，都为进一步加强和提升数据的管理和应用提供了新的方法和路径。
[0003]虽然技术得到了快速得发展，但是如何将技术和业务进行合理的适配，满足企业的数据应用需求，成为了当前的主要难题，尤其在货运行业，需要较快的对货物的运输方式迅速的做出抉择，否者将影响货物服务的质量；为了更高效的、更科学的管理货物运输团队，使其的正常运行，因此，提出一种基于大数据的数据运营系统。

技术实现思路

[0004]本专利技术所要解决的技术问题在于：如何解决更高效的、更科学的管理货物运输团队的问题，提供了一种基于大数据的数据运营系统。
[0005]本专利技术是通过以下技术方案解决上述技术问题的，本专利技术包括所述数据运营系统连接有多个外部数据源，包括数据采集模块、预处理模块、预存储模块、数据处理模块、数据库模块、数据输出模块；
[0006]所述数据采集模块用于采集外部数据源中的实时数据；所述实时数据包括货物类型、货运方式、货物数量、订单时间、目的地；
[0007]所述预处理模块用于对实时数据进行识别，检测实时数据的有效性，并将检测结果反馈至数据采集模块；
[0008]所述预存储模块还用于短暂储存采集模块采集的实时数据，并将实时数据发送数据处理模块；
[0009]所述数据库模块用于储存历史数据以及货物的标准信息；
[0010]所述数据处理模块对实时数据进行整理，并从数据库模块中调取历史数据，以实时数据和历史数据为基础进行建模，建模完成后，计算货物运输结果以构建货物运输方案；
[0011]所述数据输出模块用于输出数据处理模块计算的货物运输方案。
[0012]进一步的，还包括服务平台模块，所述服务平台模块用于接收预处理模块的反馈信息，并控制数据采集模块重新采集实时数据；
[0013]所述预处理模块通过第一检测方法与第二检测方法进行实时数据的有效性判定，其具体判定过程包括，单独使用第一检测方法对实时数据进行有效性判定、单独使用第二检测方法对实时数据进行有效性判定以及同时使用第一检测方法和第二检测方法对实时数据进行有效性判定。
[0014]其中，单独使用第一检测方法对实时数据进行有效性判定时，具体处理过程如下：
[0015]实时数据包括文字信息、语音信息与图片信息；
[0016]当实时数据为文字信息时：
[0017]检测单元提取文字信息a并调取数据库模块中的标准信息b；
[0018]使用预设规则c对文字信息a和标准信息b进行转化，得到具有相同序列特征的文字信息a
′
与标准信息b
′
；
[0019]对文字信息a
′
的文字区域进行定位并提取多个文字特征a1
′
a2
′
、a3
′
...an
′
；
[0020]计算文字特征a1
′
a2
′
、a3
′
...an
′
在标准信息b
′
中的占比；
[0021]具体处理过程为：
[0022](a1
′
+a2
′
+a3
′
+...+an
′
)/b
′
＝f
[0023]当f≥预设阈值m时，则将文字信息归类于精准数据，并输出数据；
[0024]当f＜预设阈值m时，则判断实时数据为错误数据，并将实时数据反馈给数据采集模块，并请求数据采集模块重新采集并发送实时数据；
[0025]记录第一数据反馈次数U，当U≥预设阈值N时，则向服务平台模块发送检修报告；
[0026]当实时数据为语音信息时，检测单元先对语音内容信息进行去噪，去噪完成后获取到去噪语音，对去噪语音进行音频转文字处理，获取到语音文字内容，再对文字内容进行上述处理过程，并获取语音信息的有效性；
[0027]当实时数据为图片信息时，检测单元先对图片进行增强，增强完成后获取到清晰图片信息，进行通过文字识别技术对清晰图片信息进行文字提取获取到图片文字信息，再对文字内容进行上述处理过程，并获取语音信息的有效性。
[0028]其中，单独使用第二检测方法对实时数据进行有效性判定时，具体处理过程如下：
[0029]根据货物类型对货物进行校验码编排，当数据采集模块采集实时数据后，根据货物类型赋予实时数据指定的校验码；
[0030]预处理模块读取并验证货物校验码；
[0031]当校验码比对成功时，输出数据；
[0032]当校验码比对失败时，将实时数据反馈给数据采集模块，并请求数据采集模块重新采集并发送实时数据；
[0033]记录第二数据反馈次数H，当H≥预设阈值P时，则向服务平台模块发送检修报告。
[0034]其中，同时使用第一检测方法和第二检测方法对实时数据进行有效性判定时，具体处理过程如下：
[0035]预处理模块先通过第一检测方法对实时数据进行预处理，并得出实时数据有效性的初步判定；
[0036]再通过第二检测方法对实时数据的校验码进行验证；
[0037]当第二检测方法验证成功后，则输出数据；当验证失败时，将实时数据反馈给数据采集模块，并请求数据采集模块重新采集并发送实时数据；
[0038]记录第三数据反馈次数V，当V≥预设阈值J时，则向服务平台模块发送检修报告。
[0039]再进一步的，当U＜预设阈值N或H＜预设阈值P或V＜预设阈值J任意一种数据反馈次数发生时，所述预处理模块的处理过程还包括记录出现反馈的频率F,具体处理过程如下：
[0040]分别对文字信息的反馈次数t1、语音信息的反馈次数t2、图像信息的反馈次数t3、
验证失败的反馈次数t4与总的数据传输次数t5进行统计；
[0041]计算总反馈次数占总数据传输次数t5的占比K,具体处理过程为：
[0042]K＝(t1+t2+t3+t4)/t5
[0043]当K≥预设阈值L时，则向服务平台模块发送查修报告；
[0044]分别计算文字信息的反馈频率Ft1、语音信息的反馈频率Ft2、图像信息的反馈频率Ft3、验证失败的反馈频率Ft4，具体处理过程如下：
[0045]Ftx＝tx/(t1+t2+t3+t4)
[0046]其中，x为1、2、3、4；
[0047]当Ftx≥1/2时，则向服务平台模块发送对应信息采集模块的必修报告；
[0048]当1/4本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据的数据运营系统，所述数据运营系统连接有多个外部数据源，其特征在于，包括数据采集模块、预处理模块、预存储模块、数据处理模块、数据库模块、数据输出模块；所述数据采集模块用于采集外部数据源中的实时数据；所述实时数据包括货物类型、货运方式、货物数量、订单时间、目的地；所述预处理模块用于对实时数据进行识别，检测实时数据的有效性，并将检测结果反馈至数据采集模块；所述预存储模块还用于短暂储存采集模块采集的实时数据，并将实时数据发送数据处理模块；所述数据库模块用于储存历史数据以及货物的标准信息；所述数据处理模块对实时数据进行整理，并从数据库模块中调取历史数据，以实时数据和历史数据为基础进行建模，建模完成后，计算货物运输结果以构建货物运输方案；所述数据输出模块用于输出数据处理模块计算的货物运输方案。2.根据权利要求1所述的一种基于大数据的数据运营系统，其特征在于：还包括服务平台模块，所述服务平台模块用于接收预处理模块的反馈信息，并控制数据采集模块重新采集实时数据；所述预处理模块通过第一检测方法与第二检测方法进行实时数据的有效性判定，其具体判定过程包括，单独使用第一检测方法对实时数据进行有效性判定、单独使用第二检测方法对实时数据进行有效性判定以及同时使用第一检测方法和第二检测方法对实时数据进行有效性判定。3.根据权利要求2所述的一种基于大数据的数据运营系统，其特征在于：单独使用第一检测方法对实时数据进行有效性判定时，具体处理过程如下：实时数据包括文字信息、语音信息与图片信息；当实时数据为文字信息时：检测单元提取文字信息a并调取数据库模块中的标准信息b；使用预设规则c对文字信息a和标准信息b进行转化，得到具有相同序列特征的文字信息a
′
与标准信息b
′
；对文字信息a
′
的文字区域进行定位并提取多个文字特征a1
′
a2
′
、a3
′
...an
′
；计算文字特征a1
′
a2
′
、a3
′
...an
′
在标准信息b
′
中的占比；具体处理过程为：(a1
′
+a2
′
+a3
′
+...+an
′
)/b
′
＝f当f≥预设阈值m时，则将文字信息归类于精准数据，并输出数据；当f＜预设阈值m时，则判断实时数据为错误数据，并将实时数据反馈给数据采集模块，并请求数据采集模块重新采集并发送实时数据；记录第一数据反馈次数U，当U≥预设阈值N时，则向服务平台模块发送检修报告；当实时数据为语音信息时，检测单元先对语音内容信息进行去噪，去噪完成后获取到去噪语音，对去噪语音进行音频转文字处理，获取到语音文字内容，再对文字内容进行上述处理过程，并获取语音信息的有效性；当实时数据为图片信息时，检测单元先对图片进行增强，增强完成后获取到清晰图片
信息，进行通过文字识别技术对清晰图片信息进行文字提取获取到图片文字信息，再对文字内容进行上述处理过程，并获取语音信息的有效性。4.根据权利要求2所述的一种基于大数据的数据运营系统，其特征在于：单独使用第二检测方法对实时数据进行有效性判定时，具体处理过程如下：根据货物类型对货物进行校验码编排，当数据采集模块采集实时数据后，根据货物类型赋予实时数据指定的校验码；预处理模块读取并验证货物校验码；当校验码比对成功时，输出数据；当校验码比对失败时，将实时数据反馈给数据采集模块，并请求数据采集模块重新采集并发送实时数据；记录第二数据反馈次数H，当H≥预设阈值P时，则向服务平台模块发送检修报告。5.根据权利要求2所述的一种基于大数据的数据运营系统，其特征在于：同时使用第一检测方法...

【专利技术属性】
技术研发人员：钱志奇，朱必亮，徐忠建，李俊，冯建亮，
申请(专利权)人：速度科技股份有限公司，
类型：发明
国别省市：