本发明专利技术实施例提供了一种基于数字化平台的数据传输方法，获取数据源发送的初始数据，对初始数据封装消息属性后形成消息数据；启用至少一个消息队列，控制至少一个消息队列同时工作，将消息数据分配到目标队列中，目标队列属于至少一个消息队列、且与消息数据的消息属性相匹配；在目标队列持续接收消息数据的过程中，监听至少一个消息队列的占用情况，根据占用情况调整与消息数据相匹配的目标队列，以保障消息数据的批量并发传输至数字化平台上的多个消息消费端。本发明专利技术通过获取数据后转换成消息进行传输，当遇到大批量数据时采用分布式消息队列分散传输，大大提升数据的传输效率，满足消息消费的实时性要求。满足消息消费的实时性要求。满足消息消费的实时性要求。
【技术实现步骤摘要】
一种基于数字化平台的数据传输方法及系统
[0001]本专利技术涉及数字化数据传输
，具体涉及一种基于数字化平台的数据传输方法及系统。
技术介绍
[0002]数字化技术使得各类社会生产、生活能以数字化方式生成为可记录、可存储、可交互的数据、信息和知识。互联网、物联网等网络技术的应用，使抽象出来的数据、信息在不同主体间流动、对接、融合，从而改变传统生产方式和生产关系。大数据、云计算、量子通信等数据信息处理技术、先进信息通信技术的应用，使得数据处理效率更高、能力更强，大大提高了数据处理的水平，从而使经济活动产出的效率和规模呈现出指数型、集约型增长，对于数据时效性的要求也越来越高。
[0003]现有技术在数字化数据传输过程中往往串行多个组件，导致数据从采集到展示存在一定的时间差，在大批量处理数据是甚至需要较长时间，难以满足信息消费端对数据的实时性消费需求。
[0004]基于上述技术问题，申请人提出了本申请的技术方案。
技术实现思路
[0005]本专利技术的目的是提供了一种基于数字化平台的数据传输方法及系统，通过获取数据后转换成消息进行传输，当遇到大批量数据时采用分布式消息队列分散传输，大大提升数据的传输效率，满足消息消费的实时性要求；同时，在将数据转换成消息的同时封装业务属性标签，通过业务属性标签匹配消息队列，进一步增加消息传输效率，并使得消息传输的传输通道能够灵活调整。
[0006]为实现上述目的，本专利技术提供了一种基于数字化平台的数据传输方法，包括：获取数据源发送的初始数据，对所述初始数据封装消息属性后形成消息数据；启用至少一个消息队列，控制所述至少一个消息队列同时工作，将所述消息数据分配到目标队列中，所述目标队列属于所述至少一个消息队列、且与所述消息数据的所述消息属性相匹配；在所述目标队列持续接收所述消息数据的过程中，监听所述至少一个消息队列的占用情况，根据所述占用情况调整与所述消息数据相匹配的目标队列，以保障所述消息数据的批量并发传输至所述数字化平台上的多个消息消费端。
[0007]本专利技术还提供了一种基于数字化平台的数据传输系统，包括依次连接的数据采集单元、消息数据分配单元和消息队列管理单元；所述数据采集单元用于获取数据源发送的初始数据，对所述初始数据封装消息属性后形成消息数据；所述消息数据分配单元用于启用至少一个消息队列，控制所述至少一个消息队列同时工作，将所述消息数据分配到目标队列中，所述目标队列属于所述至少一个消息队列、且与所述消息数据的所述消息属性相匹配；所述消息队列管理单元用于在所述目标队列持续接收所述消息数据的过程中，监听所述至少一个消息队列的占用情况，根据所述占用情况调整与所述消息数据相匹配的目标
队列，以保障所述消息数据的批量并发传输至所述数字化平台上的多个消息消费端。
[0008]在一个实施例中，所述获取数据源发送的初始数据，对所述初始数据封装消息属性后形成消息数据，包括：配置监听事件，所述监听事件用于实时监听所述数据源获取所述初始数据，当所述数据源对所述初始数据有修改时，更新所述初始数据；对所述初始数据进行数据结构的格式化处理，形成所述消息数据，所述数据结构的格式化处理中预留关键字段，在所述关键字段中添加业务属性标签，所述业务属性标签作为所述消息数据的所述消息属性，所述消息属性用于标识所述消息数据。
[0009]在一个实施例中，所述数据结构的格式化处理是将所述初始数据转化为JSON结构格式。
[0010]在一个实施例中，所述业务属性标签包括数据源类型、业务名称、消息队列通道、消息地域中的任一种或人多种。
[0011]在一个实施例中，所述将所述消息数据分配到目标队列中，具体是根据所述业务属性标签将所述消息数据分配到所述目标队列中。
[0012]在一个实施例中，所述监听所述至少一个消息队列的占用情况，根据所述占用情况调整与所述消息数据相匹配的目标队列，包括：对所述至少一个消息队列进行集中管理，监听每个消息队列的占用情况，根据所述占用情况设置每个消息队列接收消息的优先级；在所述消息数据的所述业务属性标签与所述至少一个消息队列相匹配时，根据所述优先级调整所述消息数据的所述目标队列。
附图说明
[0013]图1是根据本专利技术第一实施例中的基于数字化平台的数据传输方法的具体流程示意图；
[0014]图2是根据本专利技术第一实施例中的中步骤101的具体流程图；
[0015]图3是根据本专利技术第一实施例中的中步骤103的具体流程图。
具体实施方式
[0016]以下将结合附图对本专利技术的各实施例进行详细说明，以便更清楚理解本专利技术的目的、特点和优点。应理解的是，附图所示的实施例并不是对本专利技术范围的限制，而只是为了说明本专利技术技术方案的实质精神。
[0017]在下文的描述中，出于说明各种公开的实施例的目的阐述了某些具体细节以提供对各种公开实施例的透彻理解。但是，相关领域技术人员将认识到可在无这些具体细节中的一个或多个细节的情况来实践实施例。在其它情形下，与本申请相关联的熟知的装置、结构和技术可能并未详细地示出或描述从而避免不必要地混淆实施例的描述。
[0018]除非语境有其它需要，在整个说明书和权利要求中，词语“包括”和其变型，诸如“包含”和“具有”应被理解为开放的、包含的含义，即应解释为“包括，但不限于”。
[0019]在整个说明书中对“一个实施例”或“一实施例”的提及表示结合实施例所描述的特定特点、结构或特征包括于至少一个实施例中。因此，在整个说明书的各个位置“在一个实施例中”或“在一实施例”中的出现无需全都指相同实施例。另外，特定特点、结构或特征可在一个或多个实施例中以任何方式组合。
[0020]如该说明书和所附权利要求中所用的单数形式“一”和“所述”包括复数指代物，除非文中清楚地另外规定。应当指出的是术语“或”通常以其包括“或/和”的含义使用，除非文中清楚地另外规定。
[0021]在以下描述中，为了清楚展示本专利技术的结构及工作方式，将借助诸多方向性词语进行描述，但是应当将“前”、“后”、“左”、“右”、“外”、“内”、“向外”、“向内”、“上”、“下”等词语理解为方便用语，而不应当理解为限定性词语。
[0022]本专利技术第一实施方式涉及一种基于数字化平台的数据传输方法，本实施方式的基于数字化平台的数据传输方法的具体流程如图1所示。
[0023]步骤101，获取数据源发送的初始数据，对所述初始数据封装消息属性后形成消息数据。
[0024]具体而言，支持采集主流数据源发送的初始数据，主流数据源包括但不限于数据库、文件系统、标准数据接口等等。对于不同数据源获取的初始数据可以采用同一个采集器，也可以根据场景需求有选择性地扩展成一个或多个采集器。在一些例子中，数据获取的方式为主动抓取、推送或监听，其中，主动抓取是根据设定的抓取频率对各数据源进行数据抓取，在两次数据抓取之间往往存在一定的时间差。推送是由数据源根据推送机制将数据推送到采集器。监听是采集器监听数据的变化，只本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于数字化平台的数据传输方法，其特征在于，包括：获取数据源发送的初始数据，对所述初始数据封装消息属性后形成消息数据；启用至少一个消息队列，控制所述至少一个消息队列同时工作，将所述消息数据分配到目标队列中，所述目标队列属于所述至少一个消息队列、且与所述消息数据的所述消息属性相匹配；在所述目标队列持续接收所述消息数据的过程中，监听所述至少一个消息队列的占用情况，根据所述占用情况调整与所述消息数据相匹配的目标队列，以保障所述消息数据的批量并发传输至所述数字化平台上的多个消息消费端。2.根据权利要求1所述的基于数字化平台的数据传输方法，其特征在于，所述获取数据源发送的初始数据，对所述初始数据封装消息属性后形成消息数据，包括：配置监听事件，所述监听事件用于实时监听所述数据源获取所述初始数据，当所述数据源对所述初始数据有修改时，更新所述初始数据；对所述初始数据进行数据结构的格式化处理，形成所述消息数据，所述数据结构的格式化处理中预留关键字段，在所述关键字段中添加业务属性标签，所述业务属性标签作为所述消息数据的所述消息属性，所述消息属性用于标识所述消息数据。3.根据权利要求2所述的基于数字化平台的数据传输方法，其特征在于，所述数据结构的格式化处理是将所述初始数据转化为JSON结构格式。4.根据权利要求2所述的基于数字化平台的数据传输方法，其特征在于，所述业务属性标签包括数据源类型、业务名称、消息队列通道、消息地域中的任一种或任多种。5.根据权利要求2所述的基于数字化平台的数据传输方法，其特征在于，所述将所述消息数据分配到目标队列中，具体是根据所述业务属性标签将所述消息数据分配到所述目标队列中。6.根据权利要求1所述的基于数字化平台的数据传输方法，其特征在于，所述监听所述至少一个消息队列的占用情况，根据所述占用情况调整与所述消息数据相匹配的目标队列，包括：对所述至少一个消息队列进行集中管理，监听每个消息队列的占用情况，根据所述占用情况设置每个消息队列接收消息...
【专利技术属性】
技术研发人员：曹明晓，桂来军，
申请(专利权)人：上海思询信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。