中介系统以及服务请求结果回传方法技术方案

本发明专利技术提供一种中介系统以及服务请求结果回传方法。中介系统通信于服务请求端以及多个服务器。中介系统包括存储设备以及处理器。处理器接收由服务请求端发送的多个服务请求，并且处理器将多个服务请求依序写入服务请求队列。服务代理人单元根据服务请求队列来依序输出多个服务请求至多个服务器，并且多个服务器根据多个服务请求来回应多个服务请求结果至服务代理人单元。时间代理人单元侦测处理器接收到多个服务请求的时间，以将多个服务请求的多个服务请求端信息以及多个服务请求时间依序写入服务请求时间队列。信息分配器根据服务请求时间队列来建立信息分配表，并且信息分配器根据信息分配表来依序输出多个服务请求结果至服务请求端。结果至服务请求端。结果至服务请求端。

【技术实现步骤摘要】
中介系统以及服务请求结果回传方法


[0001]本专利技术涉及一种中介系统以及服务请求结果回传方法。

技术介绍

[0002]一般来说，当服务器接到大量来自服务请求端所发送的服务请求时，会对服务器造成大量的运作负担，而使服务处理的效能不佳。并且，还可能由于网路负载或服务器硬件等因素影响，而发生系统无法无法确保在服务器将服务请求结果回传给服务请求端的过程中，服务请求端所获得服务请求结果的顺序能够与服务请求端提出服务请求时的顺序一致。

技术实现思路

[0003]本专利技术是针对一种中介系统以及服务请求结果回传方法，可实现有序负载平衡功能。
[0004]根据本专利技术的实施例，本专利技术的中介系统用以通信于服务请求端以及多个服务器。中介系统包括存储设备以及处理器。存储设备用以存储服务代理人单元、时间代理人单元以及信息分配器。处理器电性连接存储设备，并且用以执行服务代理人单元、时间代理人单元以及信息分配器。处理器接收由服务请求端发送的多个服务请求，并且处理器将多个服务请求依序写入服务请求队列。服务代理人单元根据服务请求队列来依序输出多个服务请求至多个服务器，并且多个服务器根据多个服务请求来回应多个服务请求结果至服务代理人单元。时间代理人单元侦测处理器接收到多个服务请求的时间，以将多个服务请求的多个服务请求端信息以及多个服务请求时间依序写入服务请求时间队列。信息分配器根据服务请求时间队列来建立信息分配表，并且信息分配器根据信息分配表来依序输出多个服务请求结果至服务请求端。
[0005]根据本专利技术的实施例，本专利技术的服务请求结果回传方法适用于中介系统。服务请求结果管理方法包括以下步骤。通过中介系统接收由服务请求端发送的多个服务请求，并且将多个服务请求依序写入服务请求队列。通过中介系统根据服务请求队列来依序输出多个服务请求至多个服务器。通过多个服务器根据多个服务请求来回应多个服务请求结果至中介系统。通过中介系统侦测接收到多个服务请求的时间，以将多个服务请求的多个服务请求端信息以及多个服务请求时间依序写入服务请求时间队列。通过中介系统根据服务请求时间队列来建立信息分配表。通过中介系统根据信息分配表来依序输出多个服务请求结果至服务请求端。
[0006]基于上述，本专利技术的中介系统以及服务请求结果回传方法可记录接收到服务请求的时间，以依序将对应的服务请求结果回传。本专利技术的中介系统以及服务请求结果回传方法可实现负载平衡，并且可有效避免服务请求结果的回传顺序错误。
[0007]为让本专利技术的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。
附图说明
[0008]图1是本专利技术的实施例的中介系统的装置示意图；
[0009]图2是本专利技术的实施例的服务请求结果回传方法的流程图；
[0010]图3是本专利技术的实施例的中介系统进行有序负载平衡的操作示意图。
[0011]附图标记说明
[0012]100、300：中介系统；
[0013]110：处理器；
[0014]120：存储设备；
[0015]121、321：服务代理人单元；
[0016]122、322：时间代理人单元；
[0017]123、323：信息分配器；
[0018]210、310_1、310_2～310_M：服务请求端；
[0019]220_1、220_2～220_N、320_1、320_2～320_N：服务器；
[0020]301:服务请求队列；
[0021]302:服务请求时间队列；
[0022]303:服务请求结果队列；
[0023]S210～S260:步骤。
具体实施方式
[0024]现将详细地参考本专利技术的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同元件符号在图式和描述中用来表示相同或相似部分。
[0025]图1是本专利技术的实施例的中介系统的装置示意图。参考图1，中介系统100包括处理器110以及存储设备120。处理器110电性连接存储设备120。中介系统100可包括有线及/或无线的物理通讯介面，以使中介系统100可通信于服务请求端210及多个服务器(server)220_1～220_N，其中N为正整数。在本实施例中，服务请求端210可以是由用户或租户操作的电子设备，例如电脑装置、智慧型手机或平板电脑等。在一实施例中，服务请求端210可例如是设置在地端的业务系统，而中介系统100以及服务器220_1～220_N可例如是设置在云端，但本专利技术并不限于此。在本实施例中，存储设备120用以存储服务代理人单元121、时间代理人单元122以及信息分配器123。
[0026]在本实施例中，服务器220_1～220_N的至少一部份可分别提供相同或不相同的服务。在本实施例中，中介系统100可通信于一个或多个服务请求端，而不限于图1所示。中介系统100可接收由一个或多个服务请求端输出的多个服务请求，其中这些服务请求的至少一部份可对应于相同或不相同的服务类型。中介系统100可依序将这些服务请求分别提供至对应的服务器，以使服务器220_1～220_N中可个别根据接收到的服务请求来执行对应的服务的程序，以产生并回传对应的服务请求结果至中介系统100。中介系统100可以有序的形式将多个回传的服务请求结果进一步输出至对应的服务请求端。
[0027]在本实施例中，所述服务请求可为面向信息，并且中介系统100可通过服务器执行可用于处理面向信息的中介软件(Message Oriented Middleware，MOM)、算法或程序来实现之。举例而言，所述多个服务请求可包括对应于多种人工智慧模型(AI model)的执行请
求(包括对应的输入数据)，并且服务器220_1～220_N可分别用于执行不同人工智慧模型。因此，中介系统100亦可先对所述多个服务请求进行分类后，再将对应于相同人工智慧模型(AI model)的执行请求(包括对应的输入数据)分散输入具有相同人工智慧模型的对应的多个服务器中，以使对应的所述多个服务器可有效率的执行对应的人工智慧模型，以返回对应的输出数据(即人工智慧处理结果)至中介系统100，且最后由中介系统100将其依序回传至对应的服务请求端。
[0028]在本实施例中，处理器110可为系统单晶片(System on a Chip，SOC)，或可例如包括中央处理单元(Central Processing Unit，CPU)或是其他可程式化之一般用途或特殊用途的微处理器(Microprocessor)、数位讯号处理器(Digital Signal Processor，DSP)、可程式化控制器、特殊应用积体电路(Application Specific Integrated Circuits，ASIC)、可程式化逻辑装置(Programmable Logic Device，PLD)、其他类似处理装置或这些装置的组合。在本实施例中，存储设备120可例如是动态随机存取存储器(Dynamic R本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种中介系统，其特征在于，用以通信于服务请求端以及多个服务器，其中所述中介系统包括：存储设备，用以存储服务代理人单元、时间代理人单元以及信息分配器；以及处理器，电性连接所述存储设备，并且用以执行所述服务代理人单元、所述时间代理人单元以及所述信息分配器，其中所述处理器接收由所述服务请求端发送的多个服务请求，并且所述处理器将所述多个服务请求依序写入服务请求队列，其中所述服务代理人单元根据所述服务请求队列来依序输出所述多个服务请求至所述多个服务器，并且所述多个服务器根据所述多个服务请求来回应多个服务请求结果至所述服务代理人单元，其中所述时间代理人单元侦测所述处理器接收到所述多个服务请求的时间，以将所述多个服务请求的多个服务请求端信息以及多个服务请求时间依序写入服务请求时间队列，其中所述信息分配器根据所述服务请求时间队列来建立信息分配表，并且所述信息分配器根据所述信息分配表来依序输出所述多个服务请求结果至所述服务请求端。2.根据权利要求1所述的中介系统，其特征在于，所述服务代理人单元将所述多个服务请求结果依序写入服务请求结果队列，并且所述信息分配器根据所述服务请求结果队列来更新所述信息分配表。3.根据权利要求1所述的中介系统，其特征在于，所述时间代理人单元将所述多个服务请求的所述多个服务请求端信息、所述多个服务请求时间以及多个通用唯一识别码依序写入所述服务请求时间队列。4.根据权利要求3所述的中介系统，其特征在于，所述信息分配表用以记录所述多个服务请求的所述多个服务请求端信息、所述多个服务请求时间、所述多个通用唯一识别码以及多个服务请求结果信息，并且所述多个服务请求结果信息根据所述多个服务请求时间来进行排序。5.根据权利要求4所述的中介系统，其特征在于，所述信息分配器根据所述多个服务请求结果信息的排序结果来依序输出所述多个服务请求结果至所述服务请求端。6.根据权利要求5所述的中介系统，其特征在于，所述多个服务请求结果包括第一服务请求结果以及第二服务请求结果，其中当所述信息分配表记录已接收所述第二服务请求结果，并且未接收所述第一服务请求结果时，所述信息分配器等待接收所述第一服务请求结果，并输出所述第一服务请求结果至所述服务请求端后，再输出所述第二服务请求结果至所述服务请求端。7.根据权利要求6所述的中介系统，其特征在于，所述信息分配器在等待超过预设时间未接收所述第一服务请求结果后，所述信息分配器直接输出所述第二服务请求结果至所述服务请求端。8.根据权利要求3所述的中介系统，其特征在于，所述多个通用唯一识别码由所述服务请求端生成。9.根据权利要求3所述的中介系统，其特征在于，当所述处理器接收所述多个服务请求时，所述处理器依序产生所述多个服务请求的所述多个通用唯一识别码。10.根据权利要求1所述的中介系统，其特征在于，所述中介系统通信于多个服务请求

【专利技术属性】
技术研发人员：吴兆麟，孙国鑫，
申请(专利权)人：鼎捷软件股份有限公司，
类型：发明
国别省市：