一種基于通道隔離的業(yè)務(wù)分配方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)交換技術(shù)領(lǐng)域，具體涉及一種基于通道隔離的業(yè)務(wù)分配方法和裝置。
【背景技術(shù)】
[0002]在互聯(lián)網(wǎng)技術(shù)的發(fā)展浪潮中，電商行業(yè)發(fā)展迅猛。隨著電商業(yè)務(wù)量的不斷擴(kuò)展，電商平臺(tái)每天處理的數(shù)據(jù)量逐步增加，數(shù)據(jù)交換系統(tǒng)承受著較大壓力，例如為提高消費(fèi)者的網(wǎng)購(gòu)體驗(yàn)，電商往往愿意承諾在極短時(shí)間內(nèi)完成商品的接單備貨直至配送，這對(duì)數(shù)據(jù)交換系統(tǒng)的吞吐量和實(shí)時(shí)處理能力要求較高；如果碰到電商大促銷(xiāo)的情況，數(shù)據(jù)單量會(huì)在短時(shí)間內(nèi)迅速攀升，對(duì)數(shù)據(jù)交換系統(tǒng)的處理能力構(gòu)成挑戰(zhàn)。當(dāng)前，常規(guī)數(shù)據(jù)交換平臺(tái)的吞吐量和實(shí)時(shí)處理能力越來(lái)越不能滿(mǎn)足大規(guī)模電商及時(shí)配送的要求，而進(jìn)行系統(tǒng)擴(kuò)展需建立在昂貴的硬件成本和軟件成本基礎(chǔ)上，無(wú)法做到低成本擴(kuò)展。如何實(shí)現(xiàn)電商應(yīng)用中各種單據(jù)數(shù)據(jù)的有效傳遞，滿(mǎn)足日常情況以及大促銷(xiāo)等特殊情況下的數(shù)據(jù)處理需求，在技術(shù)實(shí)現(xiàn)上是一個(gè)挑戰(zhàn)。

【發(fā)明內(nèi)容】

[0003]有鑒于此，本發(fā)明提出一種基于通道隔離的業(yè)務(wù)分配方法和裝置，對(duì)不同性質(zhì)的數(shù)據(jù)實(shí)施傳輸通道隔離，各通道傳輸過(guò)程互不影響，保證對(duì)及時(shí)性要求高的數(shù)據(jù)優(yōu)先處理。
[0004]—方面，本發(fā)明提供一種基于通道隔離的業(yè)務(wù)分配方法，包括:業(yè)務(wù)注冊(cè)步驟，將多種業(yè)務(wù)注冊(cè)到系統(tǒng)配置信息中，注冊(cè)內(nèi)容包括每種業(yè)務(wù)的數(shù)據(jù)生產(chǎn)者、數(shù)據(jù)消費(fèi)者、優(yōu)先級(jí)和處理流程；通道創(chuàng)建步驟，根據(jù)系統(tǒng)配置信息生成多個(gè)數(shù)據(jù)通道，以使每種業(yè)務(wù)對(duì)應(yīng)至少一個(gè)數(shù)據(jù)通道，其中各個(gè)數(shù)據(jù)通道之間相互隔離，每個(gè)數(shù)據(jù)通道對(duì)應(yīng)一個(gè)優(yōu)先級(jí)；以及通道分配步驟，當(dāng)接收到來(lái)自數(shù)據(jù)生產(chǎn)者的業(yè)務(wù)數(shù)據(jù)時(shí)，根據(jù)該業(yè)務(wù)的優(yōu)先級(jí)選取對(duì)應(yīng)的數(shù)據(jù)通道，將該業(yè)務(wù)分配給該數(shù)據(jù)通道，其中該業(yè)務(wù)的優(yōu)先級(jí)與該數(shù)據(jù)通道的優(yōu)先級(jí)相匹配。
[0005]優(yōu)選地，其中數(shù)據(jù)通道的優(yōu)先級(jí)越高，該數(shù)據(jù)通道的處理能力越高，且單個(gè)通道中各個(gè)節(jié)點(diǎn)的處理能力相匹配。
[0006]優(yōu)選地，其中所述注冊(cè)內(nèi)容還包括每種業(yè)務(wù)的平均單量，并且在所述通道創(chuàng)建步驟中，業(yè)務(wù)的平均單量越多，對(duì)該種業(yè)務(wù)生成的數(shù)據(jù)通道的線程數(shù)越多。
[0007]優(yōu)選地，該方法還包括:單量更新步驟，按照預(yù)設(shè)條件對(duì)系統(tǒng)配置信息中一種或多種業(yè)務(wù)的平均單量進(jìn)行更新；自適應(yīng)調(diào)整步驟，根據(jù)更新后的平均單量對(duì)對(duì)應(yīng)的數(shù)據(jù)通道的線程數(shù)進(jìn)行調(diào)整。
[0008]優(yōu)選地，其中所述預(yù)設(shè)條件為當(dāng)預(yù)定時(shí)間段內(nèi)實(shí)際的平均單量大于預(yù)定閾值時(shí)，對(duì)系統(tǒng)配置信息中的平均單量進(jìn)行更新，其中預(yù)定閾值為系統(tǒng)配置信息中的平均單量的1.5 倍。
[0009]另一方面，本發(fā)明還提供一種基于通道隔離的業(yè)務(wù)分配裝置，包括:業(yè)務(wù)注冊(cè)模塊，用于將多種業(yè)務(wù)注冊(cè)到系統(tǒng)配置信息中，注冊(cè)內(nèi)容包括每種業(yè)務(wù)的數(shù)據(jù)生產(chǎn)者、數(shù)據(jù)消費(fèi)者、優(yōu)先級(jí)和處理流程；通道創(chuàng)建模塊，用于根據(jù)系統(tǒng)配置信息生成多個(gè)數(shù)據(jù)通道，以使每種業(yè)務(wù)對(duì)應(yīng)至少一個(gè)數(shù)據(jù)通道，并為每個(gè)數(shù)據(jù)通道建立任務(wù)隊(duì)列，其中每個(gè)數(shù)據(jù)通道對(duì)應(yīng)一個(gè)優(yōu)先級(jí)；以及通道分配模塊，用于當(dāng)接收到來(lái)自數(shù)據(jù)生產(chǎn)者的業(yè)務(wù)數(shù)據(jù)時(shí)，根據(jù)該業(yè)務(wù)的優(yōu)先級(jí)選取對(duì)應(yīng)的數(shù)據(jù)通道，將該業(yè)務(wù)分配給該數(shù)據(jù)通道，其中該業(yè)務(wù)的優(yōu)先級(jí)與該數(shù)據(jù)通道的優(yōu)先級(jí)相匹配。
[0010]另一方面，本發(fā)明還提供一種服務(wù)器，其包括如上所述的基于通道隔離的業(yè)務(wù)分配裝置。
[0011]有益效果:本發(fā)明屬于電商數(shù)據(jù)交換系統(tǒng)的重要組成部分，在數(shù)據(jù)傳輸過(guò)程中，按照數(shù)據(jù)重要性及時(shí)性要求不同來(lái)分配不同大小、彼此隔離的系統(tǒng)資源，來(lái)進(jìn)行不同性質(zhì)的數(shù)據(jù)傳輸。本發(fā)明實(shí)施例對(duì)不同性質(zhì)的數(shù)據(jù)傳輸通道進(jìn)行隔離，通過(guò)通道分配策略，使不同優(yōu)先級(jí)的數(shù)據(jù)在傳輸過(guò)程中互不影響，可解決在數(shù)據(jù)量超大、不同優(yōu)先級(jí)數(shù)據(jù)混雜且較低的資源投入情況下，保證及時(shí)性較高的數(shù)據(jù)及時(shí)投遞到目的系統(tǒng)的難題。利用本發(fā)明的實(shí)施例，各類(lèi)數(shù)據(jù)可獨(dú)立擴(kuò)展，可有針對(duì)性的增加某個(gè)數(shù)據(jù)類(lèi)型的吞吐量，以適應(yīng)電商應(yīng)用高度靈活性的應(yīng)用需求，可有效解決在電商應(yīng)用中由于促銷(xiāo)產(chǎn)生的數(shù)據(jù)風(fēng)暴導(dǎo)致重要數(shù)據(jù)受其他數(shù)據(jù)影響而滯留的問(wèn)題，利用本發(fā)明實(shí)施例可將有效的計(jì)算資源使用到最重要、及時(shí)性最高的數(shù)據(jù)傳輸中，節(jié)省硬件資源投入。
【附圖說(shuō)明】
[0012]圖1是本發(fā)明實(shí)施例的基于通道隔離的業(yè)務(wù)分配方法流程框圖。
[0013]圖2是本發(fā)明實(shí)施例可采用的數(shù)據(jù)交換平臺(tái)的系統(tǒng)架構(gòu)。
[0014]圖3是本發(fā)明實(shí)施例中當(dāng)接收到某類(lèi)型業(yè)務(wù)數(shù)據(jù)時(shí)，為該業(yè)務(wù)分配數(shù)據(jù)通道的流程圖。
[0015]圖4是本發(fā)明實(shí)施例中注冊(cè)生產(chǎn)者和消費(fèi)者并與通道建立關(guān)聯(lián)的流程圖。
[0016]圖5是本發(fā)明實(shí)施例中的通道自適應(yīng)調(diào)整流程圖。
[0017]圖6是本發(fā)明實(shí)施例中的數(shù)據(jù)通道的內(nèi)部結(jié)構(gòu)圖。
[0018]圖7是本發(fā)明實(shí)施例的基于通道隔離的業(yè)務(wù)分配裝置的結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0019]以下結(jié)合附圖以及具體實(shí)施例，對(duì)本發(fā)明的技術(shù)方案進(jìn)行詳細(xì)描述。
[0020]首先簡(jiǎn)要介紹電商平臺(tái)數(shù)據(jù)的類(lèi)型，大體上可分為三類(lèi)，第一類(lèi)數(shù)據(jù)的重要性和及時(shí)性要求最高，例如“限時(shí)送達(dá)”的商品訂單數(shù)據(jù)；第二類(lèi)數(shù)據(jù)的及時(shí)性要求較高，例如普通的商品訂單數(shù)據(jù)、促銷(xiāo)信息數(shù)據(jù)；第三類(lèi)數(shù)據(jù)的及時(shí)性要求較低，如物流信息數(shù)據(jù)。
[0021]圖1示出了本發(fā)明實(shí)施例的基于通道隔離的業(yè)務(wù)分配方法流程圖，包括:
[0022]業(yè)務(wù)注冊(cè)步驟:將多種業(yè)務(wù)注冊(cè)到系統(tǒng)配置信息中，注冊(cè)內(nèi)容包括每種業(yè)務(wù)的數(shù)據(jù)生產(chǎn)者、數(shù)據(jù)消費(fèi)者、優(yōu)先級(jí)和處理流程；
[0023]通道創(chuàng)建步驟:根據(jù)系統(tǒng)配置信息生成多個(gè)數(shù)據(jù)通道，以使每種業(yè)務(wù)對(duì)應(yīng)至少一個(gè)數(shù)據(jù)通道，其中各個(gè)數(shù)據(jù)通道之間相互隔離，每個(gè)數(shù)據(jù)通道對(duì)應(yīng)一個(gè)優(yōu)先級(jí)；以及
[0024]通道分配步驟:當(dāng)接收到來(lái)自數(shù)據(jù)生產(chǎn)者的業(yè)務(wù)數(shù)據(jù)時(shí)，根據(jù)該業(yè)務(wù)的優(yōu)先級(jí)選取對(duì)應(yīng)的數(shù)據(jù)通道，將該業(yè)務(wù)分配給該數(shù)據(jù)通道，其中該業(yè)務(wù)的優(yōu)先級(jí)與該數(shù)據(jù)通道的優(yōu)先級(jí)相匹配。
[0025]按照上述步驟可將不同種類(lèi)的業(yè)務(wù)按優(yōu)先級(jí)分配到相應(yīng)的數(shù)據(jù)通道中，例如可將“限時(shí)送達(dá)”訂單業(yè)務(wù)分配到優(yōu)先級(jí)最高的數(shù)據(jù)通道中，將普通訂單業(yè)務(wù)和促銷(xiāo)信息業(yè)務(wù)分配到優(yōu)先級(jí)居中的數(shù)據(jù)通道中，將物流信息業(yè)務(wù)分配到優(yōu)先級(jí)最低的數(shù)據(jù)通道中，每個(gè)業(yè)務(wù)在分配好的通道中進(jìn)行處理，處理完畢后發(fā)送給數(shù)據(jù)消費(fèi)者。
[0026]這樣處理的好處是，由于通道之間彼此獨(dú)立，互不影響，因此即使遇到數(shù)據(jù)洪峰的情況，仍然能夠準(zhǔn)確地將有限的計(jì)算資源投入到優(yōu)先級(jí)高的數(shù)據(jù)通道中，對(duì)及時(shí)性要求高的數(shù)據(jù)優(yōu)先處理，實(shí)現(xiàn)電商平臺(tái)中重要單據(jù)的有效傳遞。
[0027]在實(shí)際應(yīng)用場(chǎng)景中，如圖2，示出了本發(fā)明的實(shí)施例可采用的數(shù)據(jù)交換平臺(tái)的系統(tǒng)架構(gòu)，描述了數(shù)據(jù)交換平臺(tái)的各個(gè)參與方的關(guān)系。該數(shù)據(jù)交換平臺(tái)包括:服務(wù)器、若干數(shù)據(jù)生產(chǎn)者、若干數(shù)據(jù)消費(fèi)者，以及鏈接在各生產(chǎn)者和各消費(fèi)者之間的若干數(shù)據(jù)通道。
[0028]其中，生產(chǎn)者是指產(chǎn)出業(yè)務(wù)數(shù)據(jù)并向其他系統(tǒng)發(fā)送業(yè)務(wù)數(shù)據(jù)的系統(tǒng)(如前臺(tái)訂單系統(tǒng)、采購(gòu)系統(tǒng)等)。消費(fèi)者是指接收業(yè)務(wù)數(shù)據(jù)的系統(tǒng)(如后臺(tái)的倉(cāng)儲(chǔ)系統(tǒng)，配送系統(tǒng))。通常一個(gè)系統(tǒng)既可以作為生產(chǎn)者，也可以作為消費(fèi)者。生產(chǎn)者發(fā)送的數(shù)據(jù)可以面向一個(gè)消費(fèi)者，也可以面向一個(gè)消費(fèi)者群組。其中，各個(gè)數(shù)據(jù)通道是鏈接消費(fèi)者與生產(chǎn)者的紐帶，每個(gè)通道包含一組處理線程，這些線程從通道的任務(wù)隊(duì)列中獲取業(yè)務(wù)ID，并可根據(jù)業(yè)務(wù)ID獲取數(shù)據(jù)報(bào)文，進(jìn)行后續(xù)數(shù)據(jù)處理。
[0029]在本發(fā)明的實(shí)施例中，在業(yè)務(wù)注冊(cè)階段，需將各種業(yè)務(wù)數(shù)據(jù)的生產(chǎn)者，消費(fèi)者，每種業(yè)務(wù)的系統(tǒng)優(yōu)先級(jí)、平均單量(如日均單量)、處理流程、下發(fā)方式等信息注冊(cè)到系統(tǒng)的配置信息中。
[0030]所有配置信息完成后，進(jìn)入通道創(chuàng)建階段，根據(jù)系統(tǒng)配置信息(至少包含業(yè)務(wù)數(shù)據(jù)的生產(chǎn)者、消費(fèi)者、優(yōu)先級(jí))創(chuàng)建各種類(lèi)型的數(shù)據(jù)通道，各個(gè)通道有不同的系統(tǒng)優(yōu)先級(jí)，優(yōu)先級(jí)高則處理能力高，并可為各個(gè)通道建立任務(wù)隊(duì)列。
[0031]當(dāng)服務(wù)器接收到生產(chǎn)者的業(yè)務(wù)數(shù)據(jù)時(shí)，進(jìn)入通道分配階段，該業(yè)務(wù)數(shù)據(jù)中含有用于表示業(yè)務(wù)優(yōu)先級(jí)的唯一標(biāo)識(shí)，根據(jù)該標(biāo)識(shí)，從系統(tǒng)配置信息中可獲得該業(yè)務(wù)配置的通道信息，將該業(yè)務(wù)數(shù)據(jù)的業(yè)務(wù)ID存放到對(duì)應(yīng)的通道隊(duì)列中，同時(shí)可將該業(yè)務(wù)數(shù)據(jù)的報(bào)文信息存儲(chǔ)到例如分布式文件系統(tǒng)中。
[0032]以上對(duì)來(lái)自生產(chǎn)者的業(yè)務(wù)數(shù)據(jù)分配了優(yōu)先級(jí)匹配的數(shù)據(jù)通道，在后續(xù)處理中，消息處理中心根據(jù)分配的通道信息獲取通道中的處理節(jié)點(diǎn)，將任務(wù)隊(duì)列中的業(yè)務(wù)ID數(shù)據(jù)按順序放到處理節(jié)點(diǎn)中，找到對(duì)應(yīng)的數(shù)據(jù)報(bào)文，依次進(jìn)行處理。數(shù)據(jù)在消息處理中心處理完成后，再根據(jù)通道的配置信息，將數(shù)據(jù)發(fā)送到消費(fèi)者。
[0033]圖3示出了本發(fā)明某些實(shí)施例中，當(dāng)接收到某種類(lèi)型的業(yè)務(wù)數(shù)據(jù)時(shí)，為該業(yè)務(wù)分配數(shù)據(jù)通道的流程圖。首先使用數(shù)據(jù)交換系統(tǒng)的生產(chǎn)者和消費(fèi)者在系統(tǒng)中注冊(cè)，并完成所有的相關(guān)配置，系統(tǒng)為每個(gè)業(yè)務(wù)(也稱(chēng)為“主題” subject)生成數(shù)據(jù)通道，用于連接這個(gè)業(yè)務(wù)的生產(chǎn)者和消費(fèi)者。當(dāng)系統(tǒng)接收到該主題的數(shù)據(jù)后，會(huì)將該主題的數(shù)據(jù)生成的任務(wù)與該主題分配的通道進(jìn)行綁定。
[0034]其中，需要注意的是，在系統(tǒng)完成注冊(cè)配置并創(chuàng)建數(shù)據(jù)通道之后，即在系統(tǒng)中形成了每種業(yè)務(wù)與對(duì)應(yīng)通道的綁定關(guān)系。則當(dāng)接收到一條新的業(yè)務(wù)數(shù)據(jù)時(shí)，可以根據(jù)該業(yè)務(wù)數(shù)據(jù)的優(yōu)先級(jí)標(biāo)識(shí)來(lái)選取對(duì)應(yīng)的通道，后續(xù)處理交給通道中的后臺(tái)線程進(jìn)行處理。
[0035]圖4示出了本發(fā)明某些實(shí)施例中將生產(chǎn)者和消費(fèi)者在系統(tǒng)中注冊(cè)并與通道建立關(guān)聯(lián)的流程圖。通道的分配是在注冊(cè)生產(chǎn)者、消費(fèi)者、發(fā)布主題時(shí)確定的，其中，發(fā)布主題就是指發(fā)布該生產(chǎn)者的業(yè)務(wù)、確定業(yè)務(wù)數(shù)據(jù)的優(yōu)先級(jí)及業(yè)務(wù)日均單量等信息，供消費(fèi)者訂閱。消費(fèi)者注冊(cè)后一旦訂閱了某主題，意味著該消費(fèi)者可以接收該業(yè)務(wù)數(shù)據(jù)，則配置完成后，系統(tǒng)根據(jù)生產(chǎn)者和消費(fèi)者之間的訂閱關(guān)系生成數(shù)據(jù)通道。上述過(guò)程對(duì)用戶(hù)是透明的，用戶(hù)可通過(guò)管理端查看系統(tǒng)為每個(gè)業(yè)務(wù)分配的通道信息。
[0036]其中，特定主題的數(shù)據(jù)會(huì)分配到一個(gè)或多個(gè)通道上去，如果某個(gè)主題的數(shù)據(jù)分配到多個(gè)通道上，則根據(jù)通道的處理能力進(jìn)行負(fù)載分配。<