Hive客戶端、Hive服務器、Hive執(zhí)行日志遠程監(jiān)控系統(tǒng)和方法
【專利摘要】本發(fā)明涉及執(zhí)行日志遠程監(jiān)控領域，公開了一種Hive客戶端、Hive服務器、Hive執(zhí)行日志遠程監(jiān)控系統(tǒng)和方法。該服務器包括：存儲模塊，用于存儲執(zhí)行日志；第一接收模塊，用于接收Hive客戶端發(fā)送的執(zhí)行日志查詢請求；執(zhí)行日志獲取模塊，用于根據(jù)所述執(zhí)行日志查詢請求，從所述存儲模塊中獲取執(zhí)行日志；第一發(fā)送模塊，用于將獲取的執(zhí)行日志發(fā)送給所述Hive客戶端。該Hive服務器既可以進行遠程訪問，又可以根據(jù)不同的日志參數(shù)獲取不同的執(zhí)行日志，避免了在同時獲取不同的執(zhí)行日時造成的沖突，滿足了人們遠程監(jiān)控Hive執(zhí)行日志的需求。
【專利說明】
H i ve客戶端、H i ve服務器、H i ve執(zhí)行日志遠程監(jiān)控系統(tǒng)和方法
技術領域
[0001]本發(fā)明涉及執(zhí)行日志遠程監(jiān)控領域，具體地，涉及一種Hive客戶端、Hive服務器、Hive執(zhí)行日志遠程監(jiān)控系統(tǒng)和方法。
【背景技術】
[0002]Hive是基于Hadoop的一個數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表格，并提供簡單的sql(Structured Query Language)查詢功能，可以將sql語句轉(zhuǎn)換為MapReduce任務進行運行。Hive可以提供三種連接方式，即Cli (Iinux的She 11命令行方式)、JDBC/ODBC、WebUI，其中，Cli連接方式可以實時查詢執(zhí)行日志，但由于Cli只提供本地服務器系統(tǒng)的訪問方式，每次查詢只能在本地服務器系統(tǒng)上進行，且執(zhí)行不同請求產(chǎn)生的執(zhí)行日志存放在一起，使得執(zhí)行日志的存儲產(chǎn)生沖突，致使執(zhí)行日志的查詢很不方便，在現(xiàn)實中的使用也較少，而JDBC和WebUI連接方式雖然可以進行遠程訪問，但卻不支持執(zhí)行日志的查詢功能，因此，到目前為止，Hive還不能提供一種既能進行遠程訪問，又能實時查詢執(zhí)行日志的技術。
[0003]現(xiàn)在很多業(yè)務中，Hive的JDBC連接方式已經(jīng)成為了一種主流的連接方式，人們對于能夠隨時遠程查詢執(zhí)行日志以實現(xiàn)對日志進行實時分析的需求也越來越大，故在JDBC或WebUI的遠程訪問方式的基礎上，開發(fā)一種能夠支持執(zhí)行日志監(jiān)控的技術是一件十分急需的事情。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是提供一種Hive客戶端、Hive服務器、Hive執(zhí)行日志遠程監(jiān)控系統(tǒng)和方法，以實現(xiàn)既能進行遠程訪問Hive系統(tǒng)，又能實時監(jiān)控Hive系統(tǒng)執(zhí)行會話請起所產(chǎn)生的執(zhí)行日志。
[0005]為了實現(xiàn)上述目的，本發(fā)明提供了一種Hive服務器，該Hive服務器包括:存儲模塊，用于存儲執(zhí)行日志;第一接收模塊，用于接收Hive客戶端發(fā)送的執(zhí)行日志查詢請求;執(zhí)行日志獲取模塊，用于根據(jù)所述執(zhí)行日志查詢請求，從所述存儲模塊中獲取執(zhí)行日志;第一發(fā)送模塊，用于將獲取的執(zhí)行日志發(fā)送給所述Hive客戶端。
[0006]優(yōu)選地，所述第一接收模塊還用于接收所述Hive客戶端發(fā)送的日志參數(shù);所述執(zhí)行日志獲取模塊用于根據(jù)所述執(zhí)行日志查詢請求以及所述日志參數(shù)，從所述存儲模塊中獲取與所述執(zhí)行日志查詢請求以及所述日志參數(shù)對應的執(zhí)行日志;所述第一發(fā)送模塊用于將獲取的與日志參數(shù)對應的執(zhí)行日志發(fā)送給Hive客戶端。
[0007]優(yōu)選地，所述第一接收模塊還用于接收所述Hive客戶端發(fā)送的會話請求；所述Hi ve服務器還包括:執(zhí)行模塊，用于執(zhí)行所述會話請求，并將執(zhí)行所述會話請求產(chǎn)生的執(zhí)行日志發(fā)送給所述存儲模塊;所述存儲模塊用于存儲所述執(zhí)行日志。
[0008]優(yōu)選地，所述會話請求中包括日志參數(shù);所述存儲模塊用于根據(jù)所述日志參數(shù)分組存儲所述執(zhí)行日志。
[0009]為了實現(xiàn)上述目的，本發(fā)明還提供了一種Hive客戶端，該Hive客戶端包括:第二接收模塊，用于接收執(zhí)行日志查詢請求;所述第二發(fā)送模塊，用于將所述執(zhí)行日志查詢請求發(fā)送給Hi ve服務器;第三接收模塊，用于接收所述Hi ve服務器根據(jù)所述執(zhí)行日志查詢請求發(fā)送的執(zhí)行日志。
[0010]優(yōu)選地，所述第二接收模塊還用于接收日志參數(shù);所述第二發(fā)送模塊還用于將所述日志參數(shù)發(fā)送給所述Hive服務器;所述第三接收模塊用于接收所述Hi ve服務器發(fā)送的與所述執(zhí)行日志查詢請求以及所述日志參數(shù)對應的執(zhí)行日志。
[0011]優(yōu)選地，所述第二接收模塊還用于接收會話請求，所述會話請求中包括所述日志參數(shù);所述第二發(fā)送模塊還用于將所述會話請求發(fā)送給所述Hi ve服務器。
[0012]為了實現(xiàn)上述目的，本發(fā)明還提供了一種在Hive服務器端獲取執(zhí)行日志的方法，該方法包括:接收Hi ve客戶端發(fā)送的執(zhí)行日志查詢請求;根據(jù)所述執(zhí)行日志查詢請求，從存儲模塊中獲取執(zhí)行日志；以及將獲取的執(zhí)行日志發(fā)送給所述Hive客戶端。
[0013]優(yōu)選地，所述方法還包括:接收所述Hive客戶端發(fā)送的日志參數(shù);根據(jù)所述執(zhí)行日志查詢請求以及所述日志參數(shù)，從所述存儲模塊中獲取與所述執(zhí)行日志查詢請求以及所述日志參數(shù)對應的執(zhí)行日志；以及將獲取的與日志參數(shù)對應的執(zhí)行日志發(fā)送給Hive客戶端。
[0014]優(yōu)選地，所述方法還包括:接收所述Hive客戶端發(fā)送的會話請求;執(zhí)行所述會話請求，并將執(zhí)行所述會話請求產(chǎn)生的執(zhí)行日志發(fā)送給所述存儲模塊;所述存儲模塊存儲所述執(zhí)行日志。
[0015]優(yōu)選地，所述會話請求中包括日志參數(shù);所述方法還包括:所述存儲模塊根據(jù)所述日志參數(shù)分組存儲所述執(zhí)行日志。
[0016]為了實現(xiàn)上述目的，本發(fā)明還提供了一種在Hive客戶端獲取執(zhí)行日志的方法，該方法包括:接收執(zhí)行日志查詢請求，并根據(jù)所述執(zhí)行日志查詢請求獲取執(zhí)行日志查詢請求；將所述執(zhí)行日志查詢請求發(fā)送給Hive服務器;接收所述Hi ve服務器根據(jù)所述執(zhí)行日志查詢請求發(fā)送的執(zhí)行日志。
[0017]優(yōu)選地，該方法還包括:接收日志參數(shù);將所述日志參數(shù)發(fā)送給所述Hive服務器；接收所述Hive服務器發(fā)送的與所述執(zhí)行日志查詢請求以及所述日志參數(shù)對應的執(zhí)行日志。
[0018]優(yōu)選地，所述方法還包括:接收會話請求，所述會話請求中包括所述日志參數(shù);將所述會話請求發(fā)送給所述Hive服務器。
[0019]本發(fā)明還提供了一種包括上述Hive服務器和Hive客戶端的Hive執(zhí)行日志遠程監(jiān)控系統(tǒng)。
[0020]本發(fā)明的其它特征和優(yōu)點將在隨后的【具體實施方式】部分予以詳細說明。
【附圖說明】
[0021]附圖是用來提供對本發(fā)明的進一步理解，并且構(gòu)成說明書的一部分，與下面的【具體實施方式】一起用于解釋本發(fā)明，但并不構(gòu)成對本發(fā)明的限制。在附圖中:
[0022]圖1是根據(jù)本發(fā)明的一實施例的Hive執(zhí)行日志遠程監(jiān)控系統(tǒng)；
[0023]圖2是根據(jù)本發(fā)明的一實施例的Hive執(zhí)行日志遠程監(jiān)控系統(tǒng)；
[0024]圖3是根據(jù)本發(fā)明的一實施例的在Hive客戶端獲取執(zhí)行日志的方法的流程圖；
[0025]圖4是根據(jù)本發(fā)明的一實施例的在Hive服務器端獲取執(zhí)行日志的方法的流程圖；
[0026]圖5是根據(jù)本發(fā)明的一實施例的Hive執(zhí)行日志遠程監(jiān)控系統(tǒng)。
【具體實施方式】
[0027]以下結(jié)合附圖對本發(fā)明的【具體實施方式】進行詳細說明。應當理解的是，此處所描述的【具體實施方式】僅用于說明和解釋本發(fā)明，并不用于限制本發(fā)明。
[0028]本發(fā)明提供了一種Hive客戶端，該Hive客戶端既可利用Hive的JDBC或WebUI的遠程訪問方式，又可用于遠程獲取執(zhí)行日志。該Hive客戶端可被應用于如圖1所示的根據(jù)本發(fā)明的一實施例的Hive執(zhí)行日志遠程監(jiān)控系統(tǒng)中，該系統(tǒng)包括Hive客戶端100和Hive服務器，其中，Hive客戶端100包括第二接收模塊110、第二發(fā)送模塊120和第三接收模塊130。在這一實施例中，Hive客戶端具有自動獲取執(zhí)行日志的功能，其自動獲取執(zhí)行日志的過程如下:訪問Hi ve的一個或多個應用向Hi ve客戶端的第二接收模塊110發(fā)送執(zhí)行日志查詢請求。該第二接收模塊110接收執(zhí)行日志查詢請求，并將執(zhí)行日志查詢請求發(fā)送給Hive客戶端的第二發(fā)送模塊120。該第二發(fā)送模塊120將執(zhí)行日志查詢請求發(fā)送給Hive服務器，Hive服務器接收并執(zhí)行執(zhí)行日志查詢請求以獲取執(zhí)行日志，并將獲取的執(zhí)行日志發(fā)送給Hive客戶端100的第三接收模塊130，由該第三接收模塊130將獲取的執(zhí)行日志發(fā)送給訪問Hive的一個或多個應用。通過本實施例中的Hive客戶端，用戶只需要通過訪問Hive的一個或多個應用向Hive客戶端發(fā)送執(zhí)行日志查詢請求，就可以通過Hive客戶端自動獲取執(zhí)行日志，以實現(xiàn)對執(zhí)行日志的遠程監(jiān)控。
[0029]在這一實施例中，所述執(zhí)行日志可為有關會話請求的執(zhí)行日志，現(xiàn)介紹該執(zhí)行日志的生成過程。訪問Hive的一個或多個應用接收到會話請求后，將會話請求發(fā)送給Hive客戶端100的第二接收模塊110。該第二接收模塊110接收并將會話請求發(fā)送給Hive客戶端100的第二發(fā)送模塊120，該第二發(fā)送模塊120將會話請求發(fā)送給Hive服務器。Hive服務器接收并執(zhí)行會話請求，并將執(zhí)行會話請求產(chǎn)生的執(zhí)行日志進行存儲，為后續(xù)獲取執(zhí)行日志以實現(xiàn)對執(zhí)行日志的遠程監(jiān)控做準備。Hive服務器還將執(zhí)行會話請求得到的結(jié)果發(fā)送給Hive客戶端的第三接收模塊130，由該第三接收模塊130將上述結(jié)果發(fā)送給訪問Hive的一個或多個應用。
[0030]優(yōu)選地，會話請求中包括日志參數(shù)。上述Hive客戶端100的第二接收模塊110和第二發(fā)送模塊120還可以將包括日志參數(shù)的會話請求發(fā)送給Hive服務器，使Hive服務器可以根據(jù)日志參數(shù)將執(zhí)行會話請求產(chǎn)生的執(zhí)行日志分組存儲，以避免執(zhí)行不同的會話請求產(chǎn)生的執(zhí)行日志在存儲時造成混亂和沖突。
[0031]優(yōu)選地，Hive客戶端100的第二接收模塊110還用于接收日志參數(shù)，Hive客戶端100的第二發(fā)送模塊120將該日志參數(shù)發(fā)送給Hive服務器，Hive客戶端100的第三接收模塊130接收Hive服務器發(fā)送的與上述日志查詢請求以及所述日志參數(shù)對應的執(zhí)行日志。通過這一優(yōu)選方式，Hive客戶端100可以根據(jù)日志參數(shù)分組接收Hive服務器發(fā)送的與日志查詢請求以及所述日志參數(shù)對應的執(zhí)行日志，避免了Hive客戶端100在同時接收不同的會話請求產(chǎn)生的執(zhí)行日志時造成的混亂和沖突。
[0032]本發(fā)明還提供了一種Hive服務器，該Hive服務器既可利用Hive的JDBC或WebUI的遠程訪問方式，又可用于遠程獲取執(zhí)行日志。該Hive服務器可被應用于如圖2所示的根據(jù)本發(fā)明的一實施例的Hive執(zhí)行日志遠程監(jiān)控系統(tǒng)中，該系統(tǒng)包括Hive客戶端和Hive服務器。其中，Hive服務器包括存儲模塊210、第一接收模塊220、執(zhí)行模塊250、執(zhí)行日志獲取模塊230和第一發(fā)送模塊240。在這一實施例中，當需要查詢執(zhí)行會話請求產(chǎn)生的執(zhí)行日志時，Hive客戶端接收執(zhí)行日志查詢請求并向Hive服務器200的第一接收模塊220發(fā)送執(zhí)行日志查詢請求。該第一接收模塊220接收并將執(zhí)行日志獲取請求發(fā)送給Hive服務器200的執(zhí)行日志獲取模塊230，該執(zhí)行日志獲取模塊230接收并根據(jù)執(zhí)行日志查詢請求從Hive服務器200的存儲模塊210中獲取執(zhí)行日志，并將獲取的執(zhí)行日志發(fā)送給Hive服務器200的第一發(fā)送模塊240，由該第一發(fā)送模塊240將獲取的執(zhí)行日志發(fā)送給Hive客戶端。通過本實施例中的Hive服務器200，可以根據(jù)Hive客戶端發(fā)送的執(zhí)行日志查詢請求自動獲取執(zhí)行日志，并將獲取的執(zhí)行日志自動發(fā)送給Hive客戶端，以實現(xiàn)對執(zhí)行日志的遠程獲取。
[0033]在這一實施例中，有關會話請求的執(zhí)行日志的生成過程如下:Hive客戶端接收會話請求并向Hive服務器的第一接收模塊發(fā)送會話請求，該第一接收模塊接收并將會話請求發(fā)送給Hive服務器的執(zhí)行模塊，該執(zhí)行模塊執(zhí)行會話請求并將執(zhí)行會話請求產(chǎn)生的執(zhí)行日志發(fā)送給Hive服務器的存儲模塊，該存儲模塊存儲接收到的執(zhí)行日志。Hive服務器的執(zhí)行模塊在執(zhí)行完會話請求后，還將執(zhí)行會話請求得到的結(jié)果發(fā)送給Hive服務器的第一發(fā)送模塊，由該第一發(fā)送模塊將上述結(jié)果發(fā)送給Hi ve客戶端。通過本實施例中的Hi ve服務器，可以將執(zhí)行會話請求產(chǎn)生的執(zhí)行日志自動進行存儲，用戶在需要查詢執(zhí)行日志時，可以隨時從Hive服務器中獲取。需要注意的是，執(zhí)行日志的存儲可以是暫時存儲，在Hive客戶端獲取執(zhí)行日志后，可將Hive服務器中對應的執(zhí)行日志刪除，以節(jié)省Hive服務器中的存儲模塊的存儲資源。
[0034]優(yōu)選地，會話請求中包括日志參數(shù)，Hive服務器中的存儲模塊可根據(jù)日志參數(shù)將執(zhí)行日志進行分組存儲，以避免不同會話請求產(chǎn)生的執(zhí)行日志在存儲時造成混亂和沖突。該日志參數(shù)還可作為后續(xù)獲取執(zhí)行日志的根據(jù)。
[0035]優(yōu)選地，Hive服務器中的第一接收模塊還可以接收Hive客戶端發(fā)送的日志參數(shù)，Hive服務器中的執(zhí)行日志獲取模塊可根據(jù)執(zhí)行日志查詢請求從Hive服務器中的存儲模塊中獲取與所述執(zhí)行日志查詢請求及日志參數(shù)對應的執(zhí)行日志，以避免不同會話請求產(chǎn)生的執(zhí)行日志在獲取時造成的混亂和沖突，為執(zhí)行日志的查詢提供了便利。
[0036]在基于Hive的JDBC或WebUI的遠程訪問方式的基礎上，本發(fā)明還提供了一種在Hive客戶端獲取執(zhí)行日志的方法。圖3是根據(jù)本發(fā)明的一實施例的在Hive客戶端獲取執(zhí)行日志的方法的流程圖，該方法包括:
[0037]S1、接收執(zhí)行日志查詢請求。Hive客戶端中的第二接收模塊接收訪問Hive的一個或多個應用發(fā)送的執(zhí)行日志查詢請求，并將該執(zhí)行日志查詢請求發(fā)送給Hive客戶端中的第二發(fā)送模塊。
[0038]S2、將執(zhí)行日志查詢請求發(fā)送給Hive服務器。Hive客戶端中的第二發(fā)送模塊將執(zhí)行日志查詢請求發(fā)送給Hive服務器。
[0039]S3、接收Hive服務器根據(jù)執(zhí)行日志查詢請求發(fā)送的執(zhí)行日志。Hive服務器將根據(jù)執(zhí)行日志查詢請求獲取的執(zhí)行日志發(fā)送給Hive客戶端的第三接收模塊，Hive客戶端的第三接收模塊接收Hive服務器發(fā)送的執(zhí)行日志。
[0040]通過這一方法，用戶只需要通過訪問Hive的一個或多個應用向Hive客戶端發(fā)送執(zhí)行日志查詢請求，就可以通過Hive客戶端自動獲取執(zhí)行日志，以實現(xiàn)對執(zhí)行日志的遠程監(jiān)控。
[0041 ]在這一實施例中，所述執(zhí)行日志可為有關會話請求的執(zhí)行日志，現(xiàn)介紹該執(zhí)行日志可通過以下步驟而被生成:I )Hive客戶端中的第二接收模塊接收訪問Hive的一個或多個應用發(fā)送的會話請求，并將會話請求發(fā)送給Hive客戶端中的第二發(fā)送模塊;2)Hive客戶端中的第二發(fā)送模塊將接收到的會話請求發(fā)送給Hive服務器;3)Hive服務器中的第一接收模塊接收Hive客戶端發(fā)送的會話請求，并將會話請求發(fā)送給Hive服務器中的執(zhí)行模塊；4)Hive服務器中的執(zhí)行模塊執(zhí)行接收到的會話請求，并將執(zhí)行會話請求產(chǎn)生的執(zhí)行日志發(fā)送給Hive服務器中的存儲模塊；以及5)Hive服務器中的存儲模塊存儲接收到的執(zhí)行日志。
[0042]優(yōu)選地，會話請求中包括日志參數(shù)，可通過步驟5)將執(zhí)行日志根據(jù)日志參數(shù)進行分組存儲，以避免不同會話請求產(chǎn)生的執(zhí)行日志在存儲時造成混亂和沖突。該日志參數(shù)還可作為后續(xù)獲取執(zhí)行日志的根據(jù)。
[0043]優(yōu)選地，Hive客戶端中的第二接收模塊接收的會話請求中包括日志參數(shù)。Hive客戶端將該日志參數(shù)發(fā)送給Hive服務器，以使Hive服務器利用該日志參數(shù)分組存儲執(zhí)行日志，以避免不同會話請求產(chǎn)生的執(zhí)行日志在存儲時造成混亂和沖突。
[0044]優(yōu)選地，Hive客戶端中的第二接收模塊還用于接收日志參數(shù)，Hive客戶端的第二發(fā)送模塊將該日志參數(shù)發(fā)送給Hive服務器，Hive客戶端的第三接收模塊接收Hive服務器發(fā)送的與上述執(zhí)行日志查詢請求及日志參數(shù)對應的執(zhí)行日志。通過上述的方法，Hive客戶端可以根據(jù)日志參數(shù)分組接收Hive服務器發(fā)送的與上述執(zhí)行日志查詢請求及日志參數(shù)對應的執(zhí)行日志，避免了Hive客戶端在同時接收不同的會話請求產(chǎn)生的執(zhí)行日志時造成的混亂和沖突。
[0045]在基于Hi ve的JDBC或WebUI的遠程訪問方式的基礎上，本發(fā)明還提供了一種在Hi V服務器端獲取執(zhí)行日志的方法。圖4是根據(jù)本發(fā)明的一實施例的在Hive服務器端獲取執(zhí)行日志的方法的流程圖，該方法包括:
[0046]S1、接收Hive客戶端發(fā)送的執(zhí)行日志查詢請求。Hive服務器中的第一接收模塊接收Hive客戶端發(fā)送的執(zhí)行日志查詢請求，并將執(zhí)行日志查詢請求發(fā)送給Hive服務器中的執(zhí)行日志獲取模塊。
[0047]S2、根據(jù)執(zhí)行日志查詢請求，從存儲模塊中獲取執(zhí)行日志。Hive服務器中的執(zhí)行日志獲取模塊接收執(zhí)行日志查詢請求，并根據(jù)執(zhí)行日志查詢請求從Hi ve服務器中的存儲模塊中獲取執(zhí)行日志。
[0048]S3、將獲取的執(zhí)行日志發(fā)送給Hive客戶端。Hive服務器中的執(zhí)行日志獲取模塊將獲取的執(zhí)行日志發(fā)送給Hive服務器中的第一發(fā)送模塊，由Hive服務器中的第一發(fā)送模塊將執(zhí)行日志發(fā)送給Hive客戶端。
[0049]通本實施例中的步驟S1-S3，可以根據(jù)Hive客戶端發(fā)送的執(zhí)行日志查詢請求自動獲取執(zhí)行日志，并將獲取的執(zhí)行日志自動發(fā)送給Hive客戶端，以實現(xiàn)對執(zhí)行日志的遠程獲取。
[°°50]優(yōu)選地，在步驟SI中，Hive服務器中的第一接收模塊還可以接收Hive客戶端發(fā)送的日志參數(shù)。在步驟S2中，Hive服務器中的執(zhí)行日志獲取模塊可根據(jù)執(zhí)行日志查詢請求以及日志參數(shù)從Hive服務器中的存儲模塊中獲取與所述執(zhí)行日志查詢請求以及日志參數(shù)對應的執(zhí)行日志。在步驟S3中，Hive服務器將獲取的與所述執(zhí)行日志查詢請求以及日志參數(shù)對應的執(zhí)行日志經(jīng)由Hive服務器的第一發(fā)模塊發(fā)送給Hive客戶端，以避免不同會話請求產(chǎn)生的執(zhí)行日志在獲取時造成的混亂和沖突，為執(zhí)行日志的查詢提供了便利。
[0051]本發(fā)明還提供了一種Hive執(zhí)行日志遠程監(jiān)控系統(tǒng)，圖5是根據(jù)本發(fā)明的一實施例的Hive執(zhí)行日志遠程監(jiān)控系統(tǒng)，該系統(tǒng)包括Hive客戶端100和Hive服務器200，其中，Hive客戶端100包括第二接收模塊110、第二發(fā)送模塊120和第三接收模塊130，Hive服務器200包括存儲模塊210、第一接收模塊220、執(zhí)行模塊250、執(zhí)行日志獲取模塊230和第一發(fā)送模塊240。在這一實施例中，訪問Hive的一個或多個應用接收到會話請求(其中，會話請求中包括日志參數(shù))后，將會話請求發(fā)送給第Hive客戶端100的第二接收模塊110，該第二接收模塊110接收并將會話請求發(fā)送給Hive客戶端100的第二發(fā)送模塊120，該第二發(fā)送模塊120將會話請求發(fā)送給Hive服務器200的第一接收模塊220發(fā)送會話請求，該第一接收模塊220接收并將會話請求發(fā)送給Hive服務器200的執(zhí)行模塊250，該執(zhí)行模塊250執(zhí)行會話請求并將執(zhí)行會話請求產(chǎn)生的執(zhí)行日志發(fā)送給Hive服務器200的存儲模塊210，該存儲模塊210根據(jù)會話請求中的日志參數(shù)分組存儲接收到的執(zhí)行日志。Hive服務器200的執(zhí)行模塊在執(zhí)行完會話請求后，還將執(zhí)行會話請求得到的結(jié)果發(fā)送給Hive服務器200的第一發(fā)送模塊240，由該第一發(fā)送模塊240將上述結(jié)果發(fā)送給Hive客戶端100。通過本實施例中的Hive執(zhí)行日志遠程監(jiān)控系統(tǒng)，可自動對會話請求產(chǎn)生的執(zhí)行日志進行分組存儲，避免了不同會話請求產(chǎn)生的執(zhí)行日志在存儲時造成的混亂和沖突，同時也具有了用戶隨時獲取執(zhí)行日志的功能。
[0052]在這一實施例中，當需要查詢執(zhí)行會話請求產(chǎn)生的執(zhí)行日志時，可向訪問Hive的一個或多個應用發(fā)送執(zhí)行日志查詢請求和日志參數(shù)，訪問Hive的一個或多個應用將執(zhí)行日志查詢請求和日志參數(shù)發(fā)送給Hive客戶端的第二接收模塊，該第二接收模塊接收執(zhí)行日志查詢請求及日志參數(shù)，并將該執(zhí)行日志查詢請求和日志參數(shù)發(fā)送給Hive客戶端的第二發(fā)送模塊，該第二發(fā)送模塊將執(zhí)行日志查詢請求和日志參數(shù)發(fā)送給Hive服務器的第一接收模塊，該第一接收模塊接收并將執(zhí)行日志查詢請求和日志參數(shù)發(fā)送給Hive服務器的執(zhí)行日志獲取模塊，該執(zhí)行日志獲取模塊接收并根據(jù)執(zhí)行日志查詢請求和日志參數(shù)從Hive服務器的存儲模塊中獲取執(zhí)行日志，并將獲取的與執(zhí)行日志查詢請求和日志參數(shù)對應的執(zhí)行日志發(fā)送給Hive服務器的第一發(fā)送模塊，由該第一發(fā)送模塊將獲取的與執(zhí)行日志查詢請求和日志參數(shù)對應的執(zhí)行日志發(fā)送給Hive客戶端的第三接收模塊，由該第三接收模塊將獲取的與日志參數(shù)對應的執(zhí)行日志發(fā)送給訪問Hive的一個或多個應用。通過本實施例中的Hive執(zhí)行日志遠程監(jiān)控系統(tǒng)，可自動獲取以日志參數(shù)對應的執(zhí)行日志，實現(xiàn)了對執(zhí)行日志的遠程監(jiān)控，同時也避免了在同時接收不同的會話請求產(chǎn)生的執(zhí)行日志時造成的混亂和沖突，為執(zhí)行日志的查詢帶來了便利。
[0053]需要注意的是，存儲模塊可為文件系統(tǒng)、HBaSe、RediS等一切可以使用的存儲媒介，日志參數(shù)需要根據(jù)存儲模塊的類型而定，例如，若存儲模塊為Hive系統(tǒng)的本地文件系統(tǒng)，則日志參數(shù)可為存儲執(zhí)行日志的文件名和執(zhí)行日志的存儲路徑。
[0054]以上結(jié)合附圖詳細描述了本發(fā)明的優(yōu)選實施方式，但是，本發(fā)明并不限于上述實施方式中的具體細節(jié)，在本發(fā)明的技術構(gòu)思范圍內(nèi)，可以對本發(fā)明的技術方案進行多種簡單變型，這些簡單變型均屬于本發(fā)明的保護范圍。
[0055]另外需要說明的是，在上述【具體實施方式】中所描述的各個具體技術特征，在不矛盾的情況下，可以通過任何合適的方式進行組合。為了避免不必要的重復，本發(fā)明對各種可能的組合方式不再另行說明。
[0056]此外，本發(fā)明的各種不同的實施方式之間也可以進行任意組合，只要其不違背本發(fā)明的思想，其同樣應當視為本發(fā)明所公開的內(nèi)容。
【主權(quán)項】
1.一種Hive服務器，其特征在于，包括: 存儲模塊，用于存儲執(zhí)行日志； 第一接收模塊，用于接收Hive客戶端發(fā)送的執(zhí)行日志查詢請求； 執(zhí)行日志獲取模塊，用于根據(jù)所述執(zhí)行日志查詢請求，從所述存儲模塊中獲取執(zhí)行日志； 第一發(fā)送模塊，用于將獲取的執(zhí)行日志發(fā)送給所述Hive客戶端。2.根據(jù)權(quán)利要求1所述的Hive服務器，其特征在于， 所述第一接收模塊還用于接收所述Hive客戶端發(fā)送的日志參數(shù)； 所述執(zhí)行日志獲取模塊用于根據(jù)所述執(zhí)行日志查詢請求以及所述日志參數(shù)，從所述存儲模塊中獲取與所述執(zhí)行日志查詢請求以及所述日志參數(shù)對應的執(zhí)行日志； 所述第一發(fā)送模塊用于將獲取的與所述日志參數(shù)對應的執(zhí)行日志發(fā)送給Hive客戶端。3.根據(jù)權(quán)利要求1所述的Hive服務器，其特征在于， 所述第一接收模塊還用于接收所述Hi ve客戶端發(fā)送的會話請求； 所述Hi ve服務器還包括:執(zhí)行模塊，用于執(zhí)行所述會話請求，并將執(zhí)行所述會話請求產(chǎn)生的執(zhí)行日志發(fā)送給所述存儲模塊，以便該存儲模塊存儲所述執(zhí)行日志。4.根據(jù)權(quán)利要求3所述的Hive服務器，其特征在于， 所述會話請求中包括日志參數(shù)； 所述存儲模塊用于根據(jù)所述日志參數(shù)分組存儲所述執(zhí)行日志。5.一種Hive客戶端，其特征在于，包括: 第二接收模塊，用于接收執(zhí)行日志查詢請求； 第二發(fā)送模塊，用于將所述執(zhí)行日志查詢請求發(fā)送給Hive服務器； 第三接收模塊，用于接收所述Hi ve服務器根據(jù)所述執(zhí)行日志查詢請求發(fā)送的執(zhí)行日V 1、1、O6.根據(jù)權(quán)利要求5所述的Hive客戶端，其特征在于， 所述第二接收模塊還用于接收日志參數(shù)； 所述第二發(fā)送模塊還用于將所述日志參數(shù)發(fā)送給所述Hi ve服務器； 所述第三接收模塊用于接收所述Hive服務器發(fā)送的與所述執(zhí)行日志查詢請求以及所述日志參數(shù)對應的執(zhí)行日志。7.根據(jù)權(quán)利要求5所述的Hive客戶端，其特征在于， 所述第二接收模塊還用于接收會話請求，所述會話請求中包括所述日志參數(shù)； 所述第二發(fā)送模塊還用于將所述會話請求發(fā)送給所述Hive服務器。8.一種在Hi ve服務器端獲取執(zhí)行日志的方法，其特征在于，該方法包括: 接收Hive客戶端發(fā)送的執(zhí)行日志查詢請求； 根據(jù)所述執(zhí)行日志查詢請求，從存儲模塊中獲取執(zhí)行日志； 將獲取的執(zhí)行日志發(fā)送給所述Hive客戶端。9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述方法還包括: 接收所述Hive客戶端發(fā)送的日志參數(shù)； 根據(jù)所述執(zhí)行日志查詢請求以及所述日志參數(shù)，從所述存儲模塊中獲取與所述執(zhí)行日志查詢請求以及所述日志參數(shù)對應的執(zhí)行日志； 將獲取的與日志參數(shù)對應的執(zhí)行日志發(fā)送給Hive客戶端。10.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述方法還包括: 接收所述Hive客戶端發(fā)送的會話請求； 執(zhí)行所述會話請求，并將執(zhí)行所述會話請求產(chǎn)生的執(zhí)行日志發(fā)送給所述存儲模塊； 所述存儲模塊存儲所述執(zhí)行日志。11.根據(jù)權(quán)利要求10所述的方法，其特征在于， 所述會話請求中包括日志參數(shù)； 所述方法還包括:所述存儲模塊根據(jù)所述日志參數(shù)分組存儲所述執(zhí)行日志。12.一種在Hive客戶端獲取執(zhí)行日志的方法，其特征在于，包括: 接收執(zhí)行日志查詢請求； 將所述執(zhí)行日志查詢請求發(fā)送給Hive服務器； 接收所述Hive服務器根據(jù)所述執(zhí)行日志查詢請求發(fā)送的執(zhí)行日志。13.根據(jù)權(quán)利要求12所述的方法，其特征在于，所述方法還包括: 接收日志參數(shù)； 將所述日志參數(shù)發(fā)送給所述Hi ve服務器； 接收所述Hive服務器發(fā)送的與所述執(zhí)行日志查詢請求以及所述日志參數(shù)對應的執(zhí)行曰志。14.根據(jù)權(quán)利要求12所述的方法，其特征在于，所述方法還包括: 接收會話請求，所述會話請求中包括所述日志參數(shù)； 將所述會話請求發(fā)送給所述Hi ve服務器。15.—種Hive執(zhí)行日志遠程監(jiān)控系統(tǒng)，其特征在于，該系統(tǒng)包括權(quán)利要求1-4中任一項所述的Hive服務器和權(quán)利要求5-7中任一項所述的Hive客戶端。
【文檔編號】H04L12/24GK105897834SQ201510886268
【公開日】2016年8月24日
【申請日】2015年12月4日
【發(fā)明人】劉宏斌, 國鐵龍
【申請人】樂視網(wǎng)信息技術（北京）股份有限公司