日韩成人黄色,透逼一级毛片,狠狠躁天天躁中文字幕,久久久久久亚洲精品不卡,在线看国产美女毛片2019,黄片www.www,一级黄色毛a视频直播

一種處理大型地理柵格數(shù)據(jù)的并行聚類(lèi)方法

文檔序號(hào):9327020閱讀:649來(lái)源:國(guó)知局
一種處理大型地理柵格數(shù)據(jù)的并行聚類(lèi)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及并行聚類(lèi)方法,特別涉及一種處理大型地理柵格數(shù)據(jù)的并行聚類(lèi)方 法。
【背景技術(shù)】
[0002] 在地理信息系統(tǒng)技術(shù)領(lǐng)域,地理柵格數(shù)據(jù)是一種重要的數(shù)據(jù)類(lèi)型。在地理柵格數(shù) 據(jù)中每一個(gè)柵格記錄著一塊地表區(qū)域的空間、社會(huì)、經(jīng)濟(jì)及環(huán)境屬性特征,它為描述地表的 信息提供數(shù)據(jù)基礎(chǔ)。
[0003] 地理柵格數(shù)據(jù)的聚類(lèi)是一種根據(jù)柵格位置、屬性特征的數(shù)值分布情況,在不需要 事先輸入已知樣本的情況下,對(duì)柵格數(shù)據(jù)所屬類(lèi)目進(jìn)行自動(dòng)劃分的方法。通過(guò)聚類(lèi)處理, 人們可以在沒(méi)有任何額外數(shù)據(jù)輸入的情況下,將地理柵格數(shù)據(jù)上劃分出同質(zhì)的或近似的區(qū) 域,獲得一個(gè)地區(qū)更具概括性的知識(shí),進(jìn)而可以進(jìn)行矢量地圖繪制、專(zhuān)題地圖制作和數(shù)據(jù)分 析。目前主流地理信息數(shù)據(jù)處理軟件均支持K-Means、EM等聚類(lèi)處理方法,目前的方法需要 將柵格數(shù)據(jù)加載到內(nèi)存中并反復(fù)遍歷計(jì)算,最終獲得聚類(lèi)結(jié)果。
[0004] 隨著大型存儲(chǔ)設(shè)備、高分辨率衛(wèi)星傳感器的引入,地理柵格數(shù)據(jù)的分辨率也越來(lái) 越高。分辨率的提高引起了數(shù)據(jù)量呈幾何級(jí)數(shù)增長(zhǎng),如:分辨率從30米提高到1米,對(duì)于同 一地區(qū)數(shù)據(jù)量將提高30 X 30 = 900倍,原先100M的地理柵格數(shù)據(jù)將增長(zhǎng)到近90G。由于地 理柵格數(shù)據(jù)量過(guò)大,一方面單個(gè)計(jì)算機(jī)難以加載全部地理柵格數(shù)據(jù),難以運(yùn)行聚類(lèi)方法;另 一方面遍歷數(shù)據(jù)將消耗較多時(shí)間,聚類(lèi)耗費(fèi)運(yùn)行時(shí)間將十分長(zhǎng)。
[0005] 所以需要針對(duì)大型地理柵格數(shù)據(jù)設(shè)計(jì)一種并行的聚類(lèi)方法,將龐大的數(shù)據(jù)的加載 和計(jì)算聚類(lèi)任務(wù)分散到多臺(tái)計(jì)算機(jī)當(dāng)中,進(jìn)行面向大型地理柵格數(shù)據(jù)的并行聚類(lèi)。
[0006] 在面向大型數(shù)據(jù)的并行聚類(lèi)方法方面:如一種基于MapReduce的并行聚類(lèi)方法 (201210434240. 3),一種基于Hadoop的并行k均值聚類(lèi)方法(201310568611. 1),均傾向于 通過(guò)Hadoop的MapReduce框架進(jìn)行并行來(lái)加快運(yùn)行并應(yīng)對(duì)大數(shù)據(jù)量。此類(lèi)專(zhuān)利都需要利 用Map步驟將計(jì)算分散在到各個(gè)計(jì)算機(jī)當(dāng)中,利用Reduce整合一次迭代的聚類(lèi)成果;地理 柵格數(shù)據(jù)中的地物類(lèi)型并不是均勻的混雜在一起的,而是一個(gè)區(qū)域、一段連續(xù)的空間地物 類(lèi)型接近;面對(duì)十分龐大的柵格數(shù)據(jù),Map塊文件通常不大(如:默認(rèn)為64M),其包含的區(qū) 域可能面積非常小僅包含少數(shù)幾種地物,此時(shí)應(yīng)用聚類(lèi)將會(huì)引起類(lèi)目的過(guò)渡細(xì)分,聚類(lèi)算 法較難獲得柵格數(shù)據(jù)整體的類(lèi)目分配與數(shù)據(jù)分布情況,因此較難得到較好聚類(lèi)結(jié)果。同時(shí) 柵格數(shù)據(jù)需要較多次的迭代,每次迭代Reduce也會(huì)引起集群內(nèi)部的大量通訊,相對(duì)的也會(huì) 減緩聚類(lèi)速度。
[0007] 在柵格或者遙感影像(遙感影像是柵格數(shù)據(jù)的一種)聚類(lèi)方面:一種基 于模糊c均值聚類(lèi)的農(nóng)田劃分方法(201210312253. 3)遙感圖像的主動(dòng)譜聚類(lèi)方法 (201410136015. 0);遙感影像的聚類(lèi)方法(201210022353. 2);均沒(méi)有解決在柵格或者遙感 影像數(shù)據(jù)十分龐大,超過(guò)了單機(jī)加載極限的問(wèn)題,當(dāng)數(shù)據(jù)過(guò)大方法將會(huì)無(wú)法運(yùn)行或者運(yùn)行 效率很低。

【發(fā)明內(nèi)容】

[0008] 本發(fā)明的目的是為了解決地理柵格十分龐大,超過(guò)了單機(jī)加載極限從而導(dǎo)致系統(tǒng) 無(wú)法運(yùn)行或者運(yùn)行效率很低,以及在多計(jì)算機(jī)并行聚類(lèi)過(guò)程中各個(gè)進(jìn)程計(jì)算結(jié)果的相互交 換問(wèn)題,而提出的一種處理大型地理柵格數(shù)據(jù)的并行聚類(lèi)方法。
[0009] 上述的發(fā)明目的是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的:
[0010] 步驟一、在計(jì)算機(jī)集群上,利用管理節(jié)點(diǎn)啟動(dòng)管理進(jìn)程,管理進(jìn)程根據(jù)大型地理柵 格數(shù)據(jù)量計(jì)算參與計(jì)算的計(jì)算節(jié)點(diǎn)數(shù)量,并在每個(gè)計(jì)算節(jié)點(diǎn)上啟動(dòng)計(jì)算進(jìn)程,同時(shí)為每個(gè) 計(jì)算進(jìn)程編號(hào);其中,一個(gè)計(jì)算機(jī)集群包含5~100臺(tái)通過(guò)互聯(lián)網(wǎng)連接的計(jì)算機(jī),在計(jì)算機(jī) 集群中任選一臺(tái)計(jì)算機(jī)充當(dāng)管理節(jié)點(diǎn),計(jì)算機(jī)集群中除管理節(jié)點(diǎn)之外其它節(jié)點(diǎn)充當(dāng)計(jì)算節(jié) 點(diǎn);大型地理柵格數(shù)據(jù)的數(shù)據(jù)量為大于1000M ;
[0011] 步驟二、管理進(jìn)程逐行讀取大型地理柵格數(shù)據(jù),將整個(gè)大型地理柵格數(shù)據(jù)分散加 載到N個(gè)計(jì)算進(jìn)程,將每行大型地理柵格數(shù)據(jù)發(fā)送給對(duì)應(yīng)編號(hào)為ID的計(jì)算進(jìn)程;
[0012] 步驟三、管理進(jìn)程隨機(jī)生成M組聚類(lèi)解的初始值,其中,每一組聚類(lèi)解的初始值包 含類(lèi)目個(gè)數(shù)和類(lèi)目中心點(diǎn)矢量列表;
[0013] 步驟四、管理進(jìn)程根據(jù)步驟三獲得的M組類(lèi)目個(gè)數(shù)和M組類(lèi)目中心點(diǎn)矢量列表構(gòu) 造具有M個(gè)條目的聚類(lèi)矢量中心表,將聚類(lèi)矢量中心表發(fā)送給各個(gè)計(jì)算進(jìn)程;
[0014] 在M個(gè)條目的聚類(lèi)矢量中心表中,一共有M行記錄,每一行代表柵格數(shù)據(jù)的一個(gè)聚 類(lèi)的解;每一個(gè)聚類(lèi)的解包含4個(gè)字段內(nèi)容:
[0015] 字段1 :聚類(lèi)解的編號(hào);
[0016] 字段2 :類(lèi)目個(gè)數(shù),對(duì)應(yīng)聚類(lèi)解的類(lèi)目個(gè)數(shù);
[0017] 字段3 :類(lèi)目中心點(diǎn)矢量列表,對(duì)應(yīng)一組聚類(lèi)中心點(diǎn)的矢量;
[0018] 字段4 :聚類(lèi)結(jié)果質(zhì)量,用于描述聚類(lèi)質(zhì)量,初始化是默認(rèn)置為0 ;
[0019] 步驟五、管理進(jìn)程控制迭代求解過(guò)程;
[0020] 步驟五一、每次迭代過(guò)程中,各個(gè)計(jì)算進(jìn)程根據(jù)聚類(lèi)矢量中心表進(jìn)行聚類(lèi)計(jì)算,更 新步驟四得到的聚類(lèi)矢量中心表的內(nèi)容,并發(fā)送回管理進(jìn)程;
[0021] 步驟五二、管理進(jìn)程根據(jù)各個(gè)計(jì)算進(jìn)程的聚類(lèi)矢量中心表,更新管理進(jìn)程的聚類(lèi) 矢量中心表,并發(fā)送回各個(gè)計(jì)算進(jìn)程重復(fù)步驟五一;經(jīng)過(guò)5次迭代聚類(lèi)矢量中心表的字段4 出現(xiàn)2次相同的最高的評(píng)價(jià)值,停止迭代即得到最終的聚類(lèi)矢量中心表;
[0022] 其中,字段4為聚類(lèi)結(jié)果質(zhì)量,用于描述聚類(lèi)質(zhì)量,初始化是默認(rèn)值為0 ;最高的評(píng) 價(jià)值具體為在聚類(lèi)矢量中心表中,字段4獲得最高值的那一行;
[0023] 步驟六、在步驟五中得到的管理進(jìn)程獲得的最終的聚類(lèi)矢量中心表中,字段4獲 得的最高值一行的字段2描述了類(lèi)目個(gè)數(shù)和字段4獲得最高值的一行的字段3描述了每個(gè) 類(lèi)目的對(duì)應(yīng)的矢量中心點(diǎn);將字段4獲得最高值的一行的內(nèi)容發(fā)送給各個(gè)計(jì)算進(jìn)程;其中, 字段4獲得最高值的一行的內(nèi)容具體包括字段1、字段2、字段3和字段4 ;
[0024] 步驟七、各個(gè)計(jì)算進(jìn)程根據(jù)字段4獲得最高值的一行的內(nèi)容對(duì)計(jì)算進(jìn)程對(duì)應(yīng)的柵 格數(shù)據(jù)進(jìn)行聚類(lèi),每個(gè)柵格的類(lèi)目標(biāo)記為距離柵格最近的那個(gè)矢量中心點(diǎn)所對(duì)應(yīng)的類(lèi)目即 為得到柵格聚類(lèi)的結(jié)果;管理進(jìn)程分別從各個(gè)計(jì)算進(jìn)程收集柵格聚類(lèi)的結(jié)果,并將柵格聚 類(lèi)的結(jié)果寫(xiě)入地理柵格數(shù)據(jù)文件中;即完成了一種處理大型地理柵格數(shù)據(jù)的并行聚類(lèi)方 法。
[0025] 發(fā)明效果
[0026] 本發(fā)明針對(duì)大型地理柵格數(shù)據(jù),提供了一種可以將這些數(shù)據(jù)分散加載到多個(gè)計(jì)算 機(jī)的進(jìn)程當(dāng)中,并通過(guò)多臺(tái)計(jì)算機(jī)并行計(jì)算聯(lián)合求解最終獲得大型地理柵格數(shù)據(jù)的聚類(lèi)結(jié) 果。利用本發(fā)明提出的方法,可以應(yīng)對(duì)遠(yuǎn)超過(guò)一臺(tái)計(jì)算機(jī)內(nèi)存極限大小的地理柵格數(shù)據(jù)的 聚類(lèi)工作,并快速獲得聚類(lèi)結(jié)果。
[0027] 本發(fā)明將整個(gè)柵格數(shù)據(jù)按照行逐個(gè)的分配給各個(gè)計(jì)算節(jié)點(diǎn)計(jì)算機(jī),將整個(gè)大型柵 格數(shù)據(jù)分散加載到多臺(tái)計(jì)算機(jī)中;計(jì)算節(jié)點(diǎn)按照一定的間隔加載柵格數(shù)據(jù),一方面限制了 單個(gè)計(jì)算節(jié)點(diǎn)加載的數(shù)據(jù)量,另一方面可以保證每個(gè)節(jié)點(diǎn)具備整個(gè)柵格數(shù)據(jù)類(lèi)目與數(shù)據(jù)分 布的全局視角,更利于獲得聚類(lèi)結(jié)果;
[0028] 本發(fā)明在迭代計(jì)算的過(guò)程中構(gòu)造了聚類(lèi)矢量中心表,利用該表實(shí)現(xiàn)了多個(gè)計(jì)算機(jī) 之間聚類(lèi)結(jié)果的同步和綜合,由于該表較小通訊量較低,所以每次聚類(lèi)迭代可以較小通訊 代價(jià)完成;同時(shí),聚類(lèi)矢量中心表同時(shí)包含多組聚類(lèi)中心與類(lèi)目個(gè)數(shù),在迭代過(guò)程中可以不 斷優(yōu)選獲得更優(yōu)化的聚類(lèi)結(jié)果如圖7所示。
【附圖說(shuō)明】
[0029] 圖1為【具體實(shí)施方式】一提出的一種處理大型地理柵格數(shù)據(jù)的并行聚類(lèi)方法流程 圖;
[0030] 圖2為【具體實(shí)施方式】二提出的根據(jù)柵格數(shù)據(jù)大小啟動(dòng)管理進(jìn)程和計(jì)算進(jìn)程的步 驟流程圖;
[0031] 圖3為【具體實(shí)施方式】三提出的將整個(gè)大型柵格數(shù)據(jù)分散加載到N個(gè)計(jì)算進(jìn)程的步 驟流程圖;
[0032] 圖4為【具體實(shí)施方式】一提出的聚類(lèi)矢量中心表的結(jié)構(gòu)示意圖;
[0033] 圖5為【具體實(shí)施方式】五提出的管理進(jìn)程控制的迭代求解過(guò)程示意圖;
[0034] 圖6為【具體實(shí)施方式】八提出的管理進(jìn)程逐行的分別從各個(gè)計(jì)算進(jìn)程收集結(jié)果寫(xiě) 入到結(jié)果柵格數(shù)據(jù)文件中的流程示意圖;
[0035] 圖7為【具體實(shí)施方式】一提出的多個(gè)計(jì)算節(jié)點(diǎn)的計(jì)算機(jī)分散加載與處理大型地理 柵格數(shù)據(jù)示意圖;
[0036] 圖8(a)為實(shí)施例提出的柵格數(shù)據(jù)的空間屬性1的灰度圖;
[0037] 圖8 (b)為實(shí)施例提出的柵格數(shù)據(jù)的空間屬性2的灰度圖;
[0038] 圖8 (c)為實(shí)施例提出的柵格數(shù)據(jù)的空間屬性3的灰度圖;
[0039] 圖8 (d)為實(shí)施例提出的柵格數(shù)據(jù)的空間屬性4的灰度圖;
[0040] 圖8 (e)為實(shí)施例提出的柵格數(shù)據(jù)的空間屬性5的灰度圖
[0041] 圖9(a)為實(shí)施例提出的各個(gè)計(jì)算節(jié)點(diǎn)加載數(shù)據(jù)的示意圖;
[0042] 圖9(b)為實(shí)施例提出的各個(gè)計(jì)算節(jié)點(diǎn)加載數(shù)據(jù)的示意圖;
[0043] 圖9(c)為實(shí)施例提出的各個(gè)計(jì)算節(jié)點(diǎn)加載數(shù)據(jù)的示意圖;
[0044] 圖9(d)為實(shí)施例提出的各個(gè)計(jì)算節(jié)點(diǎn)加載數(shù)據(jù)的示意圖;
[0045] 圖9(e)為實(shí)施例提出的各個(gè)計(jì)算節(jié)點(diǎn)加載數(shù)據(jù)的示意圖;
[0046] 圖9(f)為實(shí)施例提出的各個(gè)計(jì)算節(jié)點(diǎn)加載數(shù)據(jù)的示意圖;
[0047] 圖10為實(shí)施例提出的柵格聚類(lèi)結(jié)果對(duì)應(yīng)的灰度圖。
【具體實(shí)施方式】
【具體實(shí)施方式】 [0048] 一:結(jié)合圖1本實(shí)施方式的一種處理大型地理柵格數(shù)據(jù)的并行聚類(lèi) 方法,具體是按照以下步驟制備的:
[0049] 步驟一、在計(jì)算機(jī)集群上,利用管理節(jié)點(diǎn)啟動(dòng)管理進(jìn)程,管理進(jìn)程根據(jù)大型地理柵 格數(shù)據(jù)量計(jì)算參與計(jì)算的計(jì)算節(jié)點(diǎn)數(shù)量,并在每個(gè)計(jì)算節(jié)點(diǎn)上啟動(dòng)計(jì)算進(jìn)程,同時(shí)為每個(gè) 計(jì)算進(jìn)程編號(hào);其中,一個(gè)計(jì)算機(jī)集群包含5~100臺(tái)通過(guò)互聯(lián)網(wǎng)連接的計(jì)算機(jī),在計(jì)算機(jī) 集群中任選一臺(tái)計(jì)算機(jī)充當(dāng)管
當(dāng)前第1頁(yè)1 2 3 4 
網(wǎng)友詢(xún)問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1