本發(fā)明涉及水果采摘，具體涉及一種新梅采摘分級機器人及采摘方法。

背景技術(shù)：

1、新梅是一種具有豐富營養(yǎng)和獨特滋味的水果，其被譽為第三代功能性水果，富含對身體免疫系統(tǒng)與新陳代謝至關(guān)重要的維生素a、維生素b、維生素c等以及有助于骨骼健康、血液循環(huán)、細胞功能的鈣、鐵、鋅、鉀等礦物質(zhì)。

2、目前，新疆喀什地區(qū)是我國新梅種植資源和果品的主要分布區(qū)與產(chǎn)區(qū)之一；由于新梅果實的成熟期差異較大且收獲過程中對果實的品質(zhì)要求嚴(yán)苛，因此，在新梅采收過程中，仍主要依賴于人工的選擇性采摘，這中采摘方式一是勞動強度大、采摘效率低、采摘成本高，二是對于采摘人員的專業(yè)經(jīng)驗要求較高，易導(dǎo)致新梅錯過最佳采收期、嚴(yán)重影響新梅收獲的產(chǎn)量與品質(zhì)。隨著機械化、自動化農(nóng)業(yè)的普及，目前一些地區(qū)也逐漸采用機器人進行新梅采摘，其能夠有效降低人工成本與勞動強度、提高采摘效果；然而，由于新梅果實的特殊性（即果實成熟期的差異大）與柔嫩性，現(xiàn)有的新梅采摘機器人大多存在結(jié)構(gòu)復(fù)雜、采摘成本高，采摘過程中易損壞果實，無法同時完成采摘與篩選分離、仍需人工分離等缺點，仍無法最大化提高新梅采摘的效率、同時也易在采摘過程中增加果實不良率。

技術(shù)實現(xiàn)思路

1、針對以上現(xiàn)有技術(shù)存在的問題，本發(fā)明的目的在于提供一種新梅采摘分級機器人，該機器人能夠?qū)崿F(xiàn)新梅采摘過程中的自動采摘與分選，從而有效提升采摘效率、避免采摘前后仍需篩分的多余步驟；同時，該機器人能夠在采摘過程中有效保護新梅果實，避免采摘導(dǎo)致的新梅果實損傷，在提升采摘效率的同時保證果實品質(zhì)。

2、本發(fā)明的另一個目的在于提供一種上述新梅采摘分級機器人的采摘方法。

3、一種新梅采摘分級機器人，包括底座支撐機構(gòu)、收集箱體、分級篩選機構(gòu)、采摘機械臂、末端執(zhí)行機構(gòu)、收納機構(gòu)及視覺識別系統(tǒng)；收集箱體設(shè)置在底座支撐機構(gòu)的前端，包括好果收集槽與壞果收集槽；分級篩選機構(gòu)與采摘機械臂分別設(shè)置在底座支撐機構(gòu)的端面，且采摘機械臂遠離底座支撐機構(gòu)的一端設(shè)置末端執(zhí)行機構(gòu)，收納機構(gòu)設(shè)置在底座支撐機構(gòu)的端面且收納機構(gòu)分別與末端執(zhí)行機構(gòu)、分級篩選機構(gòu)連接；視覺識別系統(tǒng)包括一個定位雙目相機與兩個識別雙目相機，定位雙目相機設(shè)置在末端執(zhí)行機構(gòu)上，識別雙目相機對應(yīng)分級篩選機構(gòu)設(shè)置在底座支撐機構(gòu)端面。

4、基于上述方案的進一步優(yōu)化，所述底座支撐機構(gòu)包括底盤、支撐螺柱、連接板、履帶輪與履帶，底盤端面設(shè)置多根均勻分布的豎直的支撐螺柱且支撐螺柱遠離底盤的一端與同一連接板連接，底盤兩側(cè)側(cè)面分別設(shè)置兩個履帶輪且同一側(cè)的兩個履帶輪之間通過履帶連接；壞果收集槽設(shè)置在底盤與連接板之間，好果收集槽設(shè)置在底盤前端且好果收集槽與壞果收集槽固定連接。

5、基于上述方案的進一步優(yōu)化，所述分級篩選機構(gòu)包括篩分圓盤、第一擋板、第一滑道、第二擋板、壞果滑道、好果滑道與第二滑道，篩分圓盤固定設(shè)置在連接板端面且篩分圓盤為上部直徑大、下部直徑小的錐形結(jié)構(gòu)；篩分圓盤中部設(shè)置同軸的轉(zhuǎn)動軸且轉(zhuǎn)動軸外壁設(shè)置第一擋板，通過轉(zhuǎn)動軸實現(xiàn)第一擋板在篩分圓盤內(nèi)的轉(zhuǎn)動；篩分圓盤靠近好果收集槽的側(cè)面開設(shè)出料口且出料口處設(shè)置第一滑道，第一滑道為由篩分圓盤向好果收集槽傾斜的斜軌道結(jié)構(gòu)；第一滑道遠離篩分圓盤的一端與好果滑道連通且第一滑道遠離篩分圓盤一端的側(cè)面設(shè)置壞果滑道，好果滑道與壞果滑塊連接處轉(zhuǎn)動設(shè)置第二擋板，連接板位于壞果滑道遠離第一滑道的一端開設(shè)下料孔且下料孔與壞果收集槽對應(yīng)；好果滑道遠離第一滑道的一端與設(shè)置在好果收集槽內(nèi)的第二滑道連通。

6、基于上述方案的進一步優(yōu)化，所述末端執(zhí)行機構(gòu)包括固定箱體、驅(qū)動電機、第一齒輪、第二齒輪、第一齒條、第一保護環(huán)、第二齒條、擠壓板與第二保護環(huán)，固定箱體設(shè)置在采摘機械臂遠離底座支撐機構(gòu)的一端且固定箱體的內(nèi)腔底部設(shè)置驅(qū)動電機，驅(qū)動電機輸出軸同軸設(shè)置齒輪軸且齒輪軸遠離驅(qū)動電機的一端與固定箱體內(nèi)腔頂面轉(zhuǎn)動連接；齒輪軸外壁由下至上依次套接第一齒輪與第二齒輪，固定箱體一側(cè)內(nèi)壁對應(yīng)第一齒輪滑動設(shè)置第一齒條且第一齒條遠離采摘機械臂的一端通過滑動支座設(shè)置第一保護環(huán)，第一保護環(huán)遠離第一齒條的一端貫穿固定箱體對應(yīng)側(cè)壁且滑動連接，第一保護環(huán)遠離固定箱體的一端頂面設(shè)置分離塊且分離塊靠近固定箱體的一側(cè)側(cè)面開設(shè)內(nèi)置分離刀片的分離凹槽；固定箱體另一側(cè)內(nèi)壁（即與第一齒條相對側(cè)的內(nèi)壁）且對應(yīng)第二齒輪滑動設(shè)置第二齒條，第二齒條靠近第一保護環(huán)的一端貫穿固定箱體對應(yīng)側(cè)壁且設(shè)置擠壓板，擠壓板靠近分離塊的一側(cè)側(cè)面對應(yīng)分離凹槽設(shè)置頂塊；固定箱體外壁且位于第一保護環(huán)下側(cè)固定設(shè)置第二保護環(huán)，第二保護環(huán)與第一保護板平行設(shè)置。

7、為了保證末端執(zhí)行機構(gòu)的平滑切割，基于上述方案的進一步優(yōu)化，所述擠壓板遠離頂塊的一側(cè)側(cè)面且位于第一齒條的一側(cè)設(shè)置限位桿，限位桿貫穿固定箱體對應(yīng)側(cè)壁且限位桿遠離擠壓板的一側(cè)設(shè)置限位塊。

8、基于上述方案的進一步優(yōu)化，所述第一保護環(huán)與第二保護環(huán)均包括內(nèi)圈與外圈，內(nèi)圈采用塑料制成，外圈采用生物高分子材料制成。

9、基于上述方案的進一步優(yōu)化，所述收納機構(gòu)包括連接軟管、緩沖機構(gòu)、過渡收集箱與引導(dǎo)滑槽，過渡收集箱固定設(shè)置在底座支撐機構(gòu)端面且位于篩分圓盤一側(cè)，過渡收集箱底面與底座支撐機構(gòu)端面的距離大于篩分圓盤頂面與底座支撐機構(gòu)端面的距離（即過渡收集箱的高度大于篩分圓盤高度），連接軟管一端設(shè)置在第二保護環(huán)底面且與第二保護環(huán)內(nèi)圈連通、另一端與過渡收集箱一側(cè)側(cè)面連通，且連接軟管與過渡收集箱連接處設(shè)置緩沖機構(gòu)（例如：通過均勻分布的橡膠凸臺進行緩沖）；過渡收集箱靠近篩分圓盤的一側(cè)側(cè)面設(shè)置引導(dǎo)滑槽，引導(dǎo)滑槽為由過渡收集箱向篩分圓盤傾斜的斜槽。

10、基于上述方案的進一步優(yōu)化，所述過渡收集箱的內(nèi)腔底面設(shè)置為由過渡收集箱向篩分圓盤傾斜的斜面結(jié)構(gòu)（斜面結(jié)構(gòu)的傾斜程度與引導(dǎo)滑槽的傾斜程度一致）且過渡收集箱的內(nèi)腔壁均勻鋪設(shè)海綿緩沖層。

11、一種采用上述新梅采摘分級機器人的采摘方法，包括：

12、步驟s1、識別定位：通過定位雙目相機在距離新梅果實的遠景點處、以水平姿態(tài)進行掃描，獲得遠景新梅果實圖像，并對圖像進行分割與目標(biāo)識別；

13、步驟s2、新梅果實簇選?。翰捎媚繕?biāo)跟蹤算法追蹤目標(biāo)新梅果實，識別成熟新梅果實數(shù)量；當(dāng)同簇成熟新梅果實數(shù)量超過該簇總果實數(shù)量的60%，則將該簇標(biāo)定為目標(biāo)新梅果實簇；

14、步驟s3、采摘點定位：選取目標(biāo)新梅果實簇的最低點新梅果實位置作為采摘點基準(zhǔn)位置，并沿采摘點基準(zhǔn)位置的最低端在果實縱向方向上下移3～5cm，即得采摘點；

15、步驟s4、果實采摘：根據(jù)采摘點逐步移動采摘機械臂、在近景完成新梅果實的進一步識別與定位；當(dāng)末端執(zhí)行機構(gòu)到達采摘點后，獲取采摘點與新梅果實上沿（即新梅果實的頂點）的相對距離，并依次為基礎(chǔ)在縱向方向上增加3～5cm，獲得末端執(zhí)行機構(gòu)的結(jié)束點；末端執(zhí)行機構(gòu)根據(jù)采摘點與結(jié)束點、由下至上運動，實現(xiàn)對新梅果實的包絡(luò)與剪切分離，完成采摘；

16、步驟s5、果實的篩選收集：采摘后的果實經(jīng)收納機構(gòu)落入分級篩選機構(gòu)，經(jīng)分級篩選機構(gòu)篩選后、實現(xiàn)好果與壞果的分離，并分別于好果收集槽與壞果收集槽收集。

17、基于上述方案的進一步優(yōu)化，所述步驟s1具體為：

18、步驟s11、首先，對輸入的圖像進行直方圖計算，從而獲取圖像中每個像素值的頻率分布；并對目標(biāo)圖像進行采樣，將其直方圖區(qū)間等分成m個子區(qū)間，設(shè)定每個子區(qū)間的寬度為u；然后，將圖像灰度值映射到每個子區(qū)間內(nèi)，并計算每個子區(qū)間內(nèi)像素頻率；

19、步驟s12、首先，計算每個子區(qū)間內(nèi)所有像素值的灰度級分布，得到每個子區(qū)間內(nèi)的灰度級均值，并計算得到每個子區(qū)間的類內(nèi)方差、用于表示該區(qū)間內(nèi)像素值分散程度；然后，遍歷所有可能的閾值，計算每個閾值對應(yīng)的類內(nèi)方差，選擇使得類內(nèi)方差最大化的閾值作為最佳閾值；

20、步驟s13、根據(jù)最佳閾值將圖像劃分為前景與背景兩個區(qū)域：大于最佳閾值的為前景、小于最佳閾值的為背景，從而將目標(biāo)圖像從背景中分割出來；

21、步驟s14、采用灰度級形態(tài)學(xué)對分割后的圖像進行優(yōu)化，實現(xiàn)圖像的分割與識別，并進行分割后圖像子區(qū)間的劃分與定位。

22、基于上述方案的進一步優(yōu)化，所述步驟s2中采用目標(biāo)跟蹤算法追蹤目標(biāo)新梅果實、識別成熟新梅果實數(shù)量具體為：

23、步驟s21、首先，適用目標(biāo)檢測從視頻幀中檢測出候選目標(biāo)，并獲得每個獲選目標(biāo)的邊界框與置信度得分；然后將檢測到的候選目標(biāo)根據(jù)時間與空間上的關(guān)聯(lián)性進行分組，并衡量兩個候選目標(biāo)之間的重疊程度；

24、步驟s22、將當(dāng)前幀的檢測結(jié)果與之前幀的軌跡進行配，并采用匈牙利算法獲取代價最小的匹配方法，代價包括基于距離、速度、置信度等因素的計算，完成初次匹配；對于沒有存在于之前軌跡匹配的候選目標(biāo)，將其與最近的軌跡進行二次匹配；

25、步驟s23、根據(jù)匹配結(jié)果，生成新的軌跡，生成的每個軌跡包括一系列邊界框與相應(yīng)的置信度得分；然后，采用卡爾曼濾波器預(yù)測下一幀軌跡位置，并根據(jù)新的檢測結(jié)果對預(yù)測軌跡進行修正；

26、步驟s24、預(yù)設(shè)置信度得分閾值區(qū)間，將軌跡中置信度得分與置信度得分閾值區(qū)間進行比較，靠近置信度得分閾值區(qū)間的下限為成熟度高、靠近置信度得分閾值區(qū)間的上限為成熟度低，實現(xiàn)果實成熟度的區(qū)分；之后，根據(jù)軌跡長度、置信度得分對軌跡進行篩選，去除不穩(wěn)定、不合理軌跡，即得果實數(shù)量。

27、基于上述方案的進一步優(yōu)化，所述置信度得分閾值區(qū)間為[0,1]。

28、基于上述方案的進一步優(yōu)化，所述步驟s3中最低點新梅果實位置的獲取方法為：

29、首先，通過多視角圖像采集，分別獲得不同視角的圖像；然后，從兩幅或兩幅以上的圖像中提取特征點，尋找對應(yīng)于同一目標(biāo)點（即最低點新梅果實）的特征點對；之后，對于每一個匹配的特征點對，采用三角測量法計算三維點云，從而獲得目標(biāo)點的空間坐標(biāo)，其中，三角測量深度 d為：

30、

31、式中： f表示相機焦距， b表示不同視角圖像之間的距離，表示不同視角圖像之間的角度。

32、基于上述方案的進一步優(yōu)化，所述步驟s4中在近景完成新梅果實的進一步識別與定位具體為：

33、首先，采用svm算法獲得一個最優(yōu)的分類超平面，建立模型、定義一個超平面線性方程，將樣本數(shù)據(jù)分成兩類，

34、

35、式中： w表示權(quán)重向量； x表示超平面，方向垂直于超平面 x即為樣本數(shù)據(jù)點； b表示偏置項，其決定超平面與原點之間的距離；

36、然后，采用拉格朗日乘子法進行求解，獲得超平面線性方程的權(quán)重向量 w與偏置項 b；

37、之后，通過迭代的方式選擇任意兩個變量進行優(yōu)化，實現(xiàn)模型優(yōu)化；

38、最后，采用權(quán)重向量和偏置項對數(shù)據(jù)進行分類，計算數(shù)據(jù)點到超平面距離，根據(jù)正負判斷類別，分類線性方程為：

39、

40、式中： sign()函數(shù)范圍預(yù)測標(biāo)記的類別為-1或1；

41、利用決策函數(shù)對圖像中的像素點類別進行判定，完成圖像分割與目標(biāo)識別定位。

42、基于上述方案的進一步優(yōu)化，所述步驟s4中新梅果實上沿（即新梅果實的頂點）的獲取方法為：

43、首先，獲取對應(yīng)特征點在圖像中的二維坐標(biāo)（ u,v）以及二維坐標(biāo)的深度信息d；然后，計算獲得該特征點的三維坐標(biāo)：

44、

45、式中： fx， fy表示相機焦距， cx、 cy表示相機主點坐標(biāo)。

46、基于上述方案的進一步優(yōu)化，所述步驟s5中分級篩選機構(gòu)進行新梅果實篩選的判別方法為：

47、步驟s51、數(shù)據(jù)收集：收集包含各種新梅果實圖像及其對應(yīng)標(biāo)簽的數(shù)據(jù)集；其中，數(shù)據(jù)集涵蓋不同的任務(wù)標(biāo)簽，包括果實大小、有無裂紋、有無損傷、有無果梗等；

48、步驟s52、將果實大小設(shè)置為一個回歸問題，標(biāo)簽為新梅果實的大?。和ㄟ^計算果實圖像的最小外接矩形、獲得果實的最大縱橫徑，對比平均數(shù)據(jù)（平均數(shù)據(jù)通過大量實驗數(shù)據(jù)獲得），判斷果實大小是否符合標(biāo)準(zhǔn)；將有無裂紋設(shè)置為一個二分類問題、標(biāo)簽為有裂紋1和無裂紋0，將有無損傷設(shè)置為一個二分類問題、標(biāo)簽為有損傷1和無損傷0，將有無果梗設(shè)置為一個二分類問題、標(biāo)簽為有果梗1和無果梗0。

49、步驟s53、模型設(shè)計：采用resnet神經(jīng)網(wǎng)絡(luò)模型作為篩分模型，選擇resnet神經(jīng)網(wǎng)絡(luò)模型的前四個resnet?block作為共享卷積層、用于提取輸入圖像的特征；在共享卷積層之后，設(shè)置多個任務(wù)特定的分支，每個分支處理一個特定任務(wù)，每個任務(wù)特定的分支由若干卷積層和全連接層組成，分別針對不同任務(wù)進行優(yōu)化；

50、步驟s54、使用包含多任務(wù)標(biāo)簽的數(shù)據(jù)集進行篩分模型訓(xùn)練，訓(xùn)練過程中為每個任務(wù)提供相應(yīng)的標(biāo)簽。

51、步驟s55、訓(xùn)練完成后，使用驗證集評估篩分模型性能，完成訓(xùn)練。

52、以下是本發(fā)明方案所具備的技術(shù)效果：

53、本技術(shù)采用由固定箱體、驅(qū)動電機、第一齒輪、第二齒輪、第一齒條、第一保護環(huán)、第二齒條、擠壓板與第二保護環(huán)組成的末端執(zhí)行機構(gòu)，實現(xiàn)由下向上包絡(luò)果實并完成剪斷的采摘模式，一是能夠?qū)崿F(xiàn)目標(biāo)果實與非目標(biāo)果實的分離、從而準(zhǔn)確抓取單個目標(biāo)果實，提高采摘效率；二是避免采摘過程中末端執(zhí)行機構(gòu)對非目標(biāo)果實造成的損傷、使得非目標(biāo)果實位于采摘區(qū)域外，從而保證同簇果實整體質(zhì)量；三是避免采摘過程中周圍環(huán)境對目標(biāo)果實產(chǎn)生的影響，進而實現(xiàn)穩(wěn)定、無傷的果實采摘，避免采摘過程中出現(xiàn)偏差而導(dǎo)致果實受損，保證果實的完整性與品質(zhì)；四是保證末端執(zhí)行機構(gòu)整體的靈活性、避免其移動過程中對果實簇產(chǎn)生影響，從而影響定位、采摘過程中的精準(zhǔn)性，出現(xiàn)漏采、誤采等問題。通過由篩分圓盤、第一擋板、第一滑道、第二擋板、壞果滑道、好果滑道與第二滑道組成的分級篩選機構(gòu)，配合末端執(zhí)行機構(gòu)，實現(xiàn)邊采摘邊果實篩選的目的，避免采摘后還需額外進行人工篩分等問題，提高效率的同時也避免后續(xù)篩選過程中造成的果實受損；同時，分級篩選機構(gòu)采用三級篩分系統(tǒng)，實現(xiàn)合格果實與不合格果實的識別與篩選，能夠有效避免好果中混雜壞果而影響整體品質(zhì)的問題。

54、此外，本技術(shù)根據(jù)新梅果實的生長特性，采用遠景識別定位與目標(biāo)跟蹤的方法配合近景識別定位，進行完成最優(yōu)工作路徑的設(shè)定，整個方法準(zhǔn)確性好、穩(wěn)定性高，能夠有效節(jié)省工作時間，提高采摘的工作效率，配合末端執(zhí)行機構(gòu)的結(jié)構(gòu)設(shè)計，從而在高效采摘新梅果實的同時、避免對新梅果實及其周圍果實造成損傷，避免錯采、漏采等問題，顯著提升果實的識別和檢測的自動化水平；并通過全面覆蓋數(shù)據(jù)、精確標(biāo)注、優(yōu)化模型結(jié)構(gòu)、同步訓(xùn)練和性能驗證進行果實篩分，能夠精確、高效的篩分壞果與好果，確保采摘果實的品質(zhì)。