本技術(shù)涉及信息處理，尤其涉及一種菜肴食材識別方法、設(shè)備及系統(tǒng)。

背景技術(shù)：

1、目前，很多應(yīng)用和小程序都具有食譜推薦功能，給人們的生活帶來了極大的方便。例如，通過一些應(yīng)用或小程序可以識別用戶拍攝照片中的食材種類并顯示該蔬菜適宜烹飪的食譜。

2、我們知道，同一種類的食材也包括很多品種，同一種類不同品種的食材在烹飪菜肴時可能適合于不同的烹飪方式。以蓮藕為例，在燉湯時通常要挑選軟糯清甜的粉藕，而在清炒時通常要挑選清脆爽口的脆藕。但是，大部分人不知道要怎么挑選最適合的蓮藕。常見的食譜推薦功能也只能識別食材種類，沒有考慮到同一種類不同品種的食材在烹飪不同菜肴時的選擇是不同的，不能為用戶提供相關(guān)服務(wù)。因此，需要一種能夠識別食材品種的方案，以幫助用戶挑選適合烹飪菜肴的食材。

技術(shù)實現(xiàn)思路

1、本技術(shù)提供一種菜肴食材識別方法、設(shè)備及系統(tǒng)，不僅可以識別烹飪食材的種類，還可以識別其具體品種，從而為用戶提供更加專業(yè)、準(zhǔn)確的食譜推薦或食材推薦服務(wù)。

2、為達到上述目的，本技術(shù)采用如下技術(shù)方案：

3、第一方面，提供一種菜肴食材識別方法，該方法可以應(yīng)用于電子設(shè)備，該方法包括：獲取用戶輸入的第一菜肴的菜肴名稱和第一圖片，其中第一圖片包括一個或多個食材；向服務(wù)器發(fā)送第一菜肴的菜肴名稱和第一圖片的相關(guān)信息；接收來自服務(wù)器的菜肴食材識別結(jié)果；基于菜肴食材識別結(jié)果顯示第一界面；其中，第一界面包括食材推薦結(jié)果和/或食材選擇建議，食材推薦結(jié)果用于指示與第一菜肴匹配的食材，食材選擇建議用于指示與所述第一菜肴匹配的食材的特征。

4、在一些示例中，第一圖片中包括多個食材，該多個食材包括同一食材的不同品種。例如，第一圖片中包括脆藕和粉藕。

5、上述第一方面提供的方案，在接收到用戶輸入的菜肴名稱和包括一個或多個食材的圖片時，電子設(shè)備可以顯示菜肴食材識別結(jié)果，用于指示圖片中是否有適合烹飪用戶輸入的菜肴的食材，或者指示適合烹飪用戶輸入的菜肴的食材應(yīng)該具備的特征。例如，在用戶輸入的第一菜肴的菜肴名稱是“清炒藕片”，第一圖片中包括脆藕和粉藕兩個品種的蓮藕時，電子設(shè)備可以顯示食材推薦結(jié)果，以指示適合烹飪“清炒藕片”的蓮藕是圖片中的脆藕。基于此，電子設(shè)備可以提供品種級別的食材識別，從而提供更加專業(yè)、準(zhǔn)確的食材推薦或食材建議服務(wù)，解決用戶在買菜時不知道選擇什么品種的食材的煩惱。

6、作為一種可能的實現(xiàn)方式，上述第一界面還包括圖片拍攝建議，其中圖片拍攝建議用于指示拍攝與第一菜肴匹配的食材的特征。基于此，電子設(shè)備可以在無法判斷圖片中是否有適合烹飪用戶輸入的菜肴的食材時，通過圖片拍攝建議指示用戶在拍攝圖片時需要拍攝到的食材的特征，以為用戶提供更加準(zhǔn)確的食材推薦服務(wù)。

7、作為一種可能的實現(xiàn)方式，上述圖片拍攝建議用于指示拍攝與第一菜肴匹配的食材時需要體現(xiàn)的特征，所述特征包括以下中的一個或多個：結(jié)構(gòu)、形狀、顏色、紋理、光滑度?；诖耍梢酝ㄟ^圖片拍攝建議指示用戶在拍攝圖片時需要拍攝到的食材的特征，為用戶提供更加準(zhǔn)確的食材推薦服務(wù)。

8、作為一種可能的實現(xiàn)方式，上述第一圖片包括第一食材和第二食材，第一食材和第二食材為同一種食材的不同品種。示例性地，第一食材如脆藕，第二食材如粉藕。基于本技術(shù)提供的方案，電子設(shè)備可以提供品種級別的食材識別，從而提供更加專業(yè)、準(zhǔn)確的食材推薦或食材建議服務(wù)，例如可以解決用戶在買菜時不知道選擇什么品種的蓮藕烹飪清炒藕片的煩惱。

9、作為一種可能的實現(xiàn)方式，上述食材推薦結(jié)果用于指示第一食材與第一菜肴匹配?；谠摲桨?，電子設(shè)備可以提供品種級別的食材識別，從而提供更加專業(yè)、準(zhǔn)確的食材推薦或食材建議服務(wù)。例如在第一圖片中包括同一食材不同品種的第一食材和第二食材時，可以識別出適合烹飪第一菜肴的第一食材，以及識別出第二食材不適合烹飪第一菜肴。

10、作為一種可能的實現(xiàn)方式，上述食材推薦結(jié)果包括第一食材與第一菜肴匹配的理由?；诖耍梢詾橛脩籼峁└佑姓f服力的食材推薦結(jié)果，并為用戶提供豐富的菜肴食材相關(guān)知識。

11、作為一種可能的實現(xiàn)方式，上述基于菜肴食材識別結(jié)果顯示第一界面，包括：根據(jù)用戶對第二食材的選擇操作，顯示食材選擇建議?；诖?，電子設(shè)備可以在用戶在第一圖片中選擇的食材不適合烹飪第一菜肴時，指示用戶適合烹飪第一菜肴的食材應(yīng)該具備的特征，為用戶提供更加清晰、明確的食材選擇建議。

12、作為一種可能的實現(xiàn)方式，當(dāng)上述一個或多個食材中不包括與第一菜肴匹配的食材時，上述基于菜肴食材識別結(jié)果顯示第一界面，包括：顯示食材選擇建議。基于此，電子設(shè)備可以在第一圖片中不包括適合烹飪第一菜肴時，指示用戶適合烹飪第一菜肴的食材應(yīng)該具備的特征，為用戶提供更加清晰、明確的食材選擇建議。

13、作為一種可能的實現(xiàn)方式，上述食材選擇建議用于指示與第一菜肴匹配的食材特征，上述特征包括以下中的一個或多個：結(jié)構(gòu)、形狀、顏色、紋理、光滑度?；诖?，可以指示用戶適合烹飪第一菜肴的食材的特征，為用戶提供更加清晰、明確的食材選擇建議。

14、作為一種可能的實現(xiàn)方式，上述方法還包括：接收用戶輸入的第二圖片，其中第二圖片中包括目標(biāo)食材；向服務(wù)器發(fā)送第二圖片的相關(guān)信息；接收來自服務(wù)器的食譜推薦結(jié)果，其中食譜推薦結(jié)果用于指示與目標(biāo)食材匹配的菜肴；顯示食譜推薦結(jié)果?；诖?，在接收到用戶輸入的包括目標(biāo)食材的圖片時，電子設(shè)備可以顯示食譜推薦結(jié)果，用于指示目標(biāo)食材適合烹飪的菜肴。例如，在用戶輸入的圖片中的目標(biāo)食材為脆藕時，電子設(shè)備可以顯示食譜推薦結(jié)果，以指示脆藕適合烹飪“清炒藕片”和“涼拌蓮藕”?；诖?，電子設(shè)備可以提供品種級別的食材識別，從而提供更加專業(yè)、準(zhǔn)確的食譜推薦服務(wù)，解決用戶在烹飪時不知道食材適合烹飪什么菜肴的煩惱。

15、作為一種可能的實現(xiàn)方式，上述第二圖片中包括多個食材，上述方法還包括：根據(jù)用戶在第二圖片中選擇的區(qū)域確定區(qū)域中的食材為目標(biāo)食材。本方案適用于第一圖片中包括一個食材的情況，也適用于第一圖片中包括多個食材的情況。例如，在第一圖片中包括多個食材時，電子設(shè)備可以根據(jù)用戶的選擇操作為用戶提供相應(yīng)的食譜推薦結(jié)果。

16、第二方面，提供一種菜肴食材識別方法，該方法應(yīng)用于應(yīng)用服務(wù)器，該方法包括：從電子設(shè)備接收用戶輸入的第一菜肴的菜肴名稱和第一圖片的相關(guān)信息，其中第一圖片包括一個或多個食材；判斷上述一個或多個食材是否與第一菜肴匹配；向電子設(shè)備發(fā)送菜肴食材識別結(jié)果；其中，當(dāng)上述一個或多個食材與第一菜肴匹配時，食材推薦結(jié)果用于指示與第一菜肴匹配的食材；當(dāng)上述一個或多個食材與第一菜肴不匹配時，食材推薦結(jié)果用于指示與第一菜肴匹配的食材的特征。

17、在一些示例中，第一圖片中包括多個食材，該多個食材包括同一食材的不同品種。例如，第一圖片中包括脆藕和粉藕。

18、上述第二方面提供的方案，應(yīng)用服務(wù)器可以通過識別用戶拍攝的圖片中適合烹飪用戶輸入的菜肴的食材，指示圖片中是否有適合烹飪用戶輸入的菜肴的食材，或者指示適合烹飪用戶輸入的菜肴的食材應(yīng)該具備的特征。例如，在用戶輸入的第一菜肴的菜肴名稱是“清炒藕片”，第一圖片中包括脆藕和粉藕兩個品種的蓮藕時，應(yīng)用服務(wù)器可以得到食材推薦結(jié)果，以指示適合烹飪“清炒藕片”的蓮藕是圖片中的脆藕?；诖?，應(yīng)用服務(wù)器可以為用戶提供品種級別的食材識別，從而提供更加專業(yè)、準(zhǔn)確的食材推薦或食材建議服務(wù)，解決用戶在買菜時不知道選擇什么品種的食材的煩惱。

19、作為一種可能的實現(xiàn)方式，上述判斷上述一個或多個食材是否與第一菜肴匹配，包括：獲取上述一個或多個食材的圖片特征；獲取第一菜肴的圖譜特征；根據(jù)上述一個或多個食材的圖片特征和第一菜肴的圖譜特征判斷上述一個或多個食材是否與第一菜肴匹配。基于此，可以通過對第一圖片進行特片特征分析和對菜肴名稱進行圖譜特征分析，以判斷用戶拍攝的圖片中是否有適合烹飪用戶輸入的菜肴的食材，從而提供更加專業(yè)、準(zhǔn)確的食材推薦或食材建議服務(wù)。

20、作為一種可能的實現(xiàn)方式，上述獲取上述一個或多個食材的圖片特征，包括：對第一圖片進行目標(biāo)檢測，確定上述一個或多個食材所在的區(qū)域；提取一個或多個食材所在的區(qū)域中的圖片特征。示例性地，目標(biāo)檢測方法如基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(region-convolutional?neural?network，r-cnn)的目標(biāo)檢測技術(shù)、快速r-cnn(faster?r-cnn)技術(shù)、yolo(you?only?look?once)等，本技術(shù)不做限定。

21、作為一種可能的實現(xiàn)方式，上述獲取第一菜肴的圖譜特征，包括：獲取第一菜肴在菜肴知識圖譜庫中的圖譜特征；其中，菜肴知識圖譜庫包括與第一菜肴相關(guān)的節(jié)點，上述節(jié)點之間具有相關(guān)關(guān)系，上述節(jié)點包括以下中的一個或多個：結(jié)構(gòu)、形狀、顏色、紋理、光滑度?；诎ǘ鄠€維度的節(jié)點，可以支持應(yīng)用服務(wù)器不僅可以識別食材的種類，還可以識別其品種，從而提供更加專業(yè)、準(zhǔn)確的食材推薦或食材建議服務(wù)。

22、作為一種可能的實現(xiàn)方式，上述獲取第一菜肴在菜肴知識圖譜庫中的圖譜特征，包括：對第一菜肴的菜肴名稱進行分析，確定第一菜肴的烹飪方式和食材；根據(jù)第一菜肴的烹飪方式和食材確定第一菜肴的烹飪方式在菜肴知識圖譜庫中的節(jié)點，并提取對應(yīng)的圖譜特征?；诖?，應(yīng)用服務(wù)器可以通過根據(jù)菜肴名稱分析得出的烹飪方式和食材確定目標(biāo)食材在圖譜中的特征，以支持應(yīng)用服務(wù)器識別用戶拍攝圖片中適合烹飪菜肴的食材，從而提供更加專業(yè)、準(zhǔn)確的食材推薦或食材建議服務(wù)。

23、作為一種可能的實現(xiàn)方式，上述根據(jù)上述一個或多個食材的圖片特征和第一菜肴的圖譜特征判斷上述一個或多個食材是否與第一菜肴匹配，包括：計算上述一個或多個食材的圖片特征與第一菜肴的圖譜特征之間的語義相似度；根據(jù)最大語義相似度的數(shù)值判斷上述一個或多個食材是否與第一菜肴匹配。其中，語義相似度的數(shù)值越大，表示兩者相似性越強；語義相似度的數(shù)值越小，表示兩者相似性越弱。基于此，可以識別出與第一菜肴相似性最強的圖片特征，進而確定最適合烹飪與第一菜肴的食材，從而提供更加專業(yè)、準(zhǔn)確的食材推薦或食材建議服務(wù)。

24、作為一種可能的實現(xiàn)方式，上述一個或多個食材的圖片特征與第一菜肴的圖譜特征之間的最大語義相似度t1是基于以下公式1計算得到的：

25、t1＝argmax(sim(p1,k),sim(p2,k),…,sim(pi,k))；(公式1)

26、其中，上述公式1中，p1、p2、……、pi分別是上述一個或多個食材的圖片特征向量；k是第一菜肴的圖譜特征向量；sim(·)是計算向量間距離的度量函數(shù)。

27、基于公式1，可以確定與第一菜肴的圖譜特征相似性最強的圖片特征，進而確定最適合烹飪與第一菜肴的食材，從而提供更加專業(yè)、準(zhǔn)確的食材推薦、食材建議服務(wù)或圖片拍攝建議。例如，若最大語義相似度t1大于第一預(yù)設(shè)閾值，可以得到食材推薦結(jié)果，以指示第一圖片中適合烹飪第一菜肴的食材；若最大語義相似度t1小于第二預(yù)設(shè)閾值，可以得到食材選擇建議，以指示適合烹飪第一菜肴的食材的特征；若最大語義相似度t1小于第三預(yù)設(shè)閾值，可以得到圖片拍攝建議，以指示拍攝圖片時需要體現(xiàn)的食材特征；其中，第一預(yù)設(shè)閾值＞第二預(yù)設(shè)閾值＞第三預(yù)設(shè)閾值。

28、作為一種可能的實現(xiàn)方式，上述食材推薦結(jié)果、食材選擇建議或圖片拍攝建議是基于第一菜肴的圖譜特征確定的?；诖?，可以提供更加有說服力的食材識別結(jié)果，并為用戶提供豐富的菜肴食材相關(guān)知識。

29、作為一種可能的實現(xiàn)方式，上述方法還包括：從電子設(shè)備接收用戶輸入的第二圖片，其中第二圖片包括目標(biāo)食材；獲取目標(biāo)食材的食材名稱和圖片特征；確定目標(biāo)食材在食材知識圖譜庫中對應(yīng)的一個或多個烹飪方式的圖譜特征；根據(jù)目標(biāo)食材的圖片特征和一個或多個烹飪方式的圖譜特征向電子設(shè)備發(fā)送食譜推薦結(jié)果，其中食譜推薦結(jié)果用于指示與目標(biāo)食材匹配的菜肴?；诖?，應(yīng)用服務(wù)器可以識別用戶拍攝的圖片中的食材適合烹飪的菜肴，以為用戶提供品種級別的食材識別，從而提供更加專業(yè)、準(zhǔn)確的食材推薦或食材建議服務(wù)，解決用戶在烹飪時不知道食材適合烹飪什么菜肴的煩惱。例如，在用戶輸入的圖片中的目標(biāo)食材為脆藕時，應(yīng)用服務(wù)器可以得到食譜推薦結(jié)果，以指示脆藕適合烹飪“清炒藕片”和“涼拌蓮藕”。

30、作為一種可能的實現(xiàn)方式，上述第二圖片中包括多個食材，上述方法還包括：接收用戶在第二圖片中選擇的區(qū)域的相關(guān)信息；根據(jù)用戶在所述第二圖片中選擇的區(qū)域的相關(guān)信息確定區(qū)域中的食材為目標(biāo)食材。本方案適用于第一圖片中包括一個食材的情況，也適用于第一圖片中包括多個食材的情況。例如，在第一圖片中包括多個食材時，應(yīng)用服務(wù)器可以根據(jù)用戶的選擇操作為用戶提供相應(yīng)的食譜推薦結(jié)果。

31、作為一種可能的實現(xiàn)方式，上述與目標(biāo)食材匹配的菜肴是應(yīng)用服務(wù)器基于以下方法確定的：計算目標(biāo)食材的圖片特征和一個或多個烹飪方式的圖譜特征之間的語義相似度；根據(jù)最大語義相似度的數(shù)值確定目標(biāo)食材適合烹飪的菜肴。本方案適用于第一圖片中包括一個食材的情況，也適用于第一圖片中包括多個食材的情況。例如，在第一圖片中包括多個食材時，應(yīng)用服務(wù)器可以根據(jù)用戶的選擇操作為用戶提供相應(yīng)的食譜推薦結(jié)果。其中，語義相似度的數(shù)值越大，表示兩者相似性越強；語義相似度的數(shù)值越小，表示兩者相似性越弱?；诖?，可以識別出與目標(biāo)食材圖片特征相似性最強的圖譜特征，進而確定目標(biāo)食材最適合烹飪的菜肴，從而提供更加專業(yè)、準(zhǔn)確的食譜推薦服務(wù)。

32、作為一種可能的實現(xiàn)方式，上述目標(biāo)食材的圖片特征和一個或多個烹飪方式的圖譜特征之間的最大語義相似度t2是基于以下公式2計算得到的：

33、t2＝argmax(sim(p,k1),…,sim(p,kj))；(公式2)

34、其中，上述公式2中，p是目標(biāo)食材的圖片特征向量；k1、……、kj分別是上述一個或多個烹飪方式的圖譜特征向量；sim(·)是計算向量間距離的度量函數(shù)。

35、基于公式2，可以確定與目標(biāo)食材的圖片特征相似性最強的圖譜特征，進而確定目標(biāo)食材最適合烹飪的菜肴，從而提供更加專業(yè)、準(zhǔn)確的食譜推薦服務(wù)。例如，若最大語義相似度t2大于第一預(yù)設(shè)閾值，得到食譜推薦結(jié)果。

36、第三方面，提供一種電子設(shè)備，該電子設(shè)備包括：輸入輸出模塊，用于獲取用戶輸入的第一菜肴的菜肴名稱和第一圖片，其中第一圖片包括一個或多個食材；收發(fā)模塊，用于向服務(wù)器發(fā)送第一菜肴的菜肴名稱和第一圖片的相關(guān)信息，以及接收來自服務(wù)器的菜肴食材識別結(jié)果；顯示模塊，用于基于菜肴食材識別結(jié)果顯示第一界面；其中，第一界面包括食材推薦結(jié)果和/或食材選擇建議，食材推薦結(jié)果用于指示與第一菜肴匹配的食材，食材選擇建議用于指示與所述第一菜肴匹配的食材的特征。

37、上述第三方面提供的方案，在接收到用戶輸入的菜肴名稱和包括一個或多個食材的圖片時，電子設(shè)備可以顯示菜肴食材識別結(jié)果，用于指示圖片中是否有適合烹飪用戶輸入的菜肴的食材，或者指示適合烹飪用戶輸入的菜肴的食材應(yīng)該具備的特征。例如，在用戶輸入的第一菜肴的菜肴名稱是“清炒藕片”，第一圖片中包括脆藕和粉藕兩個品種的蓮藕時，電子設(shè)備可以顯示食材推薦結(jié)果，以指示適合烹飪“清炒藕片”的蓮藕是圖片中的脆藕?；诖?，電子設(shè)備可以提供品種級別的食材識別，從而提供更加專業(yè)、準(zhǔn)確的食材推薦或食材建議服務(wù)，解決用戶在買菜時不知道選擇什么品種的食材的煩惱。

38、作為一種可能的實現(xiàn)方式，上述第一界面還包括圖片拍攝建議，其中圖片拍攝建議用于指示拍攝與第一菜肴匹配的食材的特征。基于此，電子設(shè)備可以在無法判斷圖片中是否有適合烹飪用戶輸入的菜肴的食材時，通過圖片拍攝建議指示用戶在拍攝圖片時需要拍攝到的食材的特征，以為用戶提供更加準(zhǔn)確的食材推薦服務(wù)。

39、作為一種可能的實現(xiàn)方式，上述圖片拍攝建議用于指示拍攝與第一菜肴匹配的食材時需要體現(xiàn)的特征，所述特征包括以下中的一個或多個：結(jié)構(gòu)、形狀、顏色、紋理、光滑度?；诖?，可以通過圖片拍攝建議指示用戶在拍攝圖片時需要拍攝到的食材的特征，為用戶提供更加準(zhǔn)確的食材推薦服務(wù)。

40、作為一種可能的實現(xiàn)方式，上述第一圖片包括第一食材和第二食材，第一食材和第二食材為同一種食材的不同品種。示例性地，第一食材如脆藕，第二食材如粉藕。基于本技術(shù)提供的方案，電子設(shè)備可以提供品種級別的食材識別，從而提供更加專業(yè)、準(zhǔn)確的食材推薦或食材建議服務(wù)，例如可以解決用戶在買菜時不知道選擇什么品種的蓮藕烹飪清炒藕片的煩惱。

41、作為一種可能的實現(xiàn)方式，上述食材推薦結(jié)果用于指示第一食材與第一菜肴匹配?；谠摲桨?，電子設(shè)備可以提供品種級別的食材識別，從而提供更加專業(yè)、準(zhǔn)確的食材推薦或食材建議服務(wù)。例如在第一圖片中包括同一食材不同品種的第一食材和第二食材時，可以識別出適合烹飪第一菜肴的第一食材，以及識別出第二食材不適合烹飪第一菜肴。

42、作為一種可能的實現(xiàn)方式，上述食材推薦結(jié)果包括第一食材與第一菜肴匹配的理由。基于此，可以為用戶提供更加有說服力的食材推薦結(jié)果，并為用戶提供豐富的菜肴食材相關(guān)知識。

43、作為一種可能的實現(xiàn)方式，上述顯示模塊基于菜肴食材識別結(jié)果顯示第一界面，包括：上述顯示模塊根據(jù)用戶對第二食材的選擇操作，顯示食材選擇建議?；诖耍娮釉O(shè)備可以在用戶在第一圖片中選擇的食材不適合烹飪第一菜肴時，指示用戶適合烹飪第一菜肴的食材應(yīng)該具備的特征，為用戶提供更加清晰、明確的食材選擇建議。

44、作為一種可能的實現(xiàn)方式，當(dāng)上述一個或多個食材中不包括與第一菜肴匹配的食材時，上述顯示模塊基于菜肴食材識別結(jié)果顯示第一界面，包括：顯示模塊顯示食材選擇建議。基于此，電子設(shè)備可以在第一圖片中不包括適合烹飪第一菜肴時，指示用戶適合烹飪第一菜肴的食材應(yīng)該具備的特征，為用戶提供更加清晰、明確的食材選擇建議。

45、作為一種可能的實現(xiàn)方式，上述食材選擇建議用于指示與第一菜肴匹配的食材特征，上述特征包括以下中的一個或多個：結(jié)構(gòu)、形狀、顏色、紋理、光滑度?；诖耍梢灾甘居脩暨m合烹飪第一菜肴的食材的特征，為用戶提供更加清晰、明確的食材選擇建議。

46、作為一種可能的實現(xiàn)方式，上述輸入輸出模塊還用于：接收用戶輸入的第二圖片，其中第二圖片中包括目標(biāo)食材；向服務(wù)器發(fā)送第二圖片的相關(guān)信息；以及接收來自服務(wù)器的食譜推薦結(jié)果，其中食譜推薦結(jié)果用于指示與目標(biāo)食材匹配的菜肴；上述顯示模塊還用于：顯示食譜推薦結(jié)果?；诖?，在接收到用戶輸入的包括目標(biāo)食材的圖片時，電子設(shè)備可以顯示食譜推薦結(jié)果，用于指示目標(biāo)食材適合烹飪的菜肴。例如，在用戶輸入的圖片中的目標(biāo)食材為脆藕時，電子設(shè)備可以顯示食譜推薦結(jié)果，以指示脆藕適合烹飪“清炒藕片”和“涼拌蓮藕”?；诖?，電子設(shè)備可以提供品種級別的食材識別，從而提供更加專業(yè)、準(zhǔn)確的食譜推薦服務(wù)，解決用戶在烹飪時不知道食材適合烹飪什么菜肴的煩惱。

47、作為一種可能的實現(xiàn)方式，上述第二圖片中包括多個食材，上述輸入輸出模塊還用于：根據(jù)用戶在第二圖片中選擇的區(qū)域確定區(qū)域中的食材為目標(biāo)食材。本方案適用于第一圖片中包括一個食材的情況，也適用于第一圖片中包括多個食材的情況。例如，在第一圖片中包括多個食材時，電子設(shè)備可以根據(jù)用戶的選擇操作為用戶提供相應(yīng)的食譜推薦結(jié)果。

48、第四方面，提供一種應(yīng)用服務(wù)器，該應(yīng)用服務(wù)器包括：收發(fā)模塊，用于從電子設(shè)備接收用戶輸入的第一菜肴的菜肴名稱和第一圖片的相關(guān)信息，其中第一圖片包括一個或多個食材；多模態(tài)匹配模塊，用于判斷上述一個或多個食材是否與第一菜肴匹配；收發(fā)模塊，用于向電子設(shè)備發(fā)送菜肴食材識別結(jié)果；其中，當(dāng)上述一個或多個食材與第一菜肴匹配時，食材推薦結(jié)果用于指示與第一菜肴匹配的食材；當(dāng)上述一個或多個食材與第一菜肴不匹配時，食材推薦結(jié)果用于指示與第一菜肴匹配的食材的特征。

49、上述第四方面提供的方案，應(yīng)用服務(wù)器可以通過識別用戶拍攝的圖片中適合烹飪用戶輸入的菜肴的食材，指示圖片中是否有適合烹飪用戶輸入的菜肴的食材，或者指示適合烹飪用戶輸入的菜肴的食材應(yīng)該具備的特征。例如，在用戶輸入的第一菜肴的菜肴名稱是“清炒藕片”，第一圖片中包括脆藕和粉藕兩個品種的蓮藕時，應(yīng)用服務(wù)器可以得到食材推薦結(jié)果，以指示適合烹飪“清炒藕片”的蓮藕是圖片中的脆藕。基于此，應(yīng)用服務(wù)器可以為用戶提供品種級別的食材識別，從而提供更加專業(yè)、準(zhǔn)確的食材推薦或食材建議服務(wù)，解決用戶在買菜時不知道選擇什么品種的食材的煩惱。

50、作為一種可能的實現(xiàn)方式，上述應(yīng)用服務(wù)器還包括：圖片特征提取模塊，用于獲取上述一個或多個食材的圖片特征；圖譜特征提取模塊，用于獲取第一菜肴的圖譜特征；上述多模態(tài)匹配模塊判斷上述一個或多個食材是否與第一菜肴匹配，包括：多模態(tài)匹配模塊根據(jù)上述一個或多個食材的圖片特征和第一菜肴的圖譜特征判斷上述一個或多個食材是否與第一菜肴匹配?；诖耍梢酝ㄟ^對第一圖片進行特片特征分析和對菜肴名稱進行圖譜特征分析，以判斷用戶拍攝的圖片中是否有適合烹飪用戶輸入的菜肴的食材，從而提供更加專業(yè)、準(zhǔn)確的食材推薦或食材建議服務(wù)。

51、作為一種可能的實現(xiàn)方式，上述應(yīng)用服務(wù)器還包括：目標(biāo)檢測模塊，用于對第一圖片進行目標(biāo)檢測，確定上述一個或多個食材所在的區(qū)域；上述圖片特征提取模塊獲取上述一個或多個食材的圖片特征，包括：圖片特征提取模塊提取一個或多個食材所在的區(qū)域中的圖片特征。

52、作為一種可能的實現(xiàn)方式，上述圖譜特征提取模塊獲取第一菜肴的圖譜特征，包括：圖譜特征提取模塊獲取第一菜肴在菜肴知識圖譜庫中的圖譜特征；其中，菜肴知識圖譜庫包括與第一菜肴相關(guān)的節(jié)點，上述節(jié)點之間具有相關(guān)關(guān)系，上述節(jié)點包括以下中的一個或多個：結(jié)構(gòu)、形狀、顏色、紋理、光滑度?；诎ǘ鄠€維度的節(jié)點，可以支持應(yīng)用服務(wù)器不僅可以識別食材的種類，還可以識別其品種，從而提供更加專業(yè)、準(zhǔn)確的食材推薦或食材建議服務(wù)。

53、作為一種可能的實現(xiàn)方式，上述應(yīng)用服務(wù)器還包括：菜肴分析模塊，用于對第一菜肴的菜肴名稱進行分析，確定第一菜肴的烹飪方式和食材；上述圖譜特征提取模塊獲取第一菜肴在菜肴知識圖譜庫中的圖譜特征，包括：圖譜特征提取模塊根據(jù)第一菜肴的烹飪方式和食材確定第一菜肴的烹飪方式在菜肴知識圖譜庫中的節(jié)點，并提取對應(yīng)的圖譜特征?；诖耍瑧?yīng)用服務(wù)器可以通過根據(jù)菜肴名稱分析得出的烹飪方式和食材確定目標(biāo)食材在圖譜中的特征，以支持應(yīng)用服務(wù)器識別用戶拍攝圖片中適合烹飪菜肴的食材，從而提供更加專業(yè)、準(zhǔn)確的食材推薦或食材建議服務(wù)。

54、作為一種可能的實現(xiàn)方式，上述多模態(tài)匹配模塊根據(jù)上述一個或多個食材的圖片特征和第一菜肴的圖譜特征判斷上述一個或多個食材是否與第一菜肴匹配，包括：多模態(tài)匹配模塊計算上述一個或多個食材的圖片特征與第一菜肴的圖譜特征之間的語義相似度；多模態(tài)匹配模塊根據(jù)最大語義相似度的數(shù)值判斷上述一個或多個食材是否與第一菜肴匹配。其中，語義相似度的數(shù)值越大，表示兩者相似性越強；語義相似度的數(shù)值越小，表示兩者相似性越弱。基于此，可以識別出與第一菜肴相似性最強的圖片特征，進而確定最適合烹飪與第一菜肴的食材，從而提供更加專業(yè)、準(zhǔn)確的食材推薦或食材建議服務(wù)。

55、作為一種可能的實現(xiàn)方式，上述一個或多個食材的圖片特征與第一菜肴的圖譜特征之間的最大語義相似度t1是基于以下公式1計算得到的：

56、t1＝argmax(sim(p1,k),sim(p2,k),…,sim(pi,k))；(公式1)

57、其中，上述公式1中，p1、p2、……、pi分別是上述一個或多個食材的圖片特征向量；k是第一菜肴的圖譜特征向量；sim(·)是計算向量間距離的度量函數(shù)。

58、基于公式1，可以確定與第一菜肴的圖譜特征相似性最強的圖片特征，進而確定最適合烹飪與第一菜肴的食材，從而提供更加專業(yè)、準(zhǔn)確的食材推薦、食材建議服務(wù)或圖片拍攝建議。例如，若最大語義相似度t1大于第一預(yù)設(shè)閾值，可以得到食材推薦結(jié)果，以指示第一圖片中適合烹飪第一菜肴的食材；若最大語義相似度t1小于第二預(yù)設(shè)閾值，可以得到食材選擇建議，以指示適合烹飪第一菜肴的食材的特征；若最大語義相似度t1小于第三預(yù)設(shè)閾值，可以得到圖片拍攝建議，以指示拍攝圖片時需要體現(xiàn)的食材特征；其中，第一預(yù)設(shè)閾值＞第二預(yù)設(shè)閾值＞第三預(yù)設(shè)閾值。

59、作為一種可能的實現(xiàn)方式，上述食材推薦結(jié)果、食材選擇建議或圖片拍攝建議是基于第一菜肴的圖譜特征確定的?；诖?，可以提供更加有說服力的食材識別結(jié)果，并為用戶提供豐富的菜肴食材相關(guān)知識。

60、作為一種可能的實現(xiàn)方式，上述收發(fā)模塊還用于：從電子設(shè)備接收用戶輸入的第二圖片，其中第二圖片包括目標(biāo)食材；上述圖片特征提取模塊還用于：獲取目標(biāo)食材的食材名稱和圖片特征；上述圖譜特征提取模塊還用于：確定目標(biāo)食材在食材知識圖譜庫中對應(yīng)的一個或多個烹飪方式的圖譜特征；上述多模態(tài)匹配模塊還用于：根據(jù)目標(biāo)食材的圖片特征和一個或多個烹飪方式的圖譜特征向電子設(shè)備發(fā)送食譜推薦結(jié)果，其中食譜推薦結(jié)果用于指示與目標(biāo)食材匹配的菜肴。基于此，應(yīng)用服務(wù)器可以識別用戶拍攝的圖片中的食材適合烹飪的菜肴，以為用戶提供品種級別的食材識別，從而提供更加專業(yè)、準(zhǔn)確的食材推薦或食材建議服務(wù)，解決用戶在烹飪時不知道食材適合烹飪什么菜肴的煩惱。例如，在用戶輸入的圖片中的目標(biāo)食材為脆藕時，應(yīng)用服務(wù)器可以得到食譜推薦結(jié)果，以指示脆藕適合烹飪“清炒藕片”和“涼拌蓮藕”。

61、作為一種可能的實現(xiàn)方式，上述第二圖片中包括多個食材，上述收發(fā)模塊還用戶：從電子設(shè)備接收用戶在第二圖片中選擇的區(qū)域的相關(guān)信息；上述多模態(tài)匹配模塊具體用于：根據(jù)用戶在所述第二圖片中選擇的區(qū)域的相關(guān)信息確定區(qū)域中的食材為目標(biāo)食材。本方案適用于第一圖片中包括一個食材的情況，也適用于第一圖片中包括多個食材的情況。例如，在第一圖片中包括多個食材時，應(yīng)用服務(wù)器可以根據(jù)用戶的選擇操作為用戶提供相應(yīng)的食譜推薦結(jié)果。

62、作為一種可能的實現(xiàn)方式，上述與目標(biāo)食材匹配的菜肴是應(yīng)用服務(wù)器的多模態(tài)匹配模塊基于以下方法確定的：多模態(tài)匹配模塊計算目標(biāo)食材的圖片特征和一個或多個烹飪方式的圖譜特征之間的語義相似度；多模態(tài)匹配模塊根據(jù)最大語義相似度的數(shù)值確定目標(biāo)食材適合烹飪的菜肴。本方案適用于第一圖片中包括一個食材的情況，也適用于第一圖片中包括多個食材的情況。例如，在第一圖片中包括多個食材時，應(yīng)用服務(wù)器可以根據(jù)用戶的選擇操作為用戶提供相應(yīng)的食譜推薦結(jié)果。其中，語義相似度的數(shù)值越大，表示兩者相似性越強；語義相似度的數(shù)值越小，表示兩者相似性越弱?；诖耍梢宰R別出與目標(biāo)食材圖片特征相似性最強的圖譜特征，進而確定目標(biāo)食材最適合烹飪的菜肴，從而提供更加專業(yè)、準(zhǔn)確的食譜推薦服務(wù)。

63、作為一種可能的實現(xiàn)方式，上述目標(biāo)食材的圖片特征和一個或多個烹飪方式的圖譜特征之間的最大語義相似度t2是基于以下公式2計算得到的：

64、t2＝argmax(sim(p,k1),…,sim(p,kj))；(公式2)

65、其中，上述公式2中，p是目標(biāo)食材的圖片特征向量；k1、……、kj分別是上述一個或多個烹飪方式的圖譜特征向量；sim(·)是計算向量間距離的度量函數(shù)。

66、基于公式2，可以確定與目標(biāo)食材的圖片特征相似性最強的圖譜特征，進而確定目標(biāo)食材最適合烹飪的菜肴，從而提供更加專業(yè)、準(zhǔn)確的食譜推薦服務(wù)。例如，若最大語義相似度t2大于第一預(yù)設(shè)閾值，得到食譜推薦結(jié)果。

67、第五方面，提供一種電子設(shè)備，該電子設(shè)備包括：顯示屏，用于進行界面顯示；收發(fā)器，用于進行無線電信號發(fā)送與接收；存儲器，用于存儲計算機程序指令；處理器，用于執(zhí)行所述計算機程序指令，以支持電子設(shè)備實現(xiàn)如第一方面任一種可能的實現(xiàn)方式中的方法。

68、第六方面，提供一種應(yīng)用服務(wù)器，該應(yīng)用服務(wù)器包括：收發(fā)器，用于進行無線電信號發(fā)送與接收；存儲器，用于存儲計算機程序指令；處理器，用于執(zhí)行所述計算機程序指令，以支持應(yīng)用服務(wù)器實現(xiàn)如第二方面任一種可能的實現(xiàn)方式中的方法。

69、第七方面，提供一種計算機可讀存儲介質(zhì)，該計算機可讀存儲介質(zhì)上存儲有計算機程序指令，該計算機程序指令被處理器執(zhí)行時實現(xiàn)如第一方面或第二方面任一種可能的實現(xiàn)方式中的方法。

70、第八方面，提供一種包含指令的計算機程序產(chǎn)品，當(dāng)該計算機程序產(chǎn)品在計算機上運行時，使得計算機實現(xiàn)如第一方面或第二方面任一種可能的實現(xiàn)方式中的方法。

71、第九方面，提供一種芯片系統(tǒng)，該芯片系統(tǒng)包括處理電路、存儲介質(zhì)，存儲介質(zhì)中存儲有計算機程序指令；所述計算機程序指令被所述處理器執(zhí)行時，實現(xiàn)如第一方面或第二方面任一種可能的實現(xiàn)方式中的方法。該芯片系統(tǒng)可以由芯片構(gòu)成，也可以包含芯片和其他分立器件。