本發(fā)明涉及序列推薦，尤其涉及一種項(xiàng)目關(guān)系注意力機(jī)制和卷積方式構(gòu)建序列推薦模型的方法。

背景技術(shù)：

1、序列推薦是基于用戶的連續(xù)交互歷史項(xiàng)目，生成用戶將與之交互的下一個項(xiàng)目。它在實(shí)際應(yīng)用場景中得到廣泛應(yīng)用，已成為推薦系統(tǒng)領(lǐng)域的重要研究方向之一。在現(xiàn)實(shí)生活中，用戶的連續(xù)序列行為很常見，而用戶的大部分后續(xù)行為都會受到之前連續(xù)行為的影響，因此開展序列推薦課題研究意義重大。

2、在現(xiàn)實(shí)世界中，每天都會產(chǎn)生數(shù)以萬計(jì)的新信息，這些海量信息會讓用戶無所適從。因此，在向用戶推薦信息時，并不是將所有生成的信息都推薦給用戶，而是收集與用戶相關(guān)或用戶感興趣的信息，并將其推薦給用戶。因此，在為用戶建模時，充分考慮用戶的長期偏好非常重要，這代表了用戶長期而穩(wěn)定的興趣，用戶的一些近期行為也必須考慮在內(nèi)，因?yàn)橛脩舻南乱粋€交互項(xiàng)目也可能受到近期行為的影響。因此，需要對用戶的長期偏好和短期偏好進(jìn)行良好建模，以捕捉用戶的興趣，從而做好更準(zhǔn)確的推薦。

3、現(xiàn)有的序列推薦模型，用到了許多神經(jīng)網(wǎng)絡(luò)模型，有循環(huán)神經(jīng)網(wǎng)絡(luò)、圖神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)以及這些神經(jīng)網(wǎng)絡(luò)的結(jié)合體，但是關(guān)注點(diǎn)大多集中在用戶的歷史交互序列上，而缺少對項(xiàng)目關(guān)系的關(guān)注，并且也會忽略用戶短期偏好，導(dǎo)致推薦準(zhǔn)確性不高。

4、申請?zhí)枮閏n202211284644.9，發(fā)明名稱為：序列推薦模型的訓(xùn)練方法及裝置。公開了一種序列推薦模型的方法，包括獲取關(guān)聯(lián)對象推薦業(yè)務(wù)的歷史行為序列，根據(jù)歷史行為序列中包含的歷史對象生成原始興趣表征；根據(jù)每個歷史對象在生成原始興趣表征；根據(jù)每個歷史對象在至少一個維度中的注意力影響參數(shù)，計(jì)算每個歷史對象與基準(zhǔn)偏好對象之間的對象相似度；基于對象相似度在歷史行為序列中確定目標(biāo)歷史對象，并根據(jù)目標(biāo)歷史對象生成反事實(shí)興趣表征：根據(jù)原始興趣表征、基準(zhǔn)偏好對象對應(yīng)的基準(zhǔn)偏好表征、反事實(shí)興趣表征生成優(yōu)化參數(shù)對，并根據(jù)優(yōu)化參數(shù)對訓(xùn)練關(guān)聯(lián)對象推薦業(yè)務(wù)的序列推薦模型。該發(fā)明沒有明確建模用戶的長期偏好和短期偏好，不能準(zhǔn)確生成個性化推薦，并沒有充分利用項(xiàng)目關(guān)系在序列推薦中的應(yīng)用，在面對冷啟動問題或者稀疏性數(shù)據(jù)時推薦性能不太理想。

5、在上述推薦方法中，往往無法有效區(qū)分用戶的長期偏好和短期偏好，大多都是只能捕捉用戶的長期偏好，而忽視了短期偏好的變化，導(dǎo)致推薦結(jié)果無法及時反映用戶的最新興趣。當(dāng)處理較為稀疏性的數(shù)據(jù)時，由于用戶與項(xiàng)目之間的交互數(shù)據(jù)較為有限，這就導(dǎo)致了傳統(tǒng)推薦算法難以準(zhǔn)確捕捉用戶的偏好，并且當(dāng)面對冷啟動問題時，由于缺乏足夠的數(shù)據(jù)，傳統(tǒng)推薦方法也難以進(jìn)行有效的推薦。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于解決上述現(xiàn)有技術(shù)存在的缺陷，提供項(xiàng)目關(guān)系注意力機(jī)制和卷積方式構(gòu)建序列推薦模型的方法，用于解決現(xiàn)有技術(shù)中推薦準(zhǔn)確性不高的缺陷。

2、本發(fā)明采用如下技術(shù)方案：

3、項(xiàng)目關(guān)系注意力機(jī)制和卷積方式構(gòu)建序列推薦模型的方法，包括：

4、s1.獲取用戶對應(yīng)的歷史行為交互序列。

5、s2.根據(jù)用戶的歷史行為交互序列獲取項(xiàng)目中的項(xiàng)目關(guān)系，所述的項(xiàng)目關(guān)系分為序列內(nèi)項(xiàng)目關(guān)系和序列與序列間項(xiàng)目關(guān)系，例如：兩個項(xiàng)目之間是同一個品牌或同一種顏色或同一種類別。

6、s3.根據(jù)項(xiàng)目關(guān)系作為注意力頭構(gòu)建用戶的長期偏好并且根據(jù)歷史行為的交互項(xiàng)目構(gòu)建用戶的短期偏好。

7、s4.對用戶的長期偏好和短期偏好進(jìn)行融合，利用融合后的最終表示得到相應(yīng)的推薦結(jié)果。

8、進(jìn)一步的，s3中，將嵌入矩陣輸入到注意力模塊包括：

9、

10、a＝ln(eemb+dropout(ira(eemb)))

11、f＝ln(a+dropout(ffn(a)))

12、ira(b)＝ira(f(b-1)

13、a(b)＝ln(f(b-1)+dropout(ira(f(b-1))))

14、f(b)＝ln(a(b)+dropout(ffn(a(b))))

15、其中，qe為嵌入矩陣的查詢，ke為嵌入矩陣的鍵，ve為嵌入矩陣的值，krel為項(xiàng)目關(guān)系矩陣的鍵，為每個頭的維度，ira(eemb)為項(xiàng)目關(guān)系注意力分?jǐn)?shù)，ln為層歸一化，dropout為丟棄操作，a為ira(eemb)經(jīng)過丟棄、殘差連接和層歸一化操作之后的值，f為a經(jīng)過丟棄、殘差連接和層歸一化操作的值，ffn為前饋神經(jīng)網(wǎng)絡(luò)，ira(f(b-1))為當(dāng)b＞1時，此時輸入矩陣為上一層的輸出，ira(b)、a(b)、f(b)均為第b層的值，將項(xiàng)目關(guān)系注意力層的最后一層表示為e(ira)。

16、進(jìn)一步的，s3中，將嵌入式矩陣輸入到卷積模塊包括：

17、x(eemb)＝ln(dropout(linear(eemb)))

18、

19、convk＝5(x)＝ln(dropout([convk＝5(x)1，convk＝5(x)2，...，convk＝5(x)l]))

20、g＝relu(convk＝5(x))

21、

22、其中，linear為線性變換，dropout為丟棄操作，ln為層歸一化，x(eemb)為嵌入矩陣經(jīng)過線性變換、丟棄操作、層歸一化處理后的矩陣，relu為激活函數(shù)，xi:i+k-1為在某個區(qū)間內(nèi)進(jìn)行滑動，f為過濾器，ff為第f個過濾器，為第i個位置經(jīng)過第f個過濾器處理后的值，相對應(yīng)的分別為第i個位置經(jīng)過第1、2、……、m個過濾器處理后的值，conv為卷積操作，k為核大小，concat為拼接操作，x為x(eemb)，g為x經(jīng)過卷積和relu激活函數(shù)之后的值，conv(d)、g(d)均為第d層的值，將卷積層的最后一層表示為e(conv)。

23、進(jìn)一步的，s4包括的將項(xiàng)目關(guān)系注意力形成的長期偏好和卷積方式形成的短期偏好進(jìn)行融合包括：

24、e(final)＝λ*e(conv)+(1-λ)*e(ira)

25、其中，λ為融合參數(shù)，e(ira)為項(xiàng)目關(guān)系作注意力頭形成的長期偏好的最終表示，e(conv)為卷積方式形成的短期偏好的最終表示，e(final)為長期偏好和短期偏好融合后的最終表示。

26、進(jìn)一步的，s4還包括使用最終表示形成下一個項(xiàng)目的推薦分?jǐn)?shù)：

27、

28、其中，為用戶u的長度為l的最近的交互序列，e(final)為長期偏好和短期偏好融合后的最終表示，vο為所有候選項(xiàng)目，為候選項(xiàng)目形成的矩陣，為所有候選項(xiàng)目分?jǐn)?shù)。

29、進(jìn)一步的，s4還包括序列推薦模型的損失函數(shù)為：

30、

31、其中，為項(xiàng)目預(yù)測的損失函數(shù)，為項(xiàng)目關(guān)系的損失函數(shù)，θ為所有可學(xué)習(xí)參數(shù)，μ為超參數(shù)。

32、本發(fā)明的有益效果：

33、通過將項(xiàng)目關(guān)系作為注意力頭形成長期偏好，并且使用卷積的方法形成短期偏好的方式，通過將用戶的長期偏好和短期偏好進(jìn)行融合來建模用戶的最終偏好表示，最終提高序列推薦性能。

34、本發(fā)明相對于現(xiàn)有技術(shù)，本發(fā)明的模型，采取項(xiàng)目與項(xiàng)目之間的關(guān)系作為注意力頭從而計(jì)算注意力，這可以有效對用戶的長期偏好進(jìn)行建模并可以很好地緩解冷啟動問題。