本技術(shù)涉及人工智能,具體涉及一種數(shù)據(jù)篩選方法、裝置、設(shè)備及介質(zhì)。
背景技術(shù):
1、隨著人工智能技術(shù)的發(fā)展,在一些應(yīng)用場景中模型可以預(yù)測出相應(yīng)的結(jié)果,模型的預(yù)測結(jié)果的準(zhǔn)確性與輸入的變量相關(guān),比如通過輸入不同的變量可以改變模型的預(yù)測結(jié)果的準(zhǔn)確性。
2、在模型中輸入質(zhì)量較差的變量會導(dǎo)致模型的預(yù)測結(jié)果的準(zhǔn)確性變差,在模型中輸入另一些質(zhì)量較好的變量會導(dǎo)致模型的預(yù)測結(jié)果的準(zhǔn)確性變好,因此需要對輸入模型中的變量進(jìn)行合理的篩選,才能夠使得模型的預(yù)測結(jié)果最后保持較高的準(zhǔn)確性。
3、相關(guān)技術(shù)中,在模型對應(yīng)的變量篩選階段,雖然采取了增加變量或者刪除變量來改善模型的預(yù)測結(jié)果的準(zhǔn)確性,但是往往是根據(jù)人工經(jīng)驗或者是逐個遍歷的方式來實現(xiàn)變量篩選,導(dǎo)致無法高效地確定出模型中需要添加的變量或者是需要刪除的變量,因此相關(guān)技術(shù)中對變量篩選的效率較低。
技術(shù)實現(xiàn)思路
1、本技術(shù)實施例提供一種數(shù)據(jù)篩選方法、裝置、設(shè)備及介質(zhì),能夠提高對輸入到模型中的數(shù)據(jù)的篩選效率。
2、為了實現(xiàn)上述目的,根據(jù)本技術(shù)的一方面,本技術(shù)實施例提供了一種數(shù)據(jù)篩選方法,包括:
3、獲取多個待篩選變量,在所述多個待篩選變量中選取出選擇變量,并根據(jù)所述選擇變量對當(dāng)前模型進(jìn)行更新,得到目標(biāo)模型;
4、當(dāng)檢測到所述目標(biāo)模型不滿足預(yù)設(shè)迭代條件時,確定所述當(dāng)前模型對應(yīng)的第一評價值和所述目標(biāo)模型對應(yīng)的第二評價值;
5、當(dāng)所述目標(biāo)模型中的變量的總數(shù)量不大于預(yù)設(shè)變量總數(shù)量、所述第二評價值大于所述第一評價值,且所述目標(biāo)模型中每個變量的顯著水平值不大于預(yù)設(shè)顯著水平值時,將所述目標(biāo)模型確定為當(dāng)前模型,并返回執(zhí)行在所述多個待篩選變量中確定出選擇變量;
6、當(dāng)所述總數(shù)量大于所述預(yù)設(shè)變量總數(shù)量時,根據(jù)所述目標(biāo)模型中每個變量組合出多個待篩選模型,并將所述多個待篩選模型中評價值最高的模型作為更新的目標(biāo)模型,將所述更新的目標(biāo)模型確定為當(dāng)前模型,返回執(zhí)行在所述多個待篩選變量中選取出選擇變量;
7、當(dāng)檢測到目標(biāo)模型滿足預(yù)設(shè)迭代條件時,從歷史得到的目標(biāo)模型中選取評價值最高的目標(biāo)模型,將所述評價值最高的目標(biāo)模型包含的變量確定為篩選變量。
8、為了實現(xiàn)上述目的,根據(jù)本技術(shù)的一方面,本技術(shù)實施例提供了一種數(shù)據(jù)篩選裝置,包括:
9、獲取模塊,用于獲取多個待篩選變量,在所述多個待篩選變量中選取出選擇變量,并根據(jù)所述選擇變量對當(dāng)前模型進(jìn)行更新,得到目標(biāo)模型;
10、第一確定模塊,用于當(dāng)檢測到所述目標(biāo)模型不滿足預(yù)設(shè)迭代條件時,確定所述當(dāng)前模型對應(yīng)的第一評價值和所述目標(biāo)模型對應(yīng)的第二評價值;
11、第二確定模塊,用于當(dāng)所述目標(biāo)模型中的變量的總數(shù)量不大于預(yù)設(shè)變量總數(shù)量、所述第二評價值大于所述第一評價值,且所述目標(biāo)模型中每個變量的顯著水平值不大于預(yù)設(shè)顯著水平值時,將所述目標(biāo)模型確定為當(dāng)前模型,并返回執(zhí)行在所述多個待篩選變量中確定出選擇變量;
12、第三確定模塊,用于當(dāng)所述總數(shù)量大于所述預(yù)設(shè)變量總數(shù)量時,根據(jù)所述目標(biāo)模型中每個變量組合出多個待篩選模型,并將所述多個待篩選模型中評價值最高的模型作為更新的目標(biāo)模型,將所述更新的目標(biāo)模型確定為當(dāng)前模型,返回執(zhí)行在所述多個待篩選變量中選取出選擇變量;
13、篩選模塊,用于當(dāng)檢測到目標(biāo)模型滿足預(yù)設(shè)迭代條件時,從歷史得到的目標(biāo)模型中選取評價值最高的目標(biāo)模型,將所述評價值最高的目標(biāo)模型包含的變量確定為篩選變量。
14、在一些實施方式中,第三確定模塊包括待刪除子模塊、選擇子模塊和組合子模塊;
15、待刪除子模塊,用于當(dāng)檢測到在所述目標(biāo)模型中存在所述顯著水平值大于所述預(yù)設(shè)顯著水平值的變量時,將所述目標(biāo)模型中所述顯著水平值大于所述預(yù)設(shè)顯著水平值的變量確定為待刪除變量;
16、選擇子模塊,用于將所述目標(biāo)模型中所述顯著水平值不大于所述預(yù)設(shè)顯著水平值的變量確定為已選擇變量;
17、組合子模塊,用于根據(jù)所述待刪除變量和所述已選擇變量組合出多組輸入變量,并將每組輸入變量輸入到基礎(chǔ)模型中,得到多個待篩選模型,所述基礎(chǔ)模型為沒有變量的模型。
18、在一些實施方式中,組合子模塊還用于:
19、當(dāng)所述目標(biāo)模型中不存在所述顯著水平值大于所述預(yù)設(shè)顯著水平值的變量時,根據(jù)所述目標(biāo)模型中的每個變量組合出多組輸入變量;
20、將每組輸入變量輸入到基礎(chǔ)模型中,得到多個待篩選模型。
21、在一些實施方式中,篩選模塊,用于:
22、從歷史得到的目標(biāo)模型中確定出變量的總數(shù)量不大于所述預(yù)設(shè)變量總數(shù)量的第一目標(biāo)模型;
23、在所述第一目標(biāo)模型中確定出每個變量的所述顯著水平值均不大于所述預(yù)設(shè)顯著水平值的第二目標(biāo)模型;
24、在所述第二目標(biāo)模型中確定出評價值最高的目標(biāo)模型,將所述評價值最高的目標(biāo)模型的變量確定為篩選變量。
25、在一些實施方式中,篩選模塊還用于:
26、在每次得到所述目標(biāo)模型之后,獲取上一個目標(biāo)模型;
27、當(dāng)所述上一個目標(biāo)模型包含的變量和所述目標(biāo)模型中包含的變量相同時,則確定所述目標(biāo)模型滿足預(yù)設(shè)迭代條件,從歷史得到的目標(biāo)模型中選取評價值最高的目標(biāo)模型,將所述評價值最高的目標(biāo)模型包含的變量確定為篩選變量。
28、在一些實施方式中,第二確定模塊,還用于:
29、當(dāng)檢測到目標(biāo)模型中的變量的總數(shù)量不大于所述預(yù)設(shè)變量總數(shù)量時,若所述第二評價值不大于所述第一評價值,或者所述目標(biāo)模型中任一個變量的顯著水平值大于所述預(yù)設(shè)顯著水平值,則返回執(zhí)行在所述多個待篩選變量中選取出選擇變量;
30、根據(jù)所述選擇變量對當(dāng)前模型進(jìn)行更新,得到目標(biāo)模型。
31、在一些實施方式中,第二確定模塊還包括檢測子模塊和確定子模塊;
32、檢測子模塊,用于在所述將所述目標(biāo)模型確定為當(dāng)前模型之前,當(dāng)檢測到歷史得到的目標(biāo)模型中存在與所述目標(biāo)模型相同的模型時,返回執(zhí)行在所述多個待篩選變量中選取出選擇變量;
33、確定子模塊,用于當(dāng)確定歷史得到的目標(biāo)模型中不存在與所述目標(biāo)模型相同的模型時,將所述目標(biāo)模型確定為當(dāng)前模型。
34、在一些實施方式中,獲取模塊包括排列子模塊和獲取子模塊;
35、排列子模塊,用于在所述多個待篩選變量中選取出選擇變量之前,在所述多個待篩選變量中,確定出每個待篩選變量對應(yīng)的顯著水平值;
36、根據(jù)所述顯著水平值從低到高排列所述每個待篩選變量,得到待篩選變量序列;
37、根據(jù)所述待篩選變量序列對所述多個待篩選變量進(jìn)行分批處理,得到多個批次的待篩選變量集合。
38、獲取子模塊,用于確定當(dāng)前批次對應(yīng)的待篩選變量集合;
39、當(dāng)在當(dāng)前批次對應(yīng)的待篩選變量集合中存在未被選擇的待篩選變量時,在所述未被選擇的待篩選變量中選取出選擇變量;
40、當(dāng)在當(dāng)前批次對應(yīng)的待篩選變量集合中不存在未被選擇的待篩選變量時,則在下一批次對應(yīng)的待篩選變量集合中選取出選擇變量。
41、為了實現(xiàn)上述目的,根據(jù)本技術(shù)的一方面,本技術(shù)實施例提供了一種計算機可讀存儲介質(zhì),所述計算機可讀存儲介質(zhì)存儲有多條指令,所述指令適于處理器進(jìn)行加載,以執(zhí)行本技術(shù)實施例提供的數(shù)據(jù)篩選方法。
42、為了實現(xiàn)上述目的,根據(jù)本技術(shù)的一方面,本技術(shù)實施例提供了一種計算機設(shè)備,包括存儲器、處理器以及存儲在所述存儲器中并可以在所述處理器上運行的計算機程序,所述處理器執(zhí)行所述計算機程序時實現(xiàn)本技術(shù)實施例提供的數(shù)據(jù)篩選方法。
43、為了實現(xiàn)上述目的,根據(jù)本技術(shù)的一方面,本技術(shù)實施例提供了一種計算機程序產(chǎn)品,包括計算機程序或指令,所述計算機程序或指令被處理器執(zhí)行時實現(xiàn)本技術(shù)實施例提供的數(shù)據(jù)篩選方法。
44、在本技術(shù)實施例中,通過獲取多個待篩選變量,在多個待篩選變量中選取出選擇變量,并根據(jù)選擇變量對當(dāng)前模型進(jìn)行更新,得到目標(biāo)模型;當(dāng)檢測到目標(biāo)模型不滿足預(yù)設(shè)迭代條件時,確定當(dāng)前模型對應(yīng)的第一評價值和目標(biāo)模型對應(yīng)的第二評價值;當(dāng)目標(biāo)模型中的變量的總數(shù)量不大于預(yù)設(shè)變量總數(shù)量、第二評價值大于第一評價值,且目標(biāo)模型中每個變量的顯著水平值不大于預(yù)設(shè)顯著水平值時,將目標(biāo)模型確定為當(dāng)前模型,并返回執(zhí)行在多個待篩選變量中確定出選擇變量;當(dāng)總數(shù)量大于預(yù)設(shè)變量總數(shù)量時,根據(jù)目標(biāo)模型中每個變量組合出多個待篩選模型,并將多個待篩選模型中評價值最高的模型作為更新的目標(biāo)模型,將更新的目標(biāo)模型確定為當(dāng)前模型,返回執(zhí)行在多個待篩選變量中選取出選擇變量;當(dāng)檢測到目標(biāo)模型滿足預(yù)設(shè)迭代條件時,從歷史得到的目標(biāo)模型中選取評價值最高的目標(biāo)模型,將評價值最高的目標(biāo)模型包含的變量確定為篩選變量。
45、以此,通過設(shè)置需要獲取的模型的變量的預(yù)設(shè)變量總數(shù)量,當(dāng)目標(biāo)模型的變量的總數(shù)量不大于預(yù)設(shè)變量總數(shù)量時,可以在多個待篩選變量中確定出選擇變量,通過選擇變量對目標(biāo)模型的更新,從而得到評價值相對于上一個模型更高的目標(biāo)模型,以實現(xiàn)高效的增加目標(biāo)模型中的變量,相反的,當(dāng)目標(biāo)模型中的變量的總數(shù)量大于預(yù)設(shè)變量總數(shù)量時,根據(jù)目標(biāo)模型中每個變量組合出多個待篩選模型,并將多個待篩選模型中評價值最高的模型作為更新的目標(biāo)模型,以實現(xiàn)高效減少目標(biāo)模型中的冗余變量,得到更新的目標(biāo)模型,然后再從多個待篩選變量中確定出選擇變量,再通過選擇變量對目標(biāo)模型進(jìn)行更新,以此實現(xiàn)對目標(biāo)模型的不斷更新,通過增加或者刪除變量來更新目標(biāo)模型的過程中,根據(jù)目標(biāo)模型的評價值和目標(biāo)模型中每個變量的顯著水平值能夠不斷確定出相對于當(dāng)前模型性能更好的目標(biāo)模型,最終當(dāng)目標(biāo)模型滿足預(yù)設(shè)迭代條件時,可以從歷史得到的多個目標(biāo)模型中確定出評價值最高的目標(biāo)模型,并將評價值最高的目標(biāo)模型包含的變量作為最終的篩選變量,相對于相關(guān)技術(shù)中根據(jù)人工經(jīng)驗或者是逐個遍歷的方式來實現(xiàn)變量篩選,本技術(shù)中對變量篩選的效率更高,因此提高了數(shù)據(jù)篩選效率。
46、本技術(shù)的其他特征和優(yōu)點將在隨后的說明書中闡述,并且,部分地從說明書中變得顯而易見,或者通過實施本技術(shù)而了解。本技術(shù)的目的和其他優(yōu)點可通過在說明書、權(quán)利要求書以及附圖中所特別指出的結(jié)構(gòu)來實現(xiàn)和獲得。