技術(shù)編號：39718386
提示：您尚未登錄，請點(diǎn) 登 陸 后下載，如果您還沒有賬戶請點(diǎn) 注 冊 ，登陸完成后，請刷新本頁查看技術(shù)詳細(xì)信息。本發(fā)明涉及人工智能，尤其涉及一種訓(xùn)練數(shù)據(jù)采樣方法、裝置、設(shè)備、存儲介質(zhì)及產(chǎn)品。背景技術(shù)、大模型是指包含超大規(guī)模參數(shù)(通常在十億個(gè)以上)的神經(jīng)網(wǎng)絡(luò)模型，其不僅需要強(qiáng)大的計(jì)算資源，還需要大量豐富的數(shù)據(jù)，而訓(xùn)練數(shù)據(jù)的數(shù)量、質(zhì)量以及采樣配比的樣本多樣性則會(huì)直接影響到模型的最終訓(xùn)練效果。、在現(xiàn)有的模型訓(xùn)練中，通常采用隨機(jī)采樣法、分層采樣法、系統(tǒng)采樣法、整體采樣法以及方便采樣法等方法來獲取訓(xùn)練數(shù)據(jù)，在應(yīng)用這些方法時(shí)，需要一次性采集與處理所有的訓(xùn)練樣本。但在大模型預(yù)訓(xùn)練中，需要的數(shù)據(jù)量都比較大，若一次性采...
注意：該技術(shù)已申請專利，請尊重研發(fā)人員的辛勤研發(fā)付出，在未取得專利權(quán)人授權(quán)前，僅供技術(shù)研究參考不得用于商業(yè)用途。
該專利適合技術(shù)人員進(jìn)行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán)，增加技術(shù)思路，做技術(shù)知識儲備，不適合論文引用。
請注意，此類技術(shù)沒有源代碼，用于學(xué)習(xí)研究技術(shù)思路。