據(jù)外媒報道，在當?shù)貢r間周三在OpenReview.net上發(fā)表的一篇論文中，谷歌AI和芝加哥豐田科技機構(gòu)(Toyota technology Institute of Chicago)宣布，他們的新AI ALBERT在幾項自然語言閱讀理解測試中都獲得了第一名，其在SQuAD 2.0、GLUE、RACE成績方面都拿到了第一的位置。
資料圖
在GLUE中，ALBERT拿到了89.4的分數(shù)，在SQUAD中拿到了92.2、在RACE中拿到89.4。
SQUAD 2.0人類平均表現(xiàn)分則為89.452。
據(jù)悉，SQuAD2.0結(jié)合了SQuAD1.1的10萬個問題和5萬多個新的、無法回答的問題。為了在SQuAD2.0做到更好，系統(tǒng)不僅必須在可能的情況下回答問題，而且還必須確定段落中什么時候不支持回答并避免回答。
ALBERT使用參數(shù)降低技術(shù)來減少內(nèi)存消耗并提高BERT的訓(xùn)練速度。
論文寫道：“我們提出的方法使得模型的規(guī)模比原來的BERT要好得多。我們還使用了一種自我監(jiān)督的缺失，這種缺失側(cè)重于對句子間連貫進行建模，并表明其始終有助于下游任務(wù)的多句輸入。”
據(jù)了解，這種技術(shù)在互聯(lián)網(wǎng)上閱讀大量文本并提供連貫答案方面有著顯著的應(yīng)用，這可以為搜索引擎來帶來一個明顯的好處。
來源 | cnBeta.COM
