大學在遠程評估學生方面一直面臨著挑戰(zhàn)。組織遠程考試的實際困難引出了一些有趣的替代方案，例如開放書籍考試和基于研究的論文寫作。如果學生查找書籍作為參考，提交的質量可能會提高。
這同樣適用于人工智能。如果人工智能系統(tǒng)可以查找記憶庫以供參考，而不是記住我們的語言，那么它的輸出可能會更好。這就是DeepMind聲稱通過RETRO實現(xiàn)的目標。在教授人工智能進行圍棋等自學游戲和預測復雜的蛋白質結構方面獲得了信譽后，谷歌收購了人工智能公司DeepMind，試圖掌握機器用來理解人類語言的自然語言處理。預先訓練的語言模型通過預測響應中接下來應該出現(xiàn)的單詞和句子來生成文本。
DeepMind的RETRO是一個模型，其性能通過外部資源得到增強——一個大約2萬億字的大量文本語料庫。從正確的角度來看，這將需要175個人來完成一生的持續(xù)閱讀。
當模型生成文本時，它會查找此外部資源以使其預測更準確。研究人員聲稱，這樣的模型設計使得更容易理解人工智能如何推斷和拾取信息。培訓成本更低，使組織更容易獲得培訓。
鑒于我們復雜的語言，自然語言處理對于機器來說是一項艱巨的任務。數(shù)十億美元的研究資金已經投入到語言模型中。
去年，OpenAI的語言模型GPT-3展示了計算機以復雜而有意義的句子進行響應的可能性。語言模型往往在狹窄的范圍之外搖搖欲墜。GPT-3表明，如果一個語言模型足夠大，它可以是通用的。參數(shù)或內部配置值的數(shù)量越多，模型的精度越高。其他大型組織已經開發(fā)了自己的大型模型，爭先恐后創(chuàng)建更大更好的通才語言模型，加載數(shù)十億個參數(shù)。
2021年底，NVIDIA和微軟開發(fā)了Megatron-Turing NLG 530B模型，該模型在整個維基百科上以英語訓練，6300萬篇英語新聞文章，38GB的Reddit討論，GitHub，Project Gutenberg的書籍等等。該模型具有高達5300億個參數(shù)，經過全面訓練以執(zhí)行推理。值得注意的是，它比GPT-3的1750億個參數(shù)改進了3倍，同時將其他大型語言模型遠遠拋在了后面。谷歌和北京人工智能研究院構建的模型超過一萬億個參數(shù)。
雖然大型語言模型正在流行，但它們對于訓練以及為數(shù)字助理等下游AI應用程序提供服務方面變得過于繁瑣。他們也是數(shù)據(jù)、計算能力和能量的吞噬者。研究人員總是被訓練的例子數(shù)量不足所束縛。想象一下，試圖訓練這樣一個模型來識別銀行欺詐。給暗示新型欺詐的對話貼上標簽需要花費很長時間。
人工智能研究團隊正試圖解決這個問題。DeepMind的RETRO就是這樣一次嘗試，只有70億個參數(shù)。另一種方法是GPT-3成功演示的很少的學習，它使用一組非常小的標記示例來訓練模型。這是變革性的，因為GPT-3可以用16個例子進行訓練。
Meta（前身為Facebook）正在探索很少的學習，以便在其社交媒體平臺上進行內容審核，這需要快速執(zhí)行政策。隨著有害內容的不斷發(fā)展，Meta努力尋找足夠的標記內容。它已經部署了一種新的AI模型，該模型首先在免費提供的通用大型文本語料庫上進行訓練。然后，根據(jù)之前標記的策略數(shù)據(jù)對其進行訓練。最后，它對新政策的簡明文本進行了培訓。
它使用一個名為Entailment的新框架作為“簡單學習者”。蘊涵涉及在句子之間建立邏輯結果。例如，如果“汽車超速行駛”，那么“汽車在行駛”也必須為真。簡而言之，人工智能工具可以識別仇恨信息，因為它了解內容違反的政策。該工具用于快速檢測和刪除仇恨言論和疫苗懷疑帖子。
2021年是自然語言處理的標志性一年，因為各組織正在競爭更大更好的模型。書面文字在使人工智能對社會的價值空前重要。這場爭奪自然語言模型霸權的競賽會有終點線嗎？不會很快。但人工智能肯定會變得更加智能，成為更好的，普通人更容易接近的助手。這些努力中的每一項都將成為推動進步的墊腳石，即使只是一點點。最終，我們可以期望使用一種更離散的智能機器，直到它發(fā)生故障，它才會被忽視，就像電力一樣。
中國貿促微信