Amazon百億參數模型小樣本學習勝過GPT-3、PaLM千億參數大模型

模型只需最少的人工輸入就能將知識在不同語言中轉移官方提到這樣的模型有效提高新功能的開發速度並且能夠同時在多種語言上改進Alexa。當前人工智慧的主要進步都來自監督式學習也就是使用帶注解的資料訓練模型但Amazon提到隨著商業人工智慧規模不斷擴大仰賴注解的方法變得不可行。

為了解決這個問題Amazon發展出了新方法引入基於Transformer的大規模多語言模型AlexaTM(Alexa Teacher Models)只需要給幾個任務提示AlexaTM就能夠將已知的知識從一個語言轉移到另一個新語言而這過程不需要額外的人工監督。

僅有200億參數的AlexaTM 20B在多種語言任務上優於擁有數千億參數的大型模型。AlexaTM 20B不僅可以跨語言遷移所學知識還可以從小樣本中學習新任務官方提到他們的研究是受到OpenAI GPT-3模型的啟發但是相較於其他唯解碼器架構的大型語言模型AlexaTM 20B採用序列到序列(seq2seq)的編碼器-解碼器架構。

AlexaTM 20B在翻譯和文本摘要的效果優於GPT-3同時也支援更多的語言包括阿拉伯語、英語、法語、泰米爾語和泰盧固語等。而且因為AlexaTM 20B的參數數量較少且Amazon對訓練引擎的改進因此AlexaTM 20B在訓練期間的碳足跡只有GPT-3的五分之一。

如何將貨櫃屋變身活動展場空間?

金誠貨櫃屋設計,結合生活理念、發揮無限的創意及時尚的設計,顛覆以往「貨櫃」給人骯髒、簡陋、四方無聊的印象、打造出獨一無二的展示空間。

塑膠射出成型不良品原因及改善對策 !

隨著技術的不斷提升新觀念、新技術、新設備的不斷加入。

專業客製化禮物、贈品設計,辦公用品常見【L夾】搖身一變大受好評!

採用PVC0.2白色軟皮料印製,4色印刷加上表層防刮油墨,另也可選表層上亮膜。

高價位跟低價位的示波器又有何差異?

示波器是一種能夠顯示電壓訊號動態波形的電子測量儀器。它能夠將時變的電壓訊號,轉換為時間域上的曲線,原來不可見的電氣訊號

不只如此在給定單個文章摘要的情況下AlexaTM 20B可以比擁有5,400億參數的PaLM 540B模型生成更高品質的英語、德語和西班牙語摘要。

而在Flores-101資料集上AlexaTM 20B的小樣本機器翻譯幾乎大勝所有語言模型特別是在馬拉地語、泰米爾語和泰盧固語等低資源語言間翻譯的效果更好。官方提到這表示他們大規模seq2seq方式的預訓練可以提高低資源語言的機器翻譯品質與需要平行翻譯資料進行訓練的多對多機器翻譯系統相比從不同語言進行翻譯對AlexaTM 20B可說是毫無難度。

AlexaTM 20B是目前最大的多語言seq2seq模型能夠進行小樣本學習Amazon現在對外釋出限用於非商業用途以促進開發和評估多語言大型語言模型。

而Amazon經過分析發現AlexaTM 20B與其他大型語言模型一樣產生的內容可能包含來自訓練資料中的有毒語言、社會偏見和刻板印象因此官方提醒用戶需對該模型的使用進行完整的公平和偏見分析以充分瞭解可能產生的危害。

https://www.ithome.com.tw/news/152283

飲水機設備有哪些?

步步經營服務始終如一於雲嘉南地區,建立優質的飲水機之品牌

如何利用一般常見的「L型資料夾」達到廣告宣傳效果?

滑鼠墊是滑鼠的好夥伴,可使滑鼠游標穩定滑順,多樣的材質尺寸與專屬設計的圖案, 成為您電腦桌上的亮點!

CCD Taping Machine

包裝設計實際上涵蓋了多種設計範疇,需要高度設計專業,以酒為例,酒瓶上的標籤設計是包裝設計的一種,需考量美觀與形塑產品特色提供充足資訊等,至於酒的外盒,提袋等,同樣是包裝設計的範疇,但更必須思考運送、保護、送禮、便利性與價值感等不同層面之問題。

什麼是POGOPIN?

POGOPIN是一種應用於手機等電子產品中的精密連接器,廣泛應用於半導體設備中,起連接作用。