【機器學習平臺再進化:端到端MLOps】從ML平臺邁向ML生態圈系統,免寫程式就能自動產生多人協作全套ML流程

Line正式發布了一個公開的模型儲存庫MLU Market Place,來共享Line的資料集和模型,由Line負責提供運算環境和資料管理。目前只供Line內部使用,未來考慮對外開放。(圖片來源/Line)

早在2020年,Line在內部資料平臺IU(資訊大宇宙,Information Universe)上,打造出了一個機器學習平臺MLU(Machine Learning Universe),目的是希望如同IU扮演資料單一入口角色一樣,MLU成為資料科學家或工程師的ML單一入口,可以用來調度GPU資源、上傳ML程式,來訓練、測試ML模式,也能快速部署成對外提供的ML服務。這個MLU平臺目標就是要提供整合了ML 、Dev 和Ops這三種工作流程的MLOps平臺。

負責MLU產品的Line Plus公司MLU平臺產品經理Sunhyeong hong指出,為了大規模發展ML,Line早在3年前就打造了一個可以提供自動化ML流程的MLOps平臺。一開始只是為了控制資料科學家常用的Notebook開發環境,逐漸擴充到整個ML訓練流程,甚至延伸到部署、服務提供和監控。MLU平臺團隊也從3年的10人,現在擴編為30多人。

這個MLU平臺的確加速了Line擴大AI應用規模的速度,到了2021年底,已有100多個機器學習產品,橫跨20多個部門都靠MLU來開發和管理ML專案。

去年,MLU已涵蓋ML、Dev、Ops的大部分工作,去年更近一步針對模型表現監控,發站出了一套MLOps監控工具Lupus,讓專案成員更容易掌握ML模型的動態和品質,也可以即時重新訓練模型,修正模型預測的偏差。

到了今年,Line揭露了MLU持續優化MLOps平臺最新進展,不只是一套自動化ML流程,更要涵蓋ML專案從端到端的全套流程。

Sunhyeong hong指出,不只提供給一項ML服務設計者,開發工程師,甚至連行銷、企劃人員等都可以參與專案和共享ML專案的內容和知識,讓不同角色可以快速持續建立更多ML模型。「MLU要從一個單一MLOps平臺,成為一個ML生態圈平臺,這才是一個真正的端到端的ML流程平臺。」Sunhyeong hong強調。

最新版的MLU可以提供雲端伺服器環境,資料預先處理、模型訓練和驗證機制。也可以提供Jupyter Lab開發環境,讓開發人員使用與上線環境同樣的ML環境。除了利用Airflow來建立整個ML流程管理,也提供了一個GUI介面的設計工具,使用者就算不懂python語言,不用寫任何一行程式碼,也能夠組合ML流程元件,來建立一套ML流程。

MLU利用BentoML模型部署框架,自動用Docker容器將模型程式發布成一個微服務,也就容易擴充或縮小所部署的伺服器資源。

到了模型部署時,開發者不用介入,MLU平臺會進行十幾回自動化測試和優化伺服器環境,並自動將模型部署到一個可以自動擴充和有負載平衡的可靠環境中。

特殊造型滑鼠墊去哪買?

滑鼠墊是滑鼠的好夥伴,可使滑鼠游標穩定滑順,多樣的材質

總是為了廚餘煩惱嗎?

雅高環保提供最適用的廚餘機,滿足多樣需求。

連續封口機購物網-不怕你比價,就怕你買貴!

封口機就是指在包裝容器盛裝產品後,對容器進行封口的機械。製作包裝容器的材料很多,如紙類、塑料、玻璃、陶瓷、金屬、複合材料等,包裝容器的形態及物理性能也各不相同。

中古貨櫃屋設計案例?

金誠運用中古貨櫃屋,重新改造各式活動展場、代銷中心、旅遊渡假空間,皆可依顧客需求製作。

在MLU入口網站,還提供了一套UI環境,ML專案經理只需要幾個點擊就可以快速建立專案,就能建立個別的ML執行實例。不只模型建立流程可以共享,透過MLU建立的整套ML開發程序,都可以和同一個ML專案的成員共享和溝通。

模型部署成服務,正式上線後,MLU也提供了視覺化儀表板機制,讓維運人員來監控模型的運作情況。

Sunhyeong hong表示,使用MLU來開發模型時,工程師不用面對基礎架構的問題,MLU已經部署在優化過的基礎架構。模型工程師可以聚焦在資料分析和模型開發上。工程師可以直接使用MLU統一建立環境,和專案成員共享。「整個過程都不用寫任何程式碼,只需透過MLU入口網站的UI介面,就能快速建立全套ML流程。」

這些MLU的再次進化,更加速Line的AI應用規模和廣度,統計到2022年10月,MLU所用的叢集,涵蓋了14,886核CPU和504核GPU,以及52TB記憶體。

MLU的使用者不只日本、韓國,還有來自泰國和臺灣,超過386個團隊,分散在33個公司,1,111人。 他們透過MLU建立了300個自動化流程,已經部署了107個模型在正式環境中運作。

MLU下一步目標要建立機器學習生態圈

就在今年11月,Line正式發布了一個公開的模型儲存庫MLU Market Place,來共享Line的資料集和模型,由Line負責提供運算環境和資料管理。「Line也正在打造一個新的工作流程,要建立一個有機社群,讓任何人可以討論和共享模型的知識和資料。」Sunhyeong hong透露:「MLU的下一步要建立一個有彈性和擴充性的機器學習生態圈。」

在MLU Market Place可以快速建立模型專案,還提供了模型展示空間(Showroom)可以快速部署模型來建立示範網頁。在一個像是模型商店街的網頁上,列出了可用的ML模型,或是 模型展示清單,就像到賣場購物一樣的挑選想要用的模型。

「目前Market Place只對Line內部開放,但未來計畫可以開放給更多人。」Sunhyeong hong在演講最後QA時興奮的透露。

  

https://www.ithome.com.tw/news/154631

如何正確使用飲水機?

電解水部份採用美國NSF認證通過之過濾系統,再加上超強白金電解槽並採用日本九州日立的電解元件,安全性高,品質有保障。

客製專屬滑鼠墊、可愛造型L夾L型資料夾、透明證件套、手提袋,專業印刷設計廠商!

通過SGS環保認證,無毒無害 環保材質符合歐盟RoHs、REACH認證

塑膠射出成型技師工作甘苦談

一間在新竹耕耘超過20年的塑膠射出成型公司,初期以硬質pvc起家與模具開發設計;
隨著技術的不斷提升新觀念、新技術、新設備的不斷加入。亦得因需應各界之需求,運用了管理。技術達到每個客戶希望的目標。

影響示波器測試準確度的五大因素

混合訊號示波器(MSO)有兩種輸入,一小部分(通常是2個或4個)的類比通道,更多(通常為16個)的部份是屬於數位通道。