上百個AI模型怎麼管?玉山銀揭露ML模型從部署到維運如何自動化

負責打造玉山銀行各種AI模型的玉山智金處,去年開始採用中央儲存庫來管理模型詮釋資料(Metadata)、模型版本和模型變數等資料,同時也客製化自建模型監控應用程式,跟時時量測模型評估指標,有異常就發送Email通知管理者。

圖片來源: 

攝影/王若樸

玉山銀行深度仰賴AI,內部使用了超過100個模型。為自動化管理模型,他們去年開始使用商用模型效能監控工具,來客製出自己的模型維運管理工具,透過視覺化儀表板來追蹤模型運作,還能自動發送模型異常通知,監控報表產生速度也從3天縮短到數分鐘,來加速模型維運管理。

數十年大數據經驗轉攻AI,負責打造5大領域模型

玉山銀行全力發展AI,還有賴於長年累積的大數據分析經驗。玉山銀行科技長張智星指出,玉山早在2006年就發展大數據分析業務,成立客戶風險與加值分析小組(CRV),來以客戶資料開發預測模型和客戶價值模型,找出商機洞察,並與資訊處合作打造分析資料庫。這個大數據分析模式,在玉山內部持續到了2014年。

2015年,玉山數位金融處成立,大數據業務模式轉向,改為與數金處和業務單位合作為主,分析的資料也更多元,將KYC數位足跡和爬文資料等納入分析範圍。這時,他們也開始聚焦非結構化資料的收集與分析,更展開一些AI專案來試水溫。

驗證AI成效後,2018年,玉山銀行成立智能金融處(簡稱智金處),專門打造各類AI應用程式,來給業務單位使用,要以AI解決商務問題。這時,他們的業務範圍更廣了,舉凡與業務相關的分析都包括在內,還要負責訓練模型、上架模型給業務單位使用。

那幾年,玉山定調5大AI發展領域,包括用來強化行員服務能力的賦能AI(如信貸檢核系統)、結合語音辨識和文字理解的風控AI(如信用卡防盜刷偵測模型、反洗錢偵測)、用來簡化工作流程的流程AI(如RPA加速紓困專案審核)、協助精準推薦商品的行銷AI,以及能與顧客即時互動的服務AI(如房屋估價系統),這些也是智金處的AI業務範圍。

為了加速AI開發和應用,智金處也自行打造了2款工具:AI研發雲和MLaaS平臺,分別來訓練模型和部署模型。至此,智金處有如玉山內部的AI供應商。

模型破百管理複雜,打造模型維運平臺讓效能監控更自動化

智金處4年發展,玉山內部AI專案不只有50、60個,所使用的AI模型還超過100個。但,光是部署一個AI模型的工作,就非常複雜。張智星解釋,用來部署AI的MLaaS平臺架構分為3部分,首先是數據加工層,將原始資料進行特徵工程、寫入特徵資料庫,接著是服務提供層,也就是AI推論層,當業務應用層系統(如信用卡處系統、財富管理、風險管理等)接收客戶資料,就會以API呼叫服務提供層的AI模型,讓模型抽取數據加工層的特徵後,來計算輸入資料,之後再透過API,將模型計算結果回傳給業務層系統。

真空封口機該不該買?使用心得分享

各式封口機、包裝機械、客製化訂做、特殊改造

臭氧機推薦

臭氧機、紫外線燈作水質淨化、殺菌設備,因臭氧機具強大氧化、殺菌、除臭能力,省電、無耗材費用,深受水處理業者採用

客製專屬滑鼠墊、可愛造型L夾L型資料夾、透明證件套、手提袋,專業印刷設計廠商!

通過SGS環保認證,無毒無害 環保材質符合歐盟RoHs、REACH認證

常見的貨櫃種類?

金誠貨櫃屋尺寸均依國際標準組織ISO (International Standardization Organization) 認定標準,並區分成鐵貨櫃、冷凍貨櫃和特殊貨櫃三種類型。

張智星指出,最費功夫的是監控這些模型的表現,當模型偏移時盡快下架,得重新訓練後再部署上線,否則會對業務造成極大影響。舉例來說,信用卡盜刷偵測模型在2019年上線後備受好評,但去年疫情嚴峻期間,模型越來越不準,後來發現,不只是消費者習慣改變,從實體店家轉往電商消費,詐騙集團手法也因疫情改變。「這種變化讓模型難以即時因應,因此失準。」

但要監控模型,不僅得跨部門、投入大量人力和時間,模型失準後可能還得再花3至6個月重新訓練,這對擁有上百個模型的智金處來說,是個大問題。

因此,玉山決定打造一套模型維運平臺,來管理模型生命周期,更要建立一致、標準化的模型監控作業。為了加快開發,採用商用產品SAS Viya平臺模型效能管理應用程式,透過內建的模型量測評估指標,像是準確率、F1分數、靈敏性、特異性等多種指標,來追蹤模型是否偏移。

蒐集到模型效能數據後,玉山智金處再客製出視覺化儀表板,來追蹤上線模型的異常狀態(如廠商產品畫面示意圖),每個模型都有預先定義的閾值,當模型表現偏移,系統就會自動發送Email通知管理者。監控報表的產製時間也從原本的3天,縮短到數分鐘。

導入中央儲存庫追蹤各詮釋資料,記錄管理稽核軌跡

除了模型維運,智金處還肩負資料治理的任務。張智星表示,智金處得制定全行的資料治理計畫,不只要管理玉山成立30年來累積的資料,也得建立各種詮釋資料(Metadata)的管理制度,尤其是模型詮釋資料。

過去,他們採用Azure DevOps工具來管理程式碼,後來,為補足詮釋資料的管理,他們在去年開始採用Viya平臺上的中央儲存庫,來集中管理原本散落各處的詮釋資料。因此,只要是模型相關的詮釋資料,如開發者、開發時間、採用的演算法類型等20多種資料,甚至是模型版本、模型檔案、模型屬性和變數,都能在中央儲存庫中找到。

這個儲存庫,能根據不同模型設定權限,再讓相關人員參與、協作,查看模型狀態或簽核把關模型品質。這個儲存庫平臺,也能記錄管理和稽核軌跡,進一步滿足法遵需求。

至此,玉山銀行的AI模型開發、部署和前端服務應用等三大階段,都已能借助自動化工具來監控,掌管模型生老病死。

玉山AI模型自動化管理工具可以貫穿開發到服務三階段流程

https://www.ithome.com.tw/news/149843

好的茗茶,更需要密封性高的茶葉罐,才能留住香氣!

鴻和興精密工業股份有限公司,是由在台灣專業生產茶葉罐、奶粉罐具有領先地位的光華金屬所投資組織成立的一家專業製造包裝材料之馬口鐵罐製造廠,秉持的專業、品質、服務、效率為各大客戶服務。

掌握產品行銷策略,帶你認識商品包裝設計基本要素

包裝設計是兼具美感和實用、設計和製作印刷的精緻工藝。包裝設計包含了結構規劃、視覺設計、材質選定及後續的生產加工

如何選購橡膠製品規格有哪些?

品質優益穩定,效率高成本低,並已獲得國內外大廠承認使用,品質合乎EIA國際標準, 此外也針對客戶端的需要代客Tape and Reel封裝服務。

專業客製化禮物、贈品設計,辦公用品常見【L夾】搖身一變大受好評!

採用PVC0.2白色軟皮料印製,4色印刷加上表層防刮油墨,另也可選表層上亮膜。