畫分勢力範圍的K-means

如果有一組資料,沒有任何事先的分類標記,有辦法對它們進行分群(Clustering)嗎?呃……通靈比較快!想要分群,總是必須指定某些條件作為依據。

而分群演算法有不少,入門時,常會先接觸到K-means分群,因為它概念上容易理解,實作上也不困難,在機器學習的領域,K-means演算被歸類在非監督式(unsupervised)學習,意即無需人類介入標記,也能自動分群。

以距離來衡量勢力

從結果來看,K-means分群時,確實是不需要標記,但它並不是沒有任何假設就能自動分群。

在使用K-means分群時,其實就意謂著,同意了「資料之間有距離的概念」、「群心勢力範圍內的資料屬於同一群」的假設,也就是實際上,你還是已經告訴機器該怎麼做,簡單來說就是,以距離為勢力依據,尋找勢力均衡。

既然是以距離為依據,那麼,我們透過座標資料來理解K-means分群原理,是最為簡單的方式,若有一堆點散落在座標平面,這些點在視覺上顯然構成兩群,若要對這些點自動標記為A、B兩群,由於K-means的假設是「群心勢力範圍內的資料屬於同一群」,首要任務是尋找群心,然而,窮舉出各點間的組合、逐一計算距離,顯然行不通,因為需要的運算過於龐大。

一般而言,K-means尋找群心的方式,是採取最大期望(Expectation-maximization)演算法,先隨機找兩個位置當群心,接著是期望(Expectation)步驟,看其他點距離哪個群心近(通常採取歐式距離),就將該點畫分為與該群心同一群,最後會得到兩群,再接著是最大化(Maximization)步驟,最大化群心與群中各點的距離,針對兩群的資料,各求其幾何中心,作為新群心,也就是每個座標分量的算術平均值(這也就是為何K-means有means 字眼的原因),作為新的群心座標。

如果舊群心與新群心差距太大(未收斂),重複期望步驟與最大化步驟,直到舊群心與新群心變動不大(在某個差距內),或者是超過了指定的迭代次數而結束。以方才兩群座標為例,若能順利收斂,A群資料至A群心的距離,會小於它們至B群心的距離。

以距離加總來衡量群數

直接指定群數依距離分群,是K-means最常的應用之一,特別是透過資料在距離上的區隔,我們可以明顯觀察出一群一群的趨勢時,透過K-means就非常的方便。

座標之間的距離概念容易理解,然而,像分數之類的,也具有距離的概念,像是各學科分數,例如,有人擅長文科、有人擅長理科,此時,若將文科、理科的分數作為資料,可能也會有一群一群的趨勢;另外,像是人與人間的年紀差距、學歷差距、年收入差距、子女差距、居住城市發展指標的差距等,都是具有距離遠近的概念。

有時候手邊的資料,不見得能夠以可視化的方式,來判斷可以分為幾群(特別是高維資料),或者就算能可視化,也看不出群與群之間的分界為何,這時如何能決定該分為幾群呢?

基本上,同一群資料至其群心的距離,應該不會大於至另一群心的距離,既然如此,如果我們將各群資料各自平方距離的加總,應該可以作為分群個數的參考。

空壓機這裡買最划算!

晨達空壓機秉持著專業空壓機技術、優質快速服務、空壓機合理價格。為您解決工作中需要風量、風壓的問題。

貨櫃屋優勢特性有哪些?

由於貨櫃屋[可移動/施工快速/可組裝、堆疊(延展性高)/可回收/未來擴充便利]等特性,二手貨櫃屋已普遍被應用於展場活動、居家住宅、工業商辦上。

客製專屬滑鼠墊、可愛造型L夾、L型資料夾、透明證件套、手提袋,專業印刷設計廠商!

通過SGS環保認證,無毒無害 環保材質符合歐盟RoHs、REACH認證

SMD electronic parts counting machine

累積多年設計生產 Embossed Carrier Tape承載帶的實際經驗,專為電子主、被動零件設計、包裝、製造、改良承載帶、奠定了良好基礎

然而,隨著群數變大,各群平方距離加總必然會變小,為了尋找適當的平方距離加總,我們可以將群數與距離加總可視化為曲線,找出曲線中突然變和緩處的群數,這表示:更多群數終低平方距離加總的效益不大了,而這個方式稱為手肘法(Elbow method)。

另外,群與群之間的輪廓如果是明顯的,重疊的部份理應比較小。事實上,有一種稱為輪廓係數(Silhouette coefficient)的方式,我們可以用來評估群與群間的輪廓,計算方式為b*a/max(a, b),a是群中各點間的平均距離,b是某群中各點與最接近群中各點間的平均距離,而且,輪廓係數越大,分群的品質就越好。

只不過,找出可能的群數後,各群代表的意義,是必須去思考的,例如,給你一堆圖片,若透過手肘法、輪廓係數分析後,認為可以分為十群,那這十群代表什麼呢?如果圖片其實來自MINST手寫數字圖片資料集,能猜出這些圖片分群後代表著十個數字嗎?

也就是說,K-means可以作為一種分析資料的工具,例如,你手中有一組人們的資料,包含了學歷差距、收入差距、年紀、居住縣市(經緯度、離首都的遠近)等,這些資料會不會有某種群聚性呢?分為三個群,合理嗎?還是要四個、五個?如果這些資料能夠分群了,那麼,這些群個別又代表什麼意義呢?政治取向?消費習慣嗎?

以勢力的中心作為代表

使用K-means分群後,群心勢力範圍內的資料屬於同一群,談到勢力範圍,我們可能會直覺地聯想到Voronoi,其中每個細胞的核心,就相當於分群後的群心,細胞邊界規範的勢力範圍,就畫分了資料屬於哪一群,確實!若視覺化後群與群之間有明顯的群聚,透過沃羅諾伊圖(Voronoi Diagram),我們可以畫分出群與群之間的勢力界線。

群心是勢力範圍的幾何中心,是群中資料的平均值,若使用群心來取代該群中每一筆資料,不就可以是一種壓縮資訊的方式?例如,彩色圖片具有RGB三原色,而RGB的資訊可以當成座標資訊、畫在三維空間,相近的色彩在三維空間中,會有距離上的相近,若將之分群,以群心的RGB來作為同群的顏色,就可以減少色彩資訊。

可能的應用之一是,在印刷一張彩色圖片時,只能使用K個顏色,這時透過K-means來分出K群,找出群心的RGB資訊,使用群心顏色填滿同一群,也就是相近的顏色(不是像素座標上的距離相近)最後都變成同一色,最後圖片的顏色會被壓縮K個(不是像素被壓縮為K個)。

從另一方面來看,使用群心來代表該群資料,代表著n筆資料可以被壓縮為K筆資訊,也就是說,K-means某些程度上也可做為一種降維工具。無論是單純地壓縮資訊,或作為降維,K的選擇是直接視需求而定,跟平方距離加總、輪廓係數等的評估就無關了。

其他形狀的勢力範圍

使用K-means,其實,還有另一個假設,那就是:在採取歐氏距離的情況下,就二維來看,勢力範圍基本上是個圓形,三維來看是個球形,圓或球之間會有受到擠壓的界線;然而,資料不見得會群聚為這類形狀,畢竟你應該也看過群聚為橢圓、狹長形狀等的資料。

有種高斯混合模型(Gaussian mixture models)類似K-means,同樣採用最大期望演算,不過,它增加了權重與高斯機率分佈等,來作為資料分群與尋找群心的依據,如此一來,各群的勢力範圍就不會單純是圓或球之類的形狀,甚至可以進行複雜的非線性分群。

綜合來說,K-means的原理雖然簡單,就結果而言是分群沒錯,然而重點在於分析資料是否具備距離的概念,以及分群後各群或群心代表的意義,如此就能衍生出多元化的應用。

https://www.ithome.com.tw/voice/146393

票選推薦煮婦最愛手壓封口機,省荷包不犧牲品質

意信臻專營:封口機、各式包裝機械、專業製造、全省批發零售

幫你考照過關,堆高機裝卸操作教學影片大公開 !

上千家公司找到最適合的堆高機搬運方案,專業的規劃與完善的售後服務,讓孚克力堆高機與各大知名廠商建立長期合作。

總是為了廚餘煩惱嗎?

雅高環保提供最適用的廚餘機,滿足多樣需求。

全自動飲水機與一般飲水機差異在哪?

推薦各種冰溫熱開飲機飲水機:台銀採購契約飲水機、日本進口電解水機系列、落地型飲水機

北醫治理三院百萬大數據,再攻FHIR癌症基因資料

臺北醫學大學數據處數據長 許明暉 (攝影/洪政偉)

兩年前,臺北醫學大學出現了一個特別的組織。它與資訊處同等,都是一級單位,但職責不只限於學校,更涵蓋3家醫院,一肩扛起北醫體系所有數據管理的重任。

帶頭的指揮官,更是一位經驗豐富的IT老將,不僅是萬芳醫院早期發展新一代醫療IT應用的推手,也擔任過首任衛福部資訊處處長,現在更是國際醫療資訊標準協會HL7臺灣分會的理事長。

這個組織,就是臺北醫學大學數據處(簡稱北醫大數據處),而這位關鍵人物,就是臺北醫學大學數據處數據長許明暉。「當數據變得非常龐大、複雜時,就需要專責單位分工處理,」許明暉強調:「健康領域更是如此!」

甚至,臺灣醫界最常借鏡的美國國衛院(NIH)也早在2018年,設置數據長(Chief Data Officer)一職和資料策略辦公室(ODSS),來建立標準化生醫資料處理流程。隔年,北醫也跟上這股趨勢,在北醫大下設置數據處,來統籌三家附屬醫院和學校的資料管理工作,成為臺灣少數設置數據長的醫療體系。

「數據處有如一套共通的基礎設施,」許明暉說明,這樣的角色,整合了附屬醫院和北醫大所有的數據資料,統一提供資料處理服務和客製化資料集,個別單位就不必各自設置相同職責的組織,來處理複雜的數據。許明暉更進一步形容,北醫大數據處就像食材標準化的市場,將龐雜的數據標準化,有如「將原始的食材,製作為料理包,」讓使用者輕鬆烹煮、快速發揮效益。

健康數據有多複雜?不只3家附屬醫院百萬筆資料要打理

不過,健康數據究竟有多複雜,需要北醫體系設置專責單位來應對?這從北醫大數據處打理的資料類型,就能以小窺大。

首先,他們得治理北醫體系歷年來累積的大量自有資料,包括北醫附醫、萬芳醫院、雙和醫院等三家醫院,徵得病患同意後所取得的各種臨床資料。

這三家醫院擁有近380萬名病患的臨床資料,橫跨近半百個科別,小自病患就醫資訊、治療步驟,大至各種手術、檢驗檢查報告,甚至是癌症相關資訊與基因資料,都包含在內。

再來是許明暉所稱的「聯盟資料,」也就是用於跨國研究的健康資料。比如,北醫大去年加入國際觀察性健康數據聯盟(OHDSI),成為全球300多個據點中的一員,以「資料不出門、共享演算成果」的模式,來與國際成員交流、研究。

為做到這一點,數據處負責資料格式轉換工作,將內部資料轉換為OHDSI專用資料格式OMOP-CDM(Common Data Model),來展開跨國研究。

不過,北醫大數據處還需費心處理一類資料,即大量的外部開放資料。舉例來說,他們整理了美國NIH資助打造的重磅醫學重症資料庫MIMIC-III,提供橫跨11年、包含數十萬名患者的住院資料,來給校內師生和醫院同仁使用,一方面作為教學工具,一方面也作為深入研究的材料。

不只如此,北醫大數據處還有個經營健保資料庫的任務。衛福部健保署開放健保資料庫加值研究已有數年,全國研究者除了能在衛福部本部申請研究,也能在全臺10個分中心使用,北醫大就是其一。而北醫大數據處,就負責分中心的維運工作。

下設四大中心分工,還有AI專家進駐提供代客烹煮的數據分析服務

為進一步管理複雜的健康數據,數據處還下設四大中心,來分工負責不同的內外數據服務。

比如,健康暨臨床研究資料加值中心負責維運北醫大健保資料庫分中心,甚至進駐多位統計學專家和資料科學家,來提供「代客烹煮」的數據分析服務。

研究者若想以健保相關大數據開發AI模型,但本身AI技能不足,就能透過中心專家來打造模型。許明暉比喻:「這就像我們提供處理好的食材,但顧客不會料理,這時就能透過我們的AI專家,來協助烹調。」

再來,數據處還有個臨床數據中心,負責整合三家醫院的電子病歷資料,包括病患基本訊息、就醫資訊、檢驗報告、治療步驟等結構化資料,以及醫師記錄、病理報告、醫學影像報告等非結構化資料。臨床數據中心專門將這些資料,彙整為可分析的資料。

今年8月,數據處還新設一個北醫非常期待的單位「生物資訊中心」,來專攻精準醫療。這個中心將結合校內高通量生物技術和雲端分析平臺,運用自有的百萬筆臨床數據和需複雜運算才能處理的多體學(Omics)資料,來打造一站式生物數據分析服務。

這就是北醫大數據處生物資訊中心的目標。但他們還有一個任務:分擔中研院發起的臺灣精準醫療計畫(TPMI)。這個TPMI計畫,是要打造臺灣百萬人基因資料庫,而北醫大負責收集其中5萬人的基因資料,未來,生物資訊中心還將提供相關資料分析服務。

除了這三個中心,數據處下還有一個專精教育數據分析的校務研究中心,來負責教育數據處理。比如,該中心會追蹤學生在校和離校後的表現,進一步協助學校擬定多元入學政策。

遵循敏捷開發小而美精神,與使用者完善客製化資料集

這些資料林林總總,相當複雜,著手處理更煞費苦心。不過,許明暉也分享一套實戰法則,來說明團隊如何打造使用者可立即上手的乾淨資料集。

以臨床數據來說,醫院取得病人同意的臨床資料後,會由北醫大資訊處進行資料ETL,將資料放置到特定資料湖,再由數據處接手,展開資料處理工作。

這時,為建立符合使用者需求的資料集,數據處會先找出資料集的組成特徵,比如某疾病涵蓋的人口、病患性別比、壽命分類,甚至是超過特定就醫次數的病患數這類細緻特徵。

接著就進入建置階段。他們遵循敏捷開發Scrum精神,以每個專案最少3人、最多7人的規模建置資料集。這對擁有20多名人力的數據處來說恰到好處,既不占用過多人力,也不至於不足。

過程中,他們每1、2周就檢視進度,以這種小而美、邊執行邊修正的方式,來完善資料集。許明暉更強調:「我們不追求一次做到最完美,而是資料集整理到一定程度後,就先開放申請,讓團隊跟著使用者一起使用。」正是這股跟著使用者一起做的精神,讓數據處更能根據使用者回饋,進一步精進資料集。

臺灣這時投入FHIR基因資料標準化,是最好的切入點!─── 臺北醫學大學數據處數據長 許明暉 (攝影/洪政偉)

用NLP工具協助醫師快速抓出病理報告重點

不只建置資料集,數據處也會提供AI工具,來優化醫院的臨床作業流程。比如,他們利用一套開源自然語言處理(NLP)模型,打造成可以抓取關鍵文字訊息的AI工具,來加速處理結構鬆散(Free text)的文字型報告。

其中最成熟的應用,就是從病理切片報告中,擷取出乳癌三陰性關鍵訊息,並將訊息自動匯出到Excel表格,轉換為結構化資料,來快速提示報告重點、協助醫師決策。

「這種三陰性特徵很棘手,」許明暉解釋,三陰性乳癌預後不理想,因此在臨床上備受重視。這類病理報告通常一份數百字,但三陰性特徵不會清楚地集中出現在報告某一處,負責醫師得仔細閱讀所有報告,從不同段落找出這三種特徵才行。

因此,透過NLP工具快速從病理報告中整理出這些特徵,就能協助醫生更快制定治療策略,甚至是預測預後。

如何將貨櫃屋變身活動展場空間?

金誠貨櫃屋設計,結合生活理念、發揮無限的創意及時尚的設計,顛覆以往「貨櫃」給人骯髒、簡陋、四方無聊的印象、打造出獨一無二的展示空間。

飲水機設備有哪些?

步步經營服務始終如一於雲嘉南地區,建立優質的飲水機之品牌

高價位跟低價位的示波器又有何差異?

示波器是一種能夠顯示電壓訊號動態波形的電子測量儀器。它能夠將時變的電壓訊號,轉換為時間域上的曲線,原來不可見的電氣訊號

塑膠射出成型不良品原因及改善對策 !

隨著技術的不斷提升新觀念、新技術、新設備的不斷加入。

許明暉也希望,這個NLP幫手未來還能更聰明,比如能根據前後文判斷更精準的資訊,「看到醫師寫的數字,就能判斷是年齡、身高還是體重,」他說。

第一道防線把關資料合法性,還找來美NIH標竿人物給建議

打理如此龐雜的健康資料,許明暉透露,數據處還有四大原則來指導。首先是「資料合法性」,他舉例,要取得臨床數據,必須先以知情同意書,告知患者資料去識別化後的用途、取得同意。

再來是多元機制原則。比如,醫療資料可用於非營利的教學研究,也能用於藥廠研發新藥等盈利目的,北醫大數據處要做的是,讓患者能選擇資料用途,而非只單純詢問是否願意提供資料。

第三個原則是「退出機制」。許明暉解釋,病人既然願意授權資料使用,也應有中途退出的權力。對此,數據處會依意願來調整資料集,刪除中途退出的患者資料、保障退出權力。

最後是隱私安全,數據處不僅要將患者資料去識別化,還要確保資料不被有心人士竊取。因此,數據處與資訊處密切合作,由資訊處打理一切IT、資安工作,比如資料湖建置、防火牆設置、運算資源提供等,讓數據處專心負責資料處理工作。

但這些還不夠,為進一步與國際接軌,北醫大還請來一位參與過NIH百萬人基因計畫、美國大型電子病歷資料研究計畫的標竿級人物—美國范德堡大學生物統計系主任石瑜,來擔任顧問角色,指導北醫大的數據發展策略,來接軌國際醫療大數據的作法。

下一步攻癌症、基因資料FHIR化

不只藉助標竿大師經驗改善資料管理作法,數據處下一步還要往國際醫療資料交換標準FHIR邁進。這個標準由國際醫療資訊標準協會HL7制定,就像是一套通用的溝通語言,讓不同組織、不同廠牌儀器產出的資料,也能互相溝通。

「但這種溝通形式,較適合北美大型市場,對習慣走客製化資料交換規格、規模小的臺灣市場來說,FHIR會推得很辛苦,」許明暉坦言。因此,他們並非要從頭將所有資料轉換為FHIR格式,而是鎖定跨國研究這個目標,來推動FHIR應用,特別是癌症研究資料的FHIR化。

他解釋,選在這個時間點投入,是因為以FHIR架構為核心的癌症資料系統mCODE逐年普及,甚至,HL7協會還將mCODE作為旗下FHIR加速器的推廣項目之一,越來越受到各國醫界採用。

而且,北醫大數據處加入的OHDSI聯盟,今年更推出能將聯盟OMOP-CDM資料格式自動轉為FHIR格式的工具,讓各成員的數據團隊,能更快建立符合FHIR規格的癌症資料集。對北醫大而言,費了一番功夫將內部資料轉換成聯盟資料的苦功,現在可以很容易地轉換為FHIR格式資料。

除了癌症資料,「我們還瞄準基因資料!」許明暉看好這個正在萌芽發展的領域,「美國甚至發起4年計畫,要用FHIR架構推動基因資料標準化!」他直言,基因資料標準化對臺灣非常重要,因為「美國透過4年計畫已逐漸步入正軌,臺灣這時投入,是最好的切入點!」這句話,點出北醫大數據處這位指揮官更遠大的數據願景。

 CDO小檔案 

許明暉

臺北醫學大學數據處數據長

學歷:臺北醫學大學醫學科學研究所博士畢業

經歷:2005年擔任萬芳醫院醫療資訊副處長,三年後轉任臺北大學資訊長,2013年進入衛福部資訊處,擔任首任處長。2019年回到北醫體系,擔任北醫大數據處數據長,去年起更擔任HL7臺灣理事長

 機關檔案 

臺北醫學大學

● 成立時間:1960年

● 學校宗旨:以培育兼具人文關懷、創新能力,及國際觀的生醫人才,從事醫療保健、生命科學研究,及服務社會之目標為宗旨

● 網址:

● 地址:臺北市信義區吳興街250號

● 員工數:約1,700人

 數據處檔案 

● 直屬主管:數據長許明暉

● 數據處名稱:臺北醫學大學數據處

● 數據處人數:23人

● 數據處分工:數據處下設四中心,包括臨床數據中心、健康資料加值暨統計中心、校務研究中心、生物資訊中心,以整合臨床資料庫、健保資料庫、校務資料庫與應用資料庫為目的,為全校師生與附屬醫院同仁提供即時優質的研究資訊服務

 數據處大事記 

● 2019年:率先全國成立校院數據處

● 2020年:3月提供臨床資料庫釋出服務;5月建立TMU Disease BI平臺,提供研究者隨時查詢院內診斷、手術、用藥等臨床資訊,同月串接本校附屬醫院癌症登記檔,並開放申請;7月串接衛福部死亡登記檔;12月以「OHDSI Taiwan Chapter」身分加入國際健康醫療數據聯盟OHDSI

● 2021年:8月組織重整,數據處新成立生物資訊中心,將「統計中心」及「健康暨臨床研究資料加值中心」整併為「健康資料加值暨統計中心」

 

https://www.ithome.com.tw/people/146306

如何利用一般常見的「L型資料夾」達到廣告宣傳效果?

滑鼠墊是滑鼠的好夥伴,可使滑鼠游標穩定滑順,多樣的材質尺寸與專屬設計的圖案, 成為您電腦桌上的亮點!

什麼是POGOPIN?

POGOPIN是一種應用於手機等電子產品中的精密連接器,廣泛應用於半導體設備中,起連接作用。

專業客製化禮物、贈品設計,辦公用品常見【L夾】搖身一變大受好評!

採用PVC0.2白色軟皮料印製,4色印刷加上表層防刮油墨,另也可選表層上亮膜。

CCD Taping Machine

包裝設計實際上涵蓋了多種設計範疇,需要高度設計專業,以酒為例,酒瓶上的標籤設計是包裝設計的一種,需考量美觀與形塑產品特色提供充足資訊等,至於酒的外盒,提袋等,同樣是包裝設計的範疇,但更必須思考運送、保護、送禮、便利性與價值感等不同層面之問題。

【強化資料治理,今年聚焦MLOps人機協作】不惜發動29年最大組織改造,玉山要打造一條鞭資料治理流程

今年初,玉山金控振奮地宣布成立法人金融事業總處和個人金融事業總處,來聚焦跨境、數位、風險管理三大策略和ESG永續發展。玉山銀行董事長黃男州更揭露,大個金將整合玉山的通路、客群和產品部門,甚至是數位金融處,來共同創造客戶價值。

這是玉山29年來最大規模的組織改造。但玉山沒明說的是,這也是他們實踐資料治理的關鍵一步。

AI內化引爆資料治理需求,轉核也是關鍵推力

為何一個資料治理,能讓玉山如此勞師動眾?

這是因為,AI已融入玉山的重點服務面,資料管理需求應勢而起。早在2006年,玉山成立資料科學團隊CRV,來分析顧客風險價值大數據,2019年更進化為智能金融處(簡稱智金處),以內部AI供應商之姿,開發各種橫跨金控的AI專案。他們自行建置兩套關鍵平臺:AI研發雲和機器學習服務平臺(即MLaaS平臺),一方面孕育新AI服務,一方面提供成熟AI模型給業管單位使用,至今營運了50、60個AI專案。

當AI內化到這種程度,資料處理就越發關鍵。玉山金控科技長張智星舉例,智金處和業管單位常遇到這類問題:「信用卡盜刷偵測模型何時要更新?需要哪些資料?是原始資料還是加值資料?這些資料來自同個部門,還是跨部門?」甚至,「模型的訓練、測試、上線和監控,是否符合金管會要求?」這些考驗,都需要一個專責團隊和資料治理框架,來梳理資料處理流程才能解決。

而去年完成的核心系統大轉換,也是玉山推動資料治理的關鍵。當時,玉山轉換核心系統,以微服務架構、中臺架構和服務API化為目標,要加速服務反應,也要降低資料交換門檻。那段期間,團隊就已意識到資料治理的不足,比如,他們能整理出原始資料、加值型資料,卻難以定義兩種資料的保管人;又或是加值型資料的欄位產生,未有明確規範,間接影響使用加值資料訓練的AI模型。

跨金控資料治理小組誕生,仿母子法制定三階資料治理規範

因此,去年8月完成核心系統轉換後,玉山一鼓作氣成立資料治理小組,正面迎戰這些問題。張智星以科技長身分擔任小組召集人,成員橫跨全金控,包括AI推手智金處和各事業部代表,以每月一次的會議,來討論資料治理議題,如資料可取性、資料權限和資料上下游管控等。資料治理小組的目標,是要理出一致的資料變動因應措施,來「一條鞭作業!」

為實現目標,他們首先制定資料治理規範。規範分為三階,第一階是資料治理政策,也就是大方向、大原則,說明資料治理的目的和管轄範圍,比如原則預設各部門要共享資料,除重大考量外,都要能提供資料給需求單位取用。

第二階是作業要點,來解釋資料品質、資料權責和資料分級,第三階則是作業說明。

張智星表示,這些規範猶如母子法,明定每個階層的所屬權限。他認為,資料治理擴大到全玉山的最簡單方法,「就是邀集各部門加入小組,共同制定一、二階規範。」

掌握產品行銷策略,帶你認識商品包裝設計基本要素

包裝設計是兼具美感和實用、設計和製作印刷的精緻工藝。包裝設計包含了結構規劃、視覺設計、材質選定及後續的生產加工

真空封口機該不該買?使用心得分享

各式封口機、包裝機械、客製化訂做、特殊改造

常見的貨櫃種類?

金誠貨櫃屋尺寸均依國際標準組織ISO (International Standardization Organization) 認定標準,並區分成鐵貨櫃、冷凍貨櫃和特殊貨櫃三種類型。

臭氧機推薦

臭氧機、紫外線燈作水質淨化、殺菌設備,因臭氧機具強大氧化、殺菌、除臭能力,省電、無耗材費用,深受水處理業者採用

定義角色分級,組改推動資料共享

除了制定規範,玉山也引進角色分級概念。進一步來說,角色分級可分為資料擁有者、資料保管者和資料使用者,其中,資料擁有者必須負全責讓資料保持在最乾淨的狀態,而資料使用者,必須知道從何取得資料、了解資料限制,比如哪些資料能產出穩定正確的結果、哪些無法產出,或是哪類資料有所缺失、需要補值。

至於資料保管者,張智星特別注重「加值資料保管者」。因為,這類保管者必須具備原始資料的領域知識,而且要註記加值公式、寫好詮釋資料(Metadata),包括原始資料改變時,加值資料重新計算的方法,作為後續模型更新的參考依據。

不論跨部門與否,這些分級定義了各種角色的職責,但張智星認為,資料治理小組還有個資料共享的挑戰。舉例來說,不同部門一旦牽涉到特定資料,比如顧客的理財金額或房貸款項,就得跨單位協調、取得資料。

「如何幫他們協調、共用資料,也是資料治理小組的任務。」張智星進一步解釋,玉山推動29年來最大組織改造,不只要讓整體組織架構更明確、更自然,還有一個關鍵原因是,要整合KPI相互競爭的單位,打破資料共享藩籬。

定義資料分級,AI專案執行前該進行資料上下游分析

不只角色要分級,資料也需要分級。玉山治理小組將資料分為公開共用、協定共用和不能共用三種,同時按屬性,進一步將資料分為原始資料、加值型資料,以及解釋加值型資料的詮釋資料。

這些分級很重要,因為每一類都可能牽一髮動全身。張智星比喻,資料處理就像一條河,「原始資料一改變,下游加值資料就會受到衝擊,」如同河流的上下游,上游資料受到污染,下游便難以倖免,無法製造出穩定的AI模型。

也因此,資料治理應涵蓋AI專案執行前的資料來源分析,釐清所需的資料種類、來源部門,甚至考量部門間有無衝突,來確保資料能順利取得。再來是AI模型的更新條件和頻率,資料治理小組得思考模型多久更新一次、更新資料取自原始資料還是加值資料,「若是加值資料,如何根據原始資料改變而更新?有無詮釋資料說明?多久更新一次?」

舉例來說,個人5年平均收入的模型或像票據手寫辨識模型,因變化不大,一年之中適時更新即可。但信用卡盜刷偵測模型一周就得更新一次,「因為採用加值資料,再加上疫情影響、消費行為不斷改變,這些因素都得考慮進去,」他說。

不只如此,設定模型更新頻率時,也得考量更新方法,比如批次計算、即時運算,甚至要檢核加值資料的時效性和正確性。他總結,資料治理工作不外乎資料上下游分析,「往上是血緣分析,往下是衝擊分析,」如此才能確保資料品質。隨著資料治理逐漸到位,玉山今年還要力推MLOps,更著重模型上線後的表現監控。他們希望建立一套模型重新訓練、上下架的標準流程,利用回饋資料及時校正模型。

https://www.ithome.com.tw/news/146202

好的茗茶,更需要密封性高的茶葉罐,才能留住香氣!

鴻和興精密工業股份有限公司,是由在台灣專業生產茶葉罐、奶粉罐具有領先地位的光華金屬所投資組織成立的一家專業製造包裝材料之馬口鐵罐製造廠,秉持的專業、品質、服務、效率為各大客戶服務。

專業客製化禮物、贈品設計,辦公用品常見【L夾】搖身一變大受好評!

採用PVC0.2白色軟皮料印製,4色印刷加上表層防刮油墨,另也可選表層上亮膜。

常見的貨櫃種類?

金誠貨櫃屋尺寸均依國際標準組織ISO (International Standardization Organization) 認定標準,並區分成鐵貨櫃、冷凍貨櫃和特殊貨櫃三種類型。

好的茗茶,更需要密封性高的茶葉罐,才能留住香氣!

鴻和興精密工業股份有限公司,是由在台灣專業生產茶葉罐、奶粉罐具有領先地位的光華金屬所投資組織成立的一家專業製造包裝材料之馬口鐵罐製造廠,秉持的專業、品質、服務、效率為各大客戶服務。

Qualcomm發表下一代5G AI無人機平臺

Qualcomm(高通)推出全球第一個5G人工智慧無人機平臺,可用於加速和擴展無人機的開發,滿足企業和工業開發無人機應用的需求。Flight RB5 5G平臺採用該公司最新的QRB5165處理器,作為新一代高效能、低功率5G無人機的基礎,Qualcomm希望新平臺能夠加速無人機開發,並且透過邊緣運算,來強化商業、企業和工業無人機應用。

在今年4月的時候,NASA的火星無人直升機獨創號(Ingenuity),成功在火星上試飛,這是人類第一臺在其他星球的動力可控飛行器,而Qualcomm飛行平臺便是獨創號試飛成功的重要功臣。Qualcomm認為,無人機迅速發展,在各領域開啟各種應用可能性,而無人機與5G、長距離Wi-Fi連接性,還有人工智慧技術的結合,將會是接下來無人機發展的關鍵。

因此Qualcomm推出了Flight RB5 5G平臺,來滿足無人機開發需求,該平臺是專為小型無人機系統設計,結合異構、低功耗的運算和攝影系統,與人工智慧、5G和Wi-Fi 6等技術,使無人機具有15 TOPS(Trillion Pperations Per Seconds)成像能力,以及先進的通訊能力。

Flight RB5 5G平臺擁有8個QRB5165中央處理器、1個GPU和1個神經處理引擎,還有能夠捕捉4K和8K解析度影片的攝影鏡頭,而其5G和Wi-Fi 6連接能力,能夠實現長達8公里的可視距離飛行。

影響示波器測試準確度的五大因素

混合訊號示波器(MSO)有兩種輸入,一小部分(通常是2個或4個)的類比通道,更多(通常為16個)的部份是屬於數位通道。

客製專屬滑鼠墊、可愛造型L夾、L型資料夾、透明證件套、手提袋,專業印刷設計廠商!

通過SGS環保認證,無毒無害 環保材質符合歐盟RoHs、REACH認證

中古貨櫃屋設計案例?

金誠運用中古貨櫃屋,重新改造各式活動展場、代銷中心、旅遊渡假空間,皆可依顧客需求製作。

如何正確使用飲水機?

電解水部份採用美國NSF認證通過之過濾系統,再加上超強白金電解槽並採用日本九州日立的電解元件,安全性高,品質有保障。

Qualcomm Flight RB5 5G平臺能夠支援7臺相機並行運算,以高品質格式同時捕捉多個鏡頭影像,平臺上的第5代Qualcomm人工智慧引擎能夠處理複雜的任務,像是電腦視覺、感知和自主性功能,先進的4K或是8K無人機攝影機,能夠提供電子影像穩定器、水平功能和數位變焦等功能,拍攝出電影品質的影像,另外,電腦視覺則可以提供多目標偵測和追蹤、數位雲臺以及立體視野深度等功能。該平臺自主功能,具有像是路徑規畫和障礙物迴避等能力,使得無人機可以平穩飛行。

長距離連接性也是Qualcomm飛行平臺的重點,藉由5G和Wi-Fi 6可以與控制器低延遲連接,達到精確移動和即時第一人稱視角的回應時間,使用者也能夠將無人機透過HDMI連接外部顯示器,以快速查看無人機鏡頭影像。Qualcomm無人機平臺也採用安全連接和加密技術,來保持應用的安全性,在用戶遠端控制無人機的同時,以網路安全、資料保護和無人機安全功能,來確保操作的安全性。

Qualcomm Flight RB5 5G無人機參照設計現在於無人機製造商ModalAI上預售,而開發套件則預計會在今年第4季上市。

https://www.ithome.com.tw/news/146259

塑膠射出成型技師工作甘苦談

一間在新竹耕耘超過20年的塑膠射出成型公司,初期以硬質pvc起家與模具開發設計;
隨著技術的不斷提升新觀念、新技術、新設備的不斷加入。亦得因需應各界之需求,運用了管理。技術達到每個客戶希望的目標。

總是為了廚餘煩惱嗎?

雅高環保提供最適用的廚餘機,滿足多樣需求。

特殊造型滑鼠墊去哪買?

滑鼠墊是滑鼠的好夥伴,可使滑鼠游標穩定滑順,多樣的材質

連續封口機購物網-不怕你比價,就怕你買貴!

封口機就是指在包裝容器盛裝產品後,對容器進行封口的機械。製作包裝容器的材料很多,如紙類、塑料、玻璃、陶瓷、金屬、複合材料等,包裝容器的形態及物理性能也各不相同。

美能源部將部署Exascale等級GPU超級電腦Polaris

圖片來源: 

美國阿貢國家實驗室

美國能源部下的阿貢國家實驗室,將使用結合HPE、AMD、Nvidia技術打造超過2千顆 GPU的Exascale等級超級電腦,名為Polaris,以支援美國能源部的進階工程及科學研究。

Polaris超級電腦將代管在阿貢國家實驗室的領導運算設施(ALCF),它是由280部HPE Apollo Gen10 Plus系統組成,並搭載560顆AMD 2、3代EPYC處理器、2,240顆Nvidia A100 Tensor Core GPU,以及HPE Slingshot乙太網路光纖交換器及管理軟體。這座超級電腦可產生1.4 exaflops的理論AI運算效能,以及將近44 petaflops的雙精度(double-precision)浮點運算尖峰效能。而Polaris搭載的GPU數量之多,也使之成為ALCF最大的GPU-based電腦。

若根據6月公佈的,Polaris的效能約相當於全球第9大超級電腦。

封口機購物網-不怕你比價,就怕你買貴!

旋蓋封口機:這種封口機的成品封蓋事先加工出內螺紋,螺紋有單頭和多頭之分。藥瓶多用單頭螺紋,罐頭瓶多用多頭螺紋。該機是靠旋轉封蓋,而將其壓緊於容器口部。

飲水機品牌迷思?有牌代表最好?錯! 了解用途才能買對!

飲水機,又稱純水機,是一個機器裡面裝滿了純淨水、礦泉水或其他飲品,供大家飲用的機器。飲水機還有很多種類型,例如噴嘴式飲水機、按壓式飲水機等。跟熱水器不同的是,飲水機會提供兩種不同的水溫給人飲用,機器本身應該有降溫及冷卻,抑或是加熱及保溫的功能。

貨櫃屋也能做出衛浴設備?

金誠可依客戶需求進行貨櫃設計,打造整套衛浴設備。

空壓機這裡買最划算!

晨達空壓機秉持著專業空壓機技術、優質快速服務、空壓機合理價格。為您解決工作中需要風量、風壓的問題。

Polaris一開始將用於能源部Exascale運算專案(Exascale Computing Project),及ALCF一系列高效能運算(HPC)及人工智慧(AI)的工程和科學研究專案。Polaris將支援阿貢國家實驗室科學家進行腫瘤細胞及藥物、分子對撞尋求暗物質證據等,牽涉複雜與高速運算的研究,也會用於潔淨能源、生物質(biomass)轉為生質燃料等技術研發。此外,也會支援其他機構,包括同屬能源部的阿貢實驗室先進光子源(Advanced Photon Source)及奈米材料中心的研究。

而能源部Exascale運算專案也會利用Polaris測試軟體及應用程式測試及最佳化,以用於阿貢國家實驗室另一座Exascale等級超級電腦Aurora,後者將採用Intel CPU及HPE伺服器及網路技術。

Polaris將在今年8月開始安裝、部署,預計2022年初上線使用,而在明年春天開放給HPE研究計畫團隊使用。

https://www.ithome.com.tw/news/146394

影響示波器測試準確度的五大因素

合訊號示波器(MSO)有兩種輸入,一小部分(通常是2個或4個)的類比通道,更多(通常為16個)的部份是屬於數位通道;即,含邏輯分析儀的數位示波器

各種精緻鐵盒包裝茶葉罐、禮品罐,增加商品收藏及實用性。

本公司專業於生產茶葉罐、禮品罐、鳳梨酥專用鐵盒、太陽餅專用鐵盒、奶油酥餅專用鐵盒及各種需要 精緻鐵盒包裝產品的開發設計,為現在各種伴手 禮增加產品的收藏及實用性。

總是為了廚餘煩惱嗎?

雅高環保提供最適用的廚餘機,滿足多樣需求。

攻戰消費者第一視覺,包裝設計很重要!

窩窩以「數位行銷」「品牌經營」「網站與應用程式」「印刷品設計」等四大主軸,
為每一位客戶客製建立行銷脈絡及洞燭市場先機。

【DBS客座文章】星展銀行如何打造大數據平台

本文為【星展銀行授權轉載文章】

譯註:文中所稱之「我們」、「星展銀行」或「星展」皆係指新加坡星展銀行,所提及之金融服務亦為新加坡國內之服務
作者:Ashish Bhan,Data Engineering | Cloud Engineering | Enterprise Architecture| Container Ecosystems | Big Data, Analytics and AI/ML Infrastructure | Automation | SRE | DevOps / 翻譯:李沛衡
原文出處:

背景

大數據分析是在處理龐大且複雜的資料集時所使用的進階分析技術,這些資料集包括結構化、半結構化及非結構化資料,其資料量大小從TB到PB不等。大數據的重要性不在於資料量,而是在於資料的使用方式。您可以透過分析從各管道取得的資料,找到潛在價值,並達成以下目的:

• 降低成本
• 節省時間
• 開發與優化產品
• 更明智的決策

為了深入理解非結構化資料,並使我們的技術與時俱進,我們從2016年開始使用Cloudera Hadoop來擴展現有資料倉儲架構。四年多來,包括Apache Hadoop(CDH)平台在內的Cloudera Distribution已成為我們資料架構和策略不可或缺的一部分。我們用它支援大部分的業務作業,從消金、企金、投資銀行到法令遵循,開發共超過40個應用程式。其中的精采案例,包括:

• 反洗錢和反詐騙
• 企金報告
• 風險監管平台
• 交易平台
• 金融平台
• 成本分配
• 客戶科學
• 客戶盡職調查即服務(Customer due diligrance as a service)

利用彈性架構迎向挑戰並推進

隨著相關應用與學術的發展,我們不得不在2019年重新設計整個企業之資料平台,以克服幾個未來的挑戰,例如:

A. 儲存和計算需求間的落差導致資源浪費
B. 硬體採購與供應延遲導致更替時間緩慢
C. 數個硬體故障將影響服務之可用性
D. 使用單一叢集處理所有工作造成的資源搶奪風險
E. 處理多租戶(multi tenancy)造成的「Noisy Neighbor」問題
F. 資源需求預測失準佈署新的資源及允許進行實驗

我們從GCP及AWS在大數據領域的發展汲取靈感,設計了這個可以更有效處理多租戶(multitenancy)、降低資源搶奪風險及營運成本的平台,並確保我們的關鍵應用程式得以正常運行。成功建構及運行一個高可擴展性的資料平台,關鍵是通過落實以下幾點,將計算與儲存功能加以分離:

A. 資料儲存平台-具有高彈性和高效能的核心資料儲存平台。
B. 微服務-將獨立服務容器化,來封裝多種複雜的大數據工具配置和管理,讓不同應用程式可以按照各自的需求來使用這些容器化的微服務。
C. 使用GPU農場共享GPU-利用整合持久叢集(persistent cluster)與臨時叢集(transient cluster)上的GPU來加速運算。

資料儲存平台

軟體定義儲存系統(Software Defined Storage)具有許多優勢,因此我們在2019年利用vSAN重新設計我們的資料儲存平台,這種創新的設計包括:

1. 整合叢集中每個ESXi主機儲存個體
2. 利用快閃儲存方式優化的解決方案
3. 基於VM的資料操作和政策驅動的管理原則
4. 基於分散式RAID架構的彈性設計

這種新架構減輕了我們過去在硬體上遇到的痛點,幫助我們取得了卓越的成效。

新設計現在能夠做的

•增強多租戶(multitenancy)以提高性能:我們根據use case和對CDH的存取量對叢集進行分割。如此將允許叢集獨立運行,尤其是在管理程式碼和正式環境問題查詢時提高我們IT團隊的效率。

•降低資源搶奪風險:同一叢集中執行過多的應用程式可能導致資源搶奪風險,進而導致效能問題和嚴重停機。我們透過叢集分割最大限度地降低相關風險並提高了校能。

•即時同步:Active-Active的設計將確保正式環境和災難復原環境之間的即時同步。隨著我們資料量的提升,我們必須建立可以確保兩個站點始終同步以滿足目標復原時間的能力。

•為了確保這個active-active的伺服器始終擁有數據塊(Data Block)的副本,我們必須更改其放置策略並在HDFS建立客製化的規則。

下方程式碼對BlockPlacementPolicyWithNodeGroup的原始碼進行擴充,因為星展銀行目前使用此類別來支援佈署在VMware hypervisor的資料節點。此段程式碼與現有的HDFS專案會存在於同一個套件中(org.apache.hadoop.hdfs.server.blockmanagement)。原先會如此定義是因為有一些受保護的類別無法從外部訪問。

大多數功能都保持不變,除了以下BlockPlacementPolicyDefault類別中的函數原型被加以修改以處理數據塊配置。

•此函數在延伸類別中被重新implement以改寫在同一個rack中放置多個副本的預設數據塊配置行為。

•準確的容量調整:為了能更準確地預測專案的IT資源使用情況,我們設計了一個儀表板。透過準確的預測,我們確保配置足夠的資源以準時完成專案,並減少延誤和不必要的支出。

•計算和儲存的分離:新平台能讓運算單元和儲存單元獨立增長,因此我們得以只針對其中一個部分進行擴展。如此一來我們便能準確且有效地分配必要資源。

•支應未來的大數據模版:重新建構一個敏捷且可擴展的運算框架層,讓我們能以最小的成本適應未來的大數據技術。

•建立強有力的治理模式以減低成本:隨著平台重新設計,我們納入了一個強大的治理框架,以減少投資成本並防止計算和記憶體資源的浪費。我們將此框架轉移到Hadoop平台,優化了我們的計算和資料導入框架,避免因為糟糕的架構設計、批次處理作業和各類查詢引起的系統意外。我們也進一步使用Cloudera API來監控和追蹤需要調整或出現異常的作業。

•處理小型檔案:應用程式傾向於撰寫成小型檔案,因此這需要平台不斷增加NN記憶體。我們隔離了集群以降低由於高CPU處理而導致性能不佳的風險。此外,我們啟用了回報機制以確保應用程式將分區中的檔案合併,以滿足128 MB的建議大小。

透過新設計,我們實現了以下目標:

a) 成本最佳化
透過整合計算和儲存,我們可以避免因設計、批次處理作業和查詢不佳而導致的技術債。2019年,我們透過最佳化計算框架減少了約20%的成本。我們還降低了約75%的佈署成本。這些改良的效益在銀行整體業務中已能具體感受到,其中對於產出風險報告和財務報告感受尤甚。新架構已幫助我們節省了數百萬(新幣)的授權成本。

b) 提高生產力和上線時間
隨著佈署的速度加快,我們的IT團隊在佈署相關的工作效率提高了約25%,將我們的佈署時間從三個月減少到四小時。如今他們能更有效率地為各單位提供服務,以更快的速度提供所需要的環境。

特別是對於開發人員來說,新的設計架構給了他們莫大的助力。此架構為他們提供了基於詮釋資料(metadata)的框架,使他們在開發新功能和處理新專案時所需的時間幾乎減少了一半。IT團隊從過去需要幾個月的開發時間,到現在可在不到三週的時間內,將應用程式或服務上線以滿足新的業務需求。迄今為止,星展銀行已在此平台上啟用了超過四十個應用程式。

c) 降低風險
自該架構推出以來,沒有任何利用率損失(availability loss),這代表我們已經100%降低了資源搶奪風險,同一叢集內的元件不再搶奪計算資源。叢集根據使用模式和CDH元件使用情況進行分割。我們還將Impala和Spark各自的工作量分離開來,並切換改用SSD上的vSAN,從而全面改善I/O。

d) 愉快且順暢的客戶體驗計劃
我們將讀取傳輸量提高了十倍,寫入速度提高了兩倍,批次回應時間加快了約72%。IT團隊在處理新的應用佈署方面更有信心。該專案還增強了我們的預測分析能力,藉此改善我們組織內客戶的用戶體驗。有了自動化系統的加入,客戶滿意度提高了約14%。

微服務

為了支援不斷增長的技術需求,我們建構的資料微服務來加強Cloudera的隨選資料服務。資訊安全框架與CDH緊密結合,使我們能夠遵守銀行業嚴格的法遵規定。

測試專家告訴你如何好好使用示波器

示波器主要由電源系統、同步系統、水平偏向系統、垂直偏向系統、延遲掃描系統、顯示系統和標準訊號源等部封包成。

找工作! 想知道堆高機駕駛日薪是多少嗎? 哪裡有職缺?幫你快速媒合

堆高機,又稱叉架起貨機或叉式起重車,香港稱為鏟車,中國大陸稱為叉車,台灣國語稱為堆高機,台語俗稱豬哥(ti-ko),是指工廠、倉儲等地方對成件托盤貨物進行裝卸、堆垛和短距離運輸作業的各種輪式搬運車輛。國際標準化組織ISO/TC110稱為工業車輛。堆高機的發展於1920年代,今天在生產和倉儲運營過程中它已成為不可或缺的設備。

買不起高檔茶葉,精緻包裝茶葉罐,也能撐場面!

紫砂茶葉罐是多孔性材料製成,透氣性非常好,因為罐子多微小氣孔,用來存放茶葉,不僅能保鮮鮮,還能消除茶葉中的異雜味。 但也是因為多孔,所以紫砂茶葉罐容易吸收茶葉的香味。

CCD外觀檢查包裝機

品質優益穩定,效率高成本低,並已獲得國內外大廠承認使用,品質合乎EIA國際標準, 此外也針對客戶端的需要代客Tape and Reel封裝服務。

我們的核心平台在Cloudera上運行,並遵循共享數據體驗(SDX)的原則,並將臨時叢集作為微服務的消耗品。

微服務的構建響應我們的雲端策略,其中一些常見的資料服務可以被虛擬化並以隨選方式提供,並提高資源利用率。這麼做能讓混合雲策略在不更改程式碼的情況下更加順暢。

A. 微服務的底層是VMware整合容器和軟體層。

B. 服務框架包括:

a. 控制層 — 負責用戶與微服務的互動,使他們能夠自助操作。這個介面是一個自行開發的Angular前端,它與動態內容管理服務連接,讓服務能夠不用寫程式就上線。

b. 後端自動化 — 負責執行資源的佈署和管理。我們使用Ansible和基於Python的編排器,它與Bitbucket整合,並根據來自前端的選項為每個應用程式創建一個動態的docker compose。

c. API介面 — 負責以程式碼存取和管理資源。這些API作為動態協和框架(Orchestration framework)的一部分,並允許用戶以API而非UI的方式來執行操作及更改腳本。如此可以靈活地以批次方式啟動和執行腳本。

這種配置大量的簡化了IT工作,例如服務目錄編纂、資安和管理。

在重新設計的架構中,我們在Hadoop叢集中的工作幾乎100%都是自動化。這讓IT團隊騰出了大量的時間和精力,能將精神用在服務組織內外的客戶,並幫助銀行善用資料工程的準則,以應對快速的變化。

我們花了將近兩年的時間將所有應用程式轉移到新的雲原生架構。隨著科技發展,我們已準備好繼續擴充及加快我們的計算框架,讓應用程式和業務部門都能受益,並為企業創造價值。遷移到軟體定義儲存系統和使用固定計算單元(immutable compute)是建構大規模大數據平台的一個重要里程碑。

對於大數據而言,運算工作是一個不斷成長的挑戰,需要不斷尋求創新技術新來減少運算足跡和加速批次處理。

GPU計算

大多數傳統資料湖泊都是建構在傳統的多核心CPU技術上。即使顯著地加強了儲存、記憶體和網絡子系統,幾乎每個企業用戶和系統都被效能所限制,無法使用企業資料湖泊或資料倉儲中的資料進行瞬間爆量的資料分析。

GPU技術是由Nvidia等公司多年的研發開創,過去十年在產業中快速成長。在GPU中所含的數千個核心讓它本身就能夠平行處理資料。

GPU通常被放入伺服器中用以增強主要的CPU。它們還提供了更快的I/O,增加CPU和GPU之間往返傳輸的資料量。

GPU加速器能夠在執行繁重運算任務時帶來巨大的優勢,但GPU的價格昂貴且要能為應用程式採用亦有一定的學習曲線。因此星展銀行使用vSphere Bitfusion虛擬化硬體加速器(如GPU)來支援AI、ML的工作。vSphere Bitfusion將實體資源從伺服器的特定環境中分離。

此平台可在虛擬化基礎架構中共享GPU,作為網路可存取的資源池,而非讓個別伺服器中的資源獨立。Bitfusion可跨AI框架、雲端、網路以及在虛擬機、容器和Jupyter notebook等環境運行。隨著新硬體加速器的導入,Bitfusion隨時可以將其虛擬化。

星展銀行選擇vSphere Bitfusion的原因有:

a. 可任意動態配置GPU — Bitfusion可拆解GPU運算單元並可向連結遠端儲存單元一般動態地將GPU連接到資料中心的任何位置。

b. 提高部分GPU效率 — Bitfusion能利用任意部分的GPU。在測試及開發階段支援更多用戶。

c. 標準化加速器存取 — 在基礎架構中充分利用GPU,並隨著標準的制定,整合不斷發展的技術。

d. 應用程式執行時間虛擬化 — Bitfusion在程式執行時根據CUDA調用GPU資源,最大限度地提高網路中任何GPU伺服器的利用。

e. 與任何應用程式一起使用 — Bitfusion是一個通透層(transparent layer),它可與任何工作、框架、容器或Jupyter運作。

星展銀行使用Apache Spark作為Cloudera框架的一部分,Cloudera框架是一個開源的通用叢集運算框架,為大規模資料處理提供整合分析引擎。

Spark利用pyspark函式庫來加速Python程式碼,快速運算Pytorch、Tensorflow等套件。但這也意味著批次程式必須將Scala改寫成Python。

我們利用Apache 3.0並結合了基於CUDA-X AI的開源函式庫RAPIDS。Apache Spark的RAPIDS Accelerator具備了RAPIDS cuDF函式庫的強大功能和Spark分散式運算的優點。它使開發人員不需要修改Spark程式碼,就可以在GPU上運行並加速。

RAPIDS cuDF函式庫的啟用可透過設定spark configuration classpath和以下設定來達成

spark.conf.set(‘spark.rapids.sql.enabled’,’true’)

在開源社群和雲端供應商的大力推動之下,資料架構和大數據領域不斷快速發展。星展銀行致力於在科技與現代化資料架構下取得平衡,並確保我們的應用程式皆能具有良好的成本效益。

 

免責聲明和重要通知

本文章(英文)係由DBS LTD提供並經星展銀行(台灣)(下稱「本行」)翻譯為中文,僅供參考,本行及DBS LTD不對使用本文章所引起之任何損失或損害負任何責任。如您有任何疑問或欲參考本文章而為行事之依據,本行建議您諮詢您的專業顧問之意見,以保障您的權益。非經本行之事前書面同意,任何人不得對本文章為複製、轉載、引用、抄襲、修改、散佈或為任何其他方式之使用

 

https://www.ithome.com.tw/news/146484

隨時健康喝好水,高品質飲水機,優質安全有把關

飲水機的問題主要有三個方面,一是水沸騰溫度不足,絕大多數的飲水機最高溫度是95度,再沸騰溫度是90度,泡茶殺菌的溫度不夠

總是為了廚餘煩惱嗎?

雅高環保提供最適用的廚餘機,滿足多樣需求。

一般貨櫃標準尺寸?

金誠貨櫃尺寸種類分別為,20呎櫃、20呎高櫃、40呎櫃、40呎高櫃、20呎冷凍櫃、400呎冷凍櫃。

攻戰消費者第一視覺,包裝設計很重要!

包裝設計是指對包裝的形狀、大小、構造及包裝材料等方面進行創造或選擇並以適當方式吸引消費者的注意力,進而增加購買率,以及對使用者友善之特性。

光學鏡頭廠新兵 保勝上櫃前辦現增_工業用機械手臂,無線充電裝置

光學股保勝光學(6517)掛牌在即,19日應上櫃掛牌所需,經董事會通過辦理現金增資發行新股,初估總發行股數達261萬5千股,每股發行價格暫定為28至40元,發行總金額達2,615萬元。

保勝光學指出,上述的發行價格為暫定價,實際發行價格及公開承銷方式將授權董事長參酌市場狀況,並依相關證券法令與主辦證券承銷商共同議定之。

保勝光學指出,本次現金增資除依規定,保留發行股份總數之一成,共計26萬2千股由員工認購,其餘九成股數約235萬3千股,原股東將全數放棄認購,改委由推薦證券承銷商辦理初次上櫃前公開承銷。

好的茗茶,更需要密封性高的茶葉罐,才能留住香氣!

提供素面及多風格的設計,供客戶自行運用,選擇性多亦可少量訂購。

選擇示波器的10 項考量因素

示波器的頻寬定義為訊號衰減3dB時的訊號頻率。若一台示波器頻寬不夠會導致看到的訊號失真,測試不準確。頻寬指標主要體現在衰減器與放大器的指標。即時取樣率體現出示波器的ADC的指標。取樣率通常要大於等於頻寬的4倍。

建南和著重於工業用機械手臂、工業型無線充電裝置、精密加工元件等產品之經銷、代理、進出口貿易

保勝光學成立於1970年,為台灣第一家光學製造公司,技術源自於美、日、德三大光學產業國家,以高附加價值的玻璃鏡片及鏡頭利基型產品為主,終端應用包含電影院用專業投影鏡頭、天文及航太光學、運動光學、光學自動檢測設備(AOI)檢測設備、半導體設備、醫療設備等。

專攻高階玻璃鏡片跟鏡頭的保勝光學因產品具技術門檻,推升上半年合併毛利率來到36.56%,呈年增19.05個百分點,經結算,上半年累計營收2.14億元,表現明顯優於2021年同期的1.69億元,因營收規模放大,再加上產品組合優化,帶動獲利成長,2022年上半年累計稅後純益達5,224萬元,相較於2021年同期的累計稅後淨損104萬元,順利轉虧為盈,經換算2022年上半年EPS 1.87元,大幅超前2021年同期的每股淨損0.04元。

保勝光學2022年前三季營收達3.96億元,較2021年同期的3.08億元,成長28.3%,雖然第三季營收1.37億元,仍小輸第二季的1.43億元,不過保勝光學仍有信心的表示,目前客戶需求仍屬穩定,下半年的表現不會比上半年差,2023年也不會比2022年差。

#
#
#
#
#

來源鏈接:https://www.chinatimes.com/newspapers/20221020000194-260204

協助客戶導入半導體設備、工業型機械手臂以提高產能及加工技術

臭氧機的滅菌效果如何?

多加科技公司前身─多加企業社於2000年設立於高雄市,從事水處理、加水站設計規劃營運,以臭氧機、紫外線燈作水質淨化、殺菌設備

隨時健康喝好水,高品質飲水機,優質安全有把關

瀚洋飲水機永續經營於雲嘉南高地區,我們堅持一貫的理念,強調服務品質及維護時效,採e化保養管理

商機大 電商平台搶賣票券

隨著邊境解封及疫後生活回歸正常,餐飲住宿等吃喝玩樂商機也蓄勢待發。網家(8044)及創業家(8477)兩家電商平台近期宣布搶進票券業務。而原本以票券產品起家的夠麻吉(8472)則反而跨足電商,引進海外商品及進攻宅配市場。

根據波仕特市調公司報告指出,台灣總體禮券市場規模約400億元,隨著後疫情時代的到來,行動支付的使用率逐年提升,票券商機持續看俏。根據網路家庭PChome 24h購物統計,2022年前三季電子票券的訂單量,年增超過4成,整體銷售額更成長近2倍,可見電子票券市場的蓬勃發展。

創業家兄弟旗下的生活市集平台,9月下旬宣布進軍電子票券市場,將透過電子票券打通虛實整合商機,首波優先鎖定便利商店、餐飲速食等類型。

臭氧機的滅菌效果如何?

多加科技公司,從事水處理、加水站設計規劃營運,以臭氧機、紫外線燈作水質淨化、殺菌設備,因臭氧機具強大氧化、殺菌、除臭能力,省電、無耗材費用,深受水處理業者採用

建南和著重於工業用機械手臂、工業型無線充電裝置、精密加工元件等產品之經銷、代理、進出口貿易

選擇好的茶葉罐,有效地保持茶葉的鮮度與風味!

茶葉罐的一般有錫製、鐵製、陶瓷、玻璃、紙製等,其中以選用有雙層蓋的鐵製彩色茶罐和長頸錫瓶為佳,用陶瓷器貯存茶葉,則以口小腹大者為宜。

示波器探測執行效能最佳化的8大秘訣

瀚誼科技致力於提供示波器多元化的專業測試和解決方案,範圍涵括無線通訊系統、RF量測儀器設備、高頻配件、電子元件

PChome 24h購物19日宣布聯手FunNow,推出「吃喝玩樂」即時預訂服務,該公司定位為都會享樂預訂平台,合作之初已有超過5,000個吃喝玩樂方案,當中不乏人氣名店、排隊美食、星級飯店等。

PChome 24h購物表示,以往消費者在平台上購買票券後,還需要自行向店家預約時間,如果商品熱賣或超賣,很可能出現不好訂位的窘況。但FunNow則是結合電子票券與即時訂位功能,可快速完成即時訂位,並立即取得電子憑證,可說是解決票券最後一哩路的消費痛點。

而原本以票券產品起家的夠麻吉則是從2021年開始,從票券市場跨足到電商和宅配市場,最主要的原因是過去兩年因疫情關係,消費者在實體場域吃喝玩樂等消費行為銳減,也拖累該公司的營收,希望搶進新的領域和業務來降低風險和增加營收。目前已經建置完成具規模的宅配電商平台,並引進海外商品。

#
#
#
#
#

來源鏈接:https://www.chinatimes.com/newspapers/20221020000189-260204

票選推薦煮婦最愛手壓封口機,省荷包不犧牲品質

意信臻以 品質、信用、親切、迅速、優質售後服務,為公司的營運宗旨。

【找人才】台北塑膠射出成型工廠徵選技師,薪資優,福利佳

射出成型機按外形特徵可分為立式、臥式、直角式、旋轉式和偏心式等多種,目前以臥式最為常用。

金誠貨櫃實業社

以客為尊,客製化的設計與服務搭配專業的工班,能夠提供全方位的貨櫃屋組合方案、貨櫃屋改裝及裝潢設計配合您的需求打造出一個完善的居住空間

數據分析當道 意藍21日登戰略新板

意藍(6925)以數據分析結合人工智慧技術,提供廠商隨選即用的SaaS(Software as a Service)軟體即服務及DaaS(Data as a Servic)數據即服務,該公司將於21日在戰略新板掛牌買賣,總經理楊立偉表示,希望未來三~五年間可達到3成市占率的目標。

意藍成立於2007年,一開始的創始團隊來自台大校園,創辦人楊立偉為台大資管所博士,專精搜尋引擎及語意分析技術,一直對數據分析擁有極大的熱情,他表示,海量的資料就好比油田,而意藍就如同煉油廠,把資料萃取出來成為有價值的商品。

意藍後來將既有技術延伸到大數據的處理及AI語意分析,並從軟體廠商轉型為雲端服務商,目前每天可處理60億~70億的訊息量。其專長為處理非結構化數據,再結合搜尋與人工智能的分析,發展出多樣化的智慧數據訂閱服務模式。

飲水機選購技巧大公開!!

機器上方放桶裝水,與桶裝水配套使用。桶裝飲水機在20世紀中期之前就出現了,這種飲水機被設計為機身頂部的一個專門的連接器倒放置水桶

飲水機皆有含淨水功能嗎?

採e化保養管理,用戶資料建檔完整售後服務,服務區域內深受各大機關團體、百大企業等等知名企業採用

空壓機這裡買最划算!晨達空壓機秉持著專業空壓機技術、優質快速服務、空壓機合理價格。為您解決工作中需要風量、風壓的問題。

建南和著重於工業用機械手臂、工業型無線充電裝置、精密加工元件等產品之經銷、代理、進出口貿易

空壓機這裡買最划算!

晨達空壓機秉持著專業空壓機技術、優質快速服務、空壓機合理價格。為您解決工作中需要風量、風壓的問題。

意藍2021年度營業收入1.5億元,每股盈餘為2.43元,由於意藍研發自有分析技術,並自建資料中心伺服器,毛利率高達81%,淨利率達27%。2022年上半年營收0.76億元,每股稅後純益0.99元,法人預估2022全年的營收可望上看1.8億元,每股純後純益上看3.07元。

楊立偉表示,全球數據服務(DaaS)的市場約有610億元美元,到2030年時年複合成長率為36.9%,雖然國際DaaS市場成長力道強勁,但因台灣市場還在起步,意藍資訊預期未來每年的營收將有2成的成長。

意藍的智能數據服務產品有社群數據、人群數據,提供即時觀測、行銷評估及市場研究,目前已經是台灣規模最大的社群網站及口碑資料庫,客戶涵蓋金融、零售、代理商及知名消費品牌。預計2023年第一季要推出商情數據服務,鎖定的客戶群為需要處理大量商品及行為數據的平台,意藍可以協助業者整合內部資訊及外部數據。

#
#
#
#
#

來源鏈接:https://www.chinatimes.com/newspapers/20221020000193-260204

好的茗茶,更需要密封性高的茶葉罐,才能留住香氣!

茶葉罐是用來存放茶葉的容器,有錫製、鐵製、陶瓷、玻璃、紙製的材質。

使用真空封口機常見問題?

封口機用途廣泛,各產業袋類包裝,食品包裝、豆乾、喜餅、咖啡豆、咖啡粉掛耳包、鳳梨酥等等

使用真空封口機常見問題?

封口機用途廣泛,各產業袋類包裝,食品包裝、豆乾、喜餅、咖啡豆、咖啡粉掛耳包、鳳梨酥等等

空壓機這裡買最划算!

晨達空壓機秉持著專業空壓機技術、優質快速服務、空壓機合理價格。為您解決工作中需要風量、風壓的問題。

臉書「台語AI翻譯」推手是台灣人!背後原因有洋蔥

臉書(Facebook)母公司Meta打造人工智慧(AI)技術翻譯系統,讓使用閩南語(台語)人士能與使用英語者對話。這項新技術的幕後推手之一,是來自台灣的Meta軟體工程師陳鵬仁,希望父親能用最熟悉的台語跟所有人溝通。

Meta發布新聞稿指出,在台灣長大、講中文的陳鵬仁深深了解語言障礙將影響溝通能力,他的父親陳聖獎是一位70歲、退休的工廠技術主管,來自閩南語普遍使用的台灣南部。雖然閩南語與中文這2種語言相關,仍有許多不同,讓陳鵬仁的爸爸常覺得用中文進行複雜的對話非常困難。

「我希望我爸跟所有人溝通時,都用台語,這是他最熟悉的語言。」Meta AI研究員陳鵬仁分享,「他聽得懂中文,但若是討論比較複雜的主題時,他說話的速度會比較慢。」不甘於只為爸爸擔心,陳鵬仁開始投入心力,改善這個問題,推動全新的技術發展,讓閩南語及英文能相互翻譯。

Meta表示,目前為止,AI翻譯主要著重於各種書寫語言,但在全球超過7000種的現存語言中,有近半數主要以口語表達,沒有標準或廣泛使用的書寫文字系統。這導致Meta無法使用標準技術為這類語言打造機器翻譯工具,因為標準技術需有大量的書寫文字來訓練AI模型。

為克服這項挑戰,Meta為主要以口語表達的「閩南語」打造一個史無前例的人工智慧技術翻譯系統。這項採用開放原始碼的翻譯系統是Meta Universal Speech Translator(UST,通用語音翻譯工具)專案的一部分,致力於開發新的AI方法,希望能為所有現存語言進行即時語音翻譯,包括主要以口語表達的語言。

為開發這個只有語音的全新翻譯系統,Meta AI研究人員必須克服許多來自傳統機器翻譯系統的挑戰,包括資料蒐集、模型設計以及準確度評估。Meta不只會開放閩南語翻譯模型的原始碼,也會公開評估資料集和研究報告,讓其他人能重製並以Meta的工作成果為基礎建立模型。

各大百貨每波促銷贈品活動,限量知名LOGOL型資料夾,獨家販售中!!

L型文件夾是市面上最常見到的收納文具,有多層與各種厚度可選擇,也可客製化製作專屬自己的尺寸

金誠貨櫃實業社

以客為尊,客製化的設計與服務搭配專業的工班,能夠提供全方位的貨櫃屋組合方案、貨櫃屋改裝及裝潢設計配合您的需求打造出一個完善的居住空間

空壓機這裡買最划算!晨達空壓機秉持著專業空壓機技術、優質快速服務、空壓機合理價格。為您解決工作中需要風量、風壓的問題。

建南和著重於工業用機械手臂、工業型無線充電裝置、精密加工元件等產品之經銷、代理、進出口貿易

Meta著手打造閩南語翻譯系統時,面臨的一個重大障礙,是能否蒐集足夠資料。Meta利用中文作為中間語言,以建立偽標籤和人工翻譯,也就是先將英語或閩南語語音翻譯成中文文字,接著再翻譯成閩南語或英語,並新增至訓練資料中。這個方法利用資源充足的相似語言的資料,大幅改善模型成效。

Meta指出,評估主要以口語表達的語言例如閩南語時,挑戰之一是沒有標準的書寫文字系統。為啟動自動評估程序,Meta開發了一套系統,將閩南語語音轉譯成標準化的拼音符號,能夠很容易比較不同方法下的翻譯品質。

Meta也根據名為Taiwanese Across Taiwan的閩南語語音語料庫,建立第一個閩南語與英語雙向的語音翻譯基準資料集。Meta將開放此基準資料集的原始碼,鼓勵其他研究人員合作進行閩南語語音翻譯,一同在這個領域取得更多進展。

Meta表示,在目前的階段,Meta的作法能讓使用閩南語的人士與使用英語者對話。雖然相關模型仍在開發中,而且每次只能翻譯一個完整句子,但已朝向未來實現為各種語言提供同步翻譯的目標邁進。

Meta認為,AI研究有助於打破在現實世界和元宇宙中的語言限制,未來所有語言無論是否可以書寫,都不再是阻礙人們相互理解的障礙,期待為未來順暢無阻的溝通持續貢獻。(編輯:楊蘭軒)1111020

#
#
#
#
#

來源鏈接:https://www.chinatimes.com/realtimenews/20221020002147-260412

市面十大品牌封口機!該如何選購?

市面上的封口機一般分為兩種:一種是要預熱的,一種是不用預熱的(插電後即可直接使用。)而瞬熱式就是不用預熱的封口機

選擇示波器的10 項考量因素

示波器是一種能夠顯示電壓訊號動態波形的電子測量儀器。它能夠將時變的電壓訊號,轉換為時間域上的曲線,原來不可見的電氣訊號

滑鼠墊適用各種文宣活動廣告曝光,專業客製服務

滑鼠墊是用於放置和移動滑鼠的一個墊子。它的主要功能是防止在玻璃等特殊材質的表面上移動時的反射與折射影響滑鼠感光器的定位,提供一個方便滑鼠感光器系統計算移動向量的平面;次要功能是為了美觀,上面可印有精美、個性化的圖案;還有一些滑鼠墊增加了腕托以提高手部舒適度。