今年Next大會最重要的產品發布就是BigQuery大升級，這個在2010年首度亮相，2011年正式推出的史上第一款Serverless雲端資料倉儲，發布了10年來最大一次的功能升級，終於開始支援非結構化資料。
早在2010年的Google IO大會上，Google就展示了最早的BigQuery服務，可以提供結構化資料的機器學習預測，隔年正式推出。圖片來源／GCP
GCP從去年開始展開BigQuery產品線的升級，推出了多雲部署版本BigQuery Omni，可以將BigQurey部署到其他公雲，如AWS和Azure上，來提供跨多雲的單一大數據分析平臺能力，而不用像過去得將所有資料集中到GCP才能使用BigQuery。但這一步，只是BigQurey產品大升級的前奏。
BigQuery成為Google發展通用資料平臺的關鍵，去年先推出BigQuery Omni將BigQuery體驗帶入到其他公有雲，今年開始展開BigQuery各項升級和強化。圖片來源／GCP
到了2022年1月，BigQuery更開始跨出結構化資料的範疇，正式支援半結構化資料JSON資料格式，引起各界高度關注。因為JSON是Web應用最常用的資料格式，這一步讓GCP超強的大數據分析工具，可以直接匯入、原生處理各種Web應用、行動App產生的第一手資料，更容易成為各類Web應用的主要分析資料集散中心。
關鍵升級1：今年開始支援非結構化資料
沒想到，GCP對BigQuery布局不只如此，到了10月Next大會，更進一步宣布BigQuery將開始支援非結構化資料，從圖片、聲音、影片、串流影像到龐大的Log檔案，通通都可以支援。
BigQuery今年開始支援非結構化資料，可以用SQL指令建立工作流程，提供非結構化資料進行查詢、合併、預測、治理和共享等處理。圖片來源／GCP
BigQuery推出了物件表格（Object Tables）預覽版，可以將非結構化資料原始檔案和相關的後設資料，儲存到欄位式的資料表中，也能用來建立SQL指令所設計的工作流程，近一步提供查詢、合併、預測、治理和共享等處理方式，讓企業DBA或開發人員以慣用的SQL指令來處理非結構化的資料。
BigQuery推出物件表格（Object Tables）預覽版，可以將非結構化資料原始檔案和相關的後設資料，包括圖片、聲音、影片等儲存到欄位式的資料表上使用SQL指令。圖片來源／GCP
BigQuery研發負責人Google Cloud產品總監Brian Welcker指出，BigQuery支援非結構化資料最大的價值是，可以強化Google的AI技術優勢，直接用BigQuery SQL來運用Google各種AI產品。
BigQuery是第一個將運算和儲存徹底分開的資料倉儲服務，來提供高可用性和擴充性，特色是支援SQL相容語法指令，提供欄或列等級的精細存取控制、顧客自管加密金鑰等安全性。
目前，BigQuery資料用量達到PB級的企業，超過了1百家，BigQuery平均每一秒要處理110TB的顧客資料，所搭配的記憶體式分析BI引擎，每個月查詢次數超過了30億次。
但是，過去10年來，BigQuery一直有一個最大的不足，就是只能支援結構化資料。因為許多電腦視覺、語音辨識、語言翻譯、自然語言處理等AI成熟應用，大多是以非結構化資料為主要素材，過去，要使用GCP上這類影音相關AI，得使用GCP其他雲端儲存服務來保存訓練資料。資料分散多套平臺，想要統一權限管理、管理政策、資料治理，開發者或維護團隊得到不同平臺上，使用不同的機制來建立同樣的政策，版本維護和政策同步也相當麻煩，更提高了配置錯誤的風險。
不只是管理機制的複雜化，非結構化資料的儲存服務往往由基礎架構維運團隊負責，而而結構化資料則由資料團隊負責，想要建立一個通吃兩類資料的分析模型，需要兩組維運團隊合作，更添加了組織分工的成本和協作溝通的複雜度。
許多資料倉儲大廠，早在多年前，就紛紛從結構化資料，開始支援非結構化資料，就是為了將各種資料集結到單一資料倉儲系統中來統一治理，但是BigQuery遲遲沒有支援，直到今年。
透過這個BigQuery新發表的Object Tables功能，可以將儲存在Gogole儲存Bucket上的各種類型的物件，以資料表的形式呈現在BigQuery中，可以使用SQL指令查詢這些完整的物件後設資料，也可以建立SQL工作流程，能簡化增量處理作業，建立物件資料表後也可以提供顆粒度更細緻（例如按資料欄位控制）的權限控制機制，也能安全的共享這些非結構化資料。
另外，也可以直接在BigQuery中套用GCP現成的AI框架和機制來訓練這些非結構化資料，甚至直接使用內建或訓練好的機器學習模型來推論。例如直接用真實房屋屋內照片結合出租紀錄，建立一個用真實屋內設備來預測出租結果的模型。
「 Google資料雲戰略的目標是，建立一個開放、整合和智慧的資料生態圈，來加速企業顧客的創新。」Brian Welcker指出：「BigQuery正是Data Cloud的核心。」
因此，不只是擴大所支援的資料類型，GCP更早從去年就開始陸續布局，各種擴大BigQuery資料接觸面、資料流通力的機制，要以BigQuery來打造更完整的資料生態圈。目前已經累計超過800家資料雲合作廠商。
關鍵升級2：強化與商用資料庫的遷移和互通機制
今年初發表的BigQuery遷移服務，也在10月的Next大會中正式GA，可以支援12種資料來源的轉移作業，包括了Teradata資料倉儲、IBM Netezza、Oracle 資料庫和Amazon Redshift。這是GCP用來吸引企業搬遷舊有資料倉儲上雲的重要手段。
另外，GCP的變動資料擷取服務Datastream也開始支援BigQuery，目前是預覽版，可以將多個企業級資料庫的串流資料的變動，將資料和Schema即時複製擷取到BigQuery中，不需要另外的處理程序，來強化BigQuery對於即時OLTP資料的分析能力。可以支援甲骨文資料庫、MySQL資料庫、PostgreSQL（預覽版）和AlloyDB。這也是另一個用來打通BigQuery與現有商用資料庫間的重要資料互通機制，可以快速複製現有資料庫的即時資料。
臭氧機推薦
臭氧機、紫外線燈作水質淨化、殺菌設備，因臭氧機具強大氧化、殺菌、除臭能力，省電、無耗材費用，深受水處理業者採用
專業客製化禮物、贈品設計，辦公用品常見【L夾】搖身一變大受好評!
採用PVC0.2白色軟皮料印製，4色印刷加上表層防刮油墨，另也可選表層上亮膜。
真空封口機該不該買?使用心得分享
各式封口機、包裝機械、客製化訂做、特殊改造
常見的貨櫃種類?
金誠貨櫃屋尺寸均依國際標準組織ISO (International Standardization Organization) 認定標準，並區分成鐵貨櫃、冷凍貨櫃和特殊貨櫃三種類型。
關鍵升級3：支援JSON強化Log大數據分析
支援Log資料分析也是BigQuery今年的主打特色，除了原本就提供的Storage Write API資料匯入服務，可以提供到每秒百萬次操作不影響查詢效能的能力，來搜集各種即時串流的Log資料，另外，新增了對原生JSON資料型態的支援，能夠直接匯入json文件來產生以欄位儲存的表格，也提供了新的文字搜尋索引，可以對龐大的JSON等log資料進行精確搜尋，快速找出符合特定文字模板的資料列，「這是媲美在草叢中找針的精準搜尋能力。」Brian Welcker這樣比喻。
關鍵升級4：視覺化SQL除錯和優化工具
SQL查詢是BigQuery最大賣點，但要從複雜的SQL指令來了解執行指令的運作情況和效能瓶頸，對DBA來說是一大挑戰，GCP這次大會中，也發表了一款SQL查詢除錯工具Query Inspetor預覽版，可以用視覺化方式來除錯、解決SQL查詢指令的效能問題，例如產生查詢指令的運作流程圖，來了解不同查詢任務之間的資料流向，來找出影響效能的瓶頸。
「這是用來管理所有查詢、診斷、比較同類查詢和優化查詢的一站式工具。」Brian Welcker補充。
另外，過去在Google Workspace商用付費版本才提供的Connected sheets功能，可以用Google Sheets試算表直接連結BigQuery，來讀取資料進行分析，現在變成了免費功能，個人版也能連結BigQuery，以分析人員或業務人員熟悉的操作介面，來存取BigQuery上的分析報表和數據。
SQL查詢除錯工具Query Inspetor預覽版，可以用視覺化方式來除錯、解決SQL查詢指令的效能問題。圖片來源／GCP
關鍵升級5：將GCP全套MLOps工具帶進BigQuery
BigQuery早在2018年就內建整合了機器學習功能推出BigQuery ML，可以用標準SQL查詢指令，在BigQuery中訓練ML模型，雖然在這次Next大會上，沒有太多更新，但是，這次也推出了一個殺手級的連結機制，可以將BigQuery ML的模型，整合到 Vertex AI平臺的模型儲存庫。
Vertex AI是Google去年推出的全託管式機器學習平臺，將一系列Google內部所用的機器學習工具和框架，組合成了一套AI訓練服務平臺，也包括了一系列的MLOps工具，涵蓋了訓練資料管理、ML訓練、雛形開發、實驗、模型部署，甚至是模型解釋，以及模型上線後的監控，可以提供端到端到維運的完整ML應用生命周期管理。
例如提供了像Vertex Model Monitoring、ML Metadata與Pipelines這些MLOps工具，可以用來建立自助式的ML模型，以及提高重複利用率。BigQuery ML新增了一項與 Vertex AI模型儲存庫的連結機制，可以將BigQuery ML訓練出來的模型，自動註冊到這個儲存庫，來進行管理、追蹤、版本控管，甚至可以儲存BigQuery ML模型的後設資料和各種runtime相依性作為日後重複部署之用。
不只如此，建立連結之後，還能將BigQuery ML的模型，整合到Vertex AI模型評估和部署機制上，來進行離線評估或上線的追蹤，也可以統一管理在BigQuery的機器學習模型發布流程，從模型審查、核准、發布甚至是到退版都能管理。換句話說，雖然只是ML儲存庫的連結，但這一步等於將Vertex AI的全套企業級MLOps管理平臺，帶進了BigQuery資料倉儲。
關鍵升級6：同一套SQL支援更多種類分析任務
使用SQL指令來完成各種分析任務是BigQuery最大的賣點，Google也不斷擴充SQL指令可以完成的任務，一方面，除了強化BigQuery機器學習開發流程之外，GCP在幾年前所併購的ETL資料處理工具Dataform，現在終於整併到BigQuery產品線中，推出了新的預覽版，可以提供一個類SQL的語言稱為SQL X來撰寫各種資料轉換工作流程，管理各種不同的ETL資料處理流程，也能搭配GitHub進行版本控管，引進軟體開發流程來強化資料分析團隊的協作，這個產品可以強化BigQuery資料前處理能力。
在強化查詢指令的功能上，BigQuery SQL也開始支援Spark串流分析運算，可以將Spark程式寫成Store Procedure，然後直接在BigQuery中執行Spark的任務，也能套用同樣的資安和治理政策，例如套用GCP IAM權限，或是套用與BigQuery上同樣的精細權限控管（欄或列）設定等。
在結構化資料當道的時候，BigQuery 曾經被譽為最強的大數據分析工具之一，但隨著AI技術成熟，各種非結構資料暴增，非結構化資料成了企業分析需求的大宗，各家雲端儲存服務、資料湖和資料倉儲系統也紛紛跟進，形成多家競逐，各有擅長的態勢。
GCP今年開始大力押寶BigQuery，BigQuery 在推出11年之後，終於跨入了非結構化資料場域，後發能否再度搶下頭名，這正是GCP新資料戰略接下來的考驗。
新策略 搶攻SRE、SecOps和NetOps維運大數據需求
在今年Next大會上，BigQuery除了大規模翻新產品功能之外，在產品推廣策略上，也鎖定了企業最常見的大數據分析應用場景，就是維運大數據分析需求。
Google Cloud產品經理Christopher Crosbie指出，今年特別要瞄準企業三大維運場景的Log分析需求，一種是DevOps和SRE場景，想要觀察和了解各種AP的行為，加快除錯速度來縮短系統當機的復原時間（MTTR），第二種是SecOps場景，企業想要從龐大資安Log中，更容易調查與資安相關的攻擊事件資料。最後一類是IT網路維運（NetOps），需要整合各方資料來提供更完善的網路洞察。
但是，企業要處理的Log資料需求和類型非常多元，常會運用不同的Log分析系統，來處理上述不同類型的需求。但是Christopher Crosbie指出，Log系統越多套，會衍生不少問題，例如，資料經過越多系統，到達最終系統會產生延遲問題，其次，不同系統或處理機制對資料可能有不同的轉換處理，會導致缺乏清楚的單一資料正確來源，當要套用ML訓練時，要整合多套資料來源的串接，容易導致ML流程的斷裂，對維運團隊而言，也得經常在不同系統間切換和轉移資料，更增加工作流程的複雜。
BigQuery在邁向通吃各類資料和各種分析需求的大戰略之下，也想要成為通吃不同類型Log分析需求的單一大數據平臺，早在1年前，GCP先推出了Stroage Wirte API，可以快速將各類Log資料來源寫入到BigQuery中，GCP宣稱可以達到每秒100萬筆寫入操作，也不會影響查詢效能。
在今年Next大會，Google Cloud產品總監Brian Welcker就表明，BigQuery要推出Log大數據分析，除了原本的Stroage Wirte API之外，再加上了原生JSON資料類型支援正式GA，也新推出了龐大資料的搜尋索引功能。
Christopher Crosbie表示，不只可以支援從多種資料類型批次轉換成JSON，也可以跟Dataflow、JDBC、Biglake Tables整合，將SQL查詢結果快速輸出成JSON來提供他用。而搜尋索引則不需要知道原本的資料結構，也能搜尋結構化或非結構化的獨特資料，也提供時序性資料的最近幾筆查詢條件的優化，例如最近30筆，可以用於Log分析常用最新變化查詢之用。
Google還在自家Cloud Logging服務下，用BigQuery打造了一個新的Log分析預覽版，可以用來彙整來自各種雲端環境的Log分析，可以利用SQL語法來處理和分析這些雲端Log。
https://www.ithome.com.tw/news/153753
掌握產品行銷策略,帶你認識商品包裝設計基本要素
包裝設計是兼具美感和實用、設計和製作印刷的精緻工藝。包裝設計包含了結構規劃、視覺設計、材質選定及後續的生產加工
好的茗茶,更需要密封性高的茶葉罐,才能留住香氣!
鴻和興精密工業股份有限公司，是由在台灣專業生產茶葉罐、奶粉罐具有領先地位的光華金屬所投資組織成立的一家專業製造包裝材料之馬口鐵罐製造廠，秉持的專業、品質、服務、效率為各大客戶服務。
掌握產品行銷策略,帶你認識商品包裝設計基本要素
包裝設計是兼具美感和實用、設計和製作印刷的精緻工藝。包裝設計包含了結構規劃、視覺設計、材質選定及後續的生產加工
真空封口機該不該買?使用心得分享
各式封口機、包裝機械、客製化訂做、特殊改造
留言回應