數據是推動AI應用的關鍵力量，為創新提供源源不絕的動力。根據最近的研究，96% 的 CxO認識到生成式 AI 對於任何組織的成功至關重要，並且70% 的員工任務有可能透過生成式 AI 和其他技術實現自動化。然而，真正阻礙企業級採用 AI 的主要障礙，是數據的可存取性。
根據《2024 年 Google Cloud 數據和 AI 趨勢報告》，66% 的組織表示至少有一半的數據是暗數據，大部分數據都是非結構化且不受管理。而作為在企業中掌管數據的領導者，您將是數據資料的重要推手，從接觸新客戶、創新產品和流程、培訓團隊等等。而 Google Cloud 將會協助您將所有業務數據連接到 AI ，為團隊提供高效率、高推進力的數據洞察力。
僅僅 2023 年及 2024 年 Google Cloud 大幅提升 數據 + AI 的功能整合：
- 2023 年 Google Cloud 交付了 350 多個新的資料分析產品功能，比前一年成長 60%，包括加速數據團隊工作的新一代 AI 功能，以及透過 BigQuery 與 Vertex AI 和 Gemini 模型整合，將 AI 注入到數據平台。
- 2024 年 Google Cloud 將更多數據 + AI 功能整合至 BigQuery。
Google Cloud 甚至宣布在 2024 年下半年內，將發布更多新的創新和成熟的一代 AI 功能，以全面支援您不管是在 Google Cloud Platform 或是 Google Workspace 的數據 + AI 之旅。包含以下功能：
- BigQuery 中的 Gemini：為數據工程、資料探索和分析、治理和安全任務提供由 AI 驅動的體驗。這包括 BigQuery 中的 Gemini 功能，例如程式碼生成、完成和解釋（SQL、Python）、資料洞察、資料準備以及分區和叢集建議。
- Looker 中的 Gemini：功能新建提供 AI 驅動公式協助，使您能夠探索數據並從複雜的公式和簡報生成中創建指標，為您提供分析後，直接發送至簡報的新方法，最後再利用Gemini 具有引人入勝的文稿，與 Google Workspace 無縫整合。所有類型的使用者都可以簡單地與您的 BigQuery 資料和 Looker 模型聊天，以獲得即時且可操作的見解。
- BigQuery 的統一資料平台：現在可讓您使用 SQL、Spark 和 Vertex AI 整合無縫分析結構化、非結構化和開放式格式資料。 Google Cloud 對 Iceberg 開放格式的支援擴展到自動優化您的資料以實現性價比。同時，宣布 Delta 格式全面上市，擴大了本機支援的開放資料格式清單。
- 支援開源Apache Spark 和Apache Kafka 資料流和處理：使您能夠利用無伺服器 Spark 以閃電般的速度、多功能性和可擴展性處理平台中的數據，並使用 Apache Kafka 提取即時見解並採取行動立即獲得見解。
- Analytics Hub 的即時串流：使您能夠訂閱並存取 Analytics Hub 內的即時資料來源：大規模管理對共享主題的訪問，幫助確保資料安全性和合規性。這可以透過 Analytics Hub 增強的資料發布者功能和 Pub/Sub 流來實現。此外，Analytics Hub 與 Google Marketplace 的整合意味著輕鬆的商業化，透過 AI 和資料市場，可以購買和出售資料集、模型和串流等商業資產，以支援使用最新資訊更快地做出決策。
- 資料遷移客戶提供和增強的資料遷移服務工具可協助您降低遷移風險，提供預付款來支付系統成本和出口費用，並提供資金來支付遷移服務成本。此外， Google Cloud 的遷移服務工具可加快資料工作負載的價值實現時間，並協助您節省遷移和出口成本。
「Google雲端持續加強其 AI 就緒的資料生態系統。 Gemini 整合是我們看到的新一代 AI 增強的一個例子，它將推動創新並增強資料團隊和資訊工作者的用例。平台統一，就像我們在 BigQuery 上看到的創新一樣，將使客戶在考慮資料平台遷移時變得更簡單、更容易。」- Doug Henschen，Constellation Research, Inc. 副總裁兼首席分析師
Gemini 數據代理可提高生產力
BigQuery 中的 Gemini 提供 AI 驅動的體驗，例如整個資料旅程中的資料準備、探索和分析、治理和安全性，以及用於提高使用者工作效率和優化成本的智慧建議。
基於 Google Cloud 在 Next ’24 上發布的公告，現在推出了預覽版的新功能，包括數據洞察和數據準備，之前宣布的 BigQuery 中的 Gemini 功能已全面發布，包括 SQL 和 Python 的程式碼幫助、數據畫布、以及分區和集群建議。
在 BigQuery 中使用 Gemini 產生 SQL 程式碼
Wunderkind是一種全球行銷解決方案的公司，在 BigQuery 中使用資料畫布和 Gemini 進行調查和探索，以幫助簡化查詢的可見性，從而節省資料團隊的時間和能力。
「對於您知道會導致多次查詢的任何類型的調查或探索性練習，確實沒有替代品。它為我們節省了大量的時間和智力」-Scott Schaen，Wunderkind 分析副總裁
在 Looker 中使用 Gemini 產生幻燈片
借助 Looker 中的 Gemini 功能，例如公式助手和簡報生成（現已提供預覽版），資訊工作者可以與他們的數據進行聊天。現在，您可以即時建立計算字段，而無需記住複雜的公式。自動簡報產生有助於透過富有洞察力的數據文字摘要創建有影響力的簡報。
會話分析正在改變組織與其資料互動的方式。想像一下，只需與您的資料聊天，即可獲得即時、可操作的見解。這對分析師來說是一個遊戲規則改變者，將他們從無休止的報告創建循環中解放出來，並為業務用戶提供真正的自助服務。
此方法超越了基本的問題和圖表互動。利用先進的語言模型來引導使用者瀏覽資料、提供摘要，甚至提供自動化見解，確保重要資訊不會被遺漏。
Google Cloud 致力於將會話分析整合到整個產品組合中。 Looker 客戶將能夠啟動獨立的聊天用戶端，並能夠更靈活地過渡到 Looker Studio 進行微調儀表板和報告。
借助 AI 就緒的統一資料平台，實現簡單性
BigQuery 可協助您為 AI 準備好所有資料。在 Google Cloud Next ’24 上， Google Cloud 宣布 BigQuery 將成為從資料到 AI 之旅的單一整合平台，旨在實現多模式、多引擎和多雲。
為了提供幫助， Google Cloud 建立了從 BigQuery 到 Vertex AI 的第一方連接，以提供對AI 模型的直接訪問，並使用您的企業數據微調LLM，從而幫助確保您的模型具有更高的一致性和準確性。還引入了直接在 BigQuery 中使用向量索引的新查詢功能，以將 AI 與儲存的資料結合使用。 BigQuery 向量索引現在支援 Google 的 ScaNN 演算法，以實現高效的批量向量搜尋。最近， Google Cloud 在 BigQuery 中添加了對最新 Gemini 模型的支持，以及安全增強和接地支持。
「改用 BigQuery 改變了我們在 Veo 存取、理解和使用資料的能力。透過將其直接整合到其他 Google Cloud 解決方案中，我們可以獲得更好的可訪問性和更快的洞察力，從而在整個組織中發揮重大影響和支援作用。即使是非技術團隊成員也能輕鬆地使用 BigQuery 自行運行臨時分析，從而為我們的分析團隊騰出時間來處理高價值項目。 – Max Schuman， Veo資深資料科學家
越來越多的客戶依靠 BigQuery 透過物件表管理非結構化數據，包括圖像、音訊和視訊格式，其使用量年增超過 600%。BigLake 是 BigQuery 的開放儲存引擎，使客戶能夠在一個平台上分析開放式結構化和多模式數據，以及完全託管的 Apache Iceberg 體驗，以建立完全託管、串流和 AI 優化的開放湖屋。在 Next ’24 上， Google Cloud 宣布了BigLake 的基礎功能，以進一步支援開放式多格式和多模式平台，包括跨多個引擎和開放格式表類型（例如Parquet 和Apache Iceberg）互通的單一執行時間元儲存。此外，還添加了對更多開放格式的支持。最後，BigQuery 中現已普遍提供的工作流程和調度增強功能為資料團隊提供了資料管道的更多自動化功能。
資料處理和串流變得簡單
Apache Spark 已成為流行的資料處理運行時，特別是對於資料工程任務。事實上，去年客戶對 Google Cloud 中無伺服器 Apache Spark 的使用量增加了 500% 以上。 BigQuery 新整合的 Spark 引擎可讓您像使用 SQL 一樣使用 PySpark 處理資料。與 BigQuery 的其他部分一樣，Spark 引擎完全無伺服器 — 無需管理運算基礎架構。
對於許多公司來說，運行 Apache Kafka 意味著管理跨多個雲端供應商和本地發行版的許多叢集。我們從許多客戶那裡得知，他們希望以更簡單的方式在 Google Cloud 上運行 Apache Kafka 叢集。現在，您可以直接在 Google Cloud 控制台中使用適用於 Apache Kafka 的 Google Cloud 託管服務在任何專案中使用它。這項託管服務有助於自動化 Kafka 操作和安全性，同時為客戶提供大規模運行流程分析並將其與面向使用者的作業系統整合的能力。
串流資料對於需要與合作夥伴和客戶共享即時資料的多個行業至關重要。例如，零售商可能希望與包裝消費品 (CPG) 企業即時共享庫存水平，以提供即時履行可見性。為了協助組織輕鬆地即時分享 BigQuery 中的資料並從中獲利， Google Cloud 宣佈在 Analytics Hub 中推出 Pub/Sub 主題共享預覽。Pub/Sub 是一種全球使用的訊息傳遞服務，用於實現可靠的大規模資料流。Analytics Hub 是 BigQuery 的數據交換平台，數千家公司使用它在一周內跨組織邊界安全地共享數百 PB 的數據，並實現大規模零複製。新的整合可以以即時的方式，實現串流數據的策劃共享、數據存取的集中管理以及從其他組織發現有價值的數據。
加速資料雲端遷移，全面準備迎接 AI 時代
將資料轉移到雲端可能是為 AI 時代做好準備的首要方法。為了協助組織加速資料和 AI 價值的實現，Google Cloud 推出針對資料倉儲和資料湖的資料平台遷移激勵計劃，以及增強的 BigQuery 遷移服務工具。現在，將所有類型的資料和工作負載（從多模式資料到 SQL、Spark 和 Python）遷移到 Google Cloud 比以往任何時候都更容易。立即開始您的資料雲之旅 – 進行資料策略評估並與我們的團隊聯繫，利用企業資料進行 AI 加速您的創新之路。
本文翻譯並改寫自 Google Cloud 官方部落格。宏庭科技近年來也針對企業數據，利用AI技術達成企業商業效益，若有興趣者也歡迎聯絡宏庭科技，我們期待能持續將最熱門、最前線的話題帶到您面前。
