即時數據產品:Denodo 如何讓數據「活」起來

即時數據產品:Denodo 如何讓數據「活」起來 -1200

批次數據時代的終結

傳統的數據處理模式是這樣的:每晚深夜,ETL 程序跑一次,把各源系統的數據抽取出來、清洗、轉換、載入數據倉儲。第二天早上,業務人員看到的是「昨天」的數據。

在某些場景下,「昨天的數據」完全夠用:年度財務報告、月度銷售分析、季度戰略評估。

但在另一些場景下,「昨天的數據」等於沒有數據:

  • 詐欺偵測:詐欺交易發生在幾秒內,如果要等到隔天才知道,損失早就造成了

  • 個人化推薦:用戶正在瀏覽的商品,必須在同一個 Session 內立刻反映在推薦結果中

  • 即時風控:客戶正在申請貸款,信用評估必須整合最新的帳戶狀態和交易紀錄

這就是「即時數據產品」存在的理由。

一、為什麼傳統 ETL 無法解決即時問題?

傳統 ETL(Extract-Transform-Load)面臨三個根本性困境:

困境一:複製帶來版本不一致

每次 ETL 執行,都是源系統數據的一個「快照」。兩次快照之間發生的變化,數據倉儲看不到。而且,如果同樣的數據被複製到多個地方(DW、Data Mart、報表系統),很快就會出現多個「版本」,沒有人知道哪個才是最新的真相。

困境二:更新頻率受限於資源

每次全量 ETL 都消耗大量計算資源,所以企業通常只能每天跑一次(甚至更低頻)。這在成本和即時性之間形成一個無法靠傳統方式突破的瓶頸。

困境三:新需求就要新 Pipeline

每當業務提出一個新的分析需求,工程師就要重新寫一個新的 ETL Pipeline。這不只費時費力,還意味著相同的源數據被讀取和複製了多遍,增加了源系統的壓力。

Gartner 的「數據虛擬化(Data Virtualization)」概念,以及 Denodo 的實踐,提供了一條截然不同的路。

二、Denodo 的核心理念:不移動數據,移動智慧

Denodo 是全球數據虛擬化領域的領導者,其核心理念可以用一句話概括:

「不把數據移動到需求,而是把智慧移動到數據」

具體來說,Denodo 在各源系統之上建立一個邏輯數據層(Logical Data Layer),也稱為語義層(Semantic Layer)。這個層次:

  • 不存儲任何物理數據(不複製)

  • 提供統一的業務視圖(語義統一)

  • 按需即時查詢底層數據(即時性)

  • 集中管理存取控制(治理)

當一個 AI 模型或業務應用需要「客戶信用評估數據」時,它不需要知道底層有 Oracle、PostgreSQL、MongoDB 三個系統。它只需要查詢 Denodo,Denodo 負責即時從三個系統取得數據、整合計算、以標準格式回傳。

三、三大核心價值:語義、即時、治理

Denodo 針對現代數據管理的三大核心需求,提供了差異化的解法:

價值一:語義統一(Semantic Unification of All Data)

Denodo 提供「數據市集(Data Marketplace)」功能,讓業務人員和 AI 工程師可以:

  • 搜索和發現可用的數據產品

  • 即時預覽數據品質和結構

  • 自助申請和取用,無需等待 IT 排期

  • 獲得 AI 生成的業務元數據描述,更快理解數據含義

Denodo 9.3 版本更進一步支持 MCP(Model Context Protocol),讓 AI Agent 可以直接透過自然語言查詢 Denodo 管理的數據,大幅降低 AI 應用的開發門檻。

價值三:聯邦化治理 + 集中監管(Federated Governance with Centralized Oversight)

Denodo 支持「聯邦化治理」架構:

  • 各業務領域(Domain)可以自主管理各自的數據產品

  • 但存取控制、資料遮罩(Masking)、稽核日誌在 Denodo 中央層統一執行

  • 隱私合規(Privacy by Design)是內建的,不是事後加上去的

四、量化成效:Denodo 用戶的實際 ROI

根據獨立研究機構 Forrester 對 Denodo 用戶進行的訪談和量化分析,企業平均可以實現:

指標

提升幅度

三年期 ROI

345%

洞察速度(Time-to-Insight)

提升 3-4 倍

數據整合工作量

減少 75%

合規成本

降低 77%

基礎設施成本

節省 60%+(避免數據複製)

新分析項目上線時間

從數週縮短為數天

這些數字背後的邏輯很清晰:當工程師不再需要為每個新需求重寫 ETL、不再需要維護大量複製的數據副本,省下的人力和基礎設施成本是實實在在的。

五、即時數據產品的三個代表性場景

價值一:語義統一(Semantic Unification of All Data)

數據需求:詐欺偵測模型需要在一筆交易發生後的毫秒至秒級內,整合:

  • 客戶歷史交易模式(來自交易系統)

  • 當前帳戶狀態(來自帳戶管理系統)

  • 設備和登入行為(來自數位平台)

  • 客戶基本資料(來自 CRM)

Denodo 解法:建立「詐欺偵測即時數據產品」,Denodo 在接收到查詢請求後,即時聯合查詢四個系統,整合計算風險特徵,回傳給詐欺偵測 AI 模型。整個過程在秒級內完成。

場景二:貸款即時審核

數據需求:客戶在手機 App 申請個人貸款,系統需要在 3 分鐘內完成信用評估,需要整合:

  • 最新帳戶餘額和交易紀錄

  • 現有貸款和還款記錄

  • 近期跨行交易資料(外部數據)

  • AI 信用評分模型

Denodo 解法:貸款審核 API 調用 Denodo,Denodo 即時整合所有相關數據源,驅動 AI 模型輸出信用決策。業務人員和申請者都看到即時的結果,而不是「3 個工作天後通知」。

場景三:個人化即時推薦

數據需求:客戶正在瀏覽銀行 App 的投資商品頁面,推薦引擎需要:

  • 客戶當前的投資組合

  • 過去 7 天的瀏覽行為

  • 即時市場行情

  • AI 相似用戶偏好模型

Denodo 解法:App 後端調用 Denodo 的推薦數據 API,Denodo 即時整合多源數據,驅動 AI 模型產出個人化推薦清單,呈現在客戶的手機螢幕上。

六、Denodo 9.3 的 AI 新功能:讓 AI 直接「懂」你的數據

2025 年 9 月發布的 Denodo Platform 9.3,帶來了幾個針對 AI 時代的重要更新:

  • MCP(Model Context Protocol)支持:AI Agent 可以透過標準化的 MCP 接口,用自然語言直接查詢 Denodo 管理的所有數據,無需人工編寫查詢語句

  • AI SDK:讓開發者更輕鬆地將 Denodo 數據整合到 AI 應用開發流程中

  • 自動生成業務元數據嵌入(Auto-generated Metadata Embeddings):自動為數據產品生成向量嵌入,讓 RAG(檢索增強生成)系統更容易找到相關數據

  • 智能數據市集(Intelligent Data Marketplace):AI 輔助的數據發現,讓使用者用自然語言描述需求,系統自動推薦最相關的數據產品

這些功能的意義在於:Denodo 不再只是「數據整合工具」,而是成為企業 AI 基礎設施的核心語義層。

FAQ:企業導入 Denodo 常見問題

A:即時數據產品是指能夠在數據產生後立即整合、分析並提供給業務系統或 AI 應用使用的數據服務。不同於傳統 ETL 每日或定期批次更新,即時數據產品可在秒級甚至毫秒級取得最新資訊,特別適用於詐欺偵測、即時風控、個人化推薦與即時決策等場景。

A:

傳統 ETL 主要面臨三大限制:

  1. 數據複製造成版本不一致,容易出現多個數據真相(Multiple Versions of Truth)。

  2. 更新頻率受限於運算資源與成本,通常只能每日或定期更新。

  3. 每個新需求都需要建立新的 ETL Pipeline,導致開發與維護成本持續增加。

因此,對於需要即時反應的業務場景,傳統 ETL 很難滿足需求。

A:

Denodo 採用 Data Virtualization(數據虛擬化)技術,透過建立 Logical Data Layer(邏輯數據層)整合各種異質數據來源,而不需要實際複製數據。

當應用程式或 AI 模型提出查詢需求時,Denodo 會即時連接 Oracle、SQL Server、MongoDB、API、雲端平台等資料來源,動態整合後回傳結果,讓企業獲得最新且一致的數據視圖。

A:

Denodo 的語義層可將不同系統中的資料欄位與業務定義進行標準化,例如:

  • customer_id、cust_no、client_code 統一為「客戶 ID」

  • 不同系統的狀態碼轉換為一致的業務語意

這能有效解決:

  • 數據定義不一致

  • AI 模型訓練資料混亂

  • 跨系統分析困難

  • 數據治理複雜度過高

讓企業建立統一的數據語言與業務語意。

A:

Denodo 9.3 新增多項 AI 相關功能,包括:

  • MCP(Model Context Protocol)支援

  • AI SDK 開發套件

  • 自動生成 Metadata Embeddings

  • 智能數據市集(Intelligent Data Marketplace)

透過這些能力,AI Agent 能夠使用自然語言直接探索與查詢企業數據,並快速取得可信任的上下文資訊,進一步支援 RAG(檢索增強生成)、Agentic AI 及企業生成式 AI 應用的落地。

相關解決方案:

👉 想了解更多湖倉一體 解決方案
👉 想了解更多 數據虛擬化平台
👉 想了解更多 Nous 數據治理平台
👉 想了解更多 Nous 數據品質平台

 

訂閱偉康科技洞察室部落格,掌握最新科技趨勢!

專人協助

由偉康業務人員為您詳細說明偉康的解決方案,以及相關產業經驗。

立即訂閱電子報

掌握最新科技趨勢!