ELK

ELK是什麼?

ELK Stack 通常稱為 Elasticsearch,這三個軟體組成後可以用來彙整所有系統及應用程式的日誌、分析、監控架構可立即將問題排解、安全分析、建立視覺化

ELK是由三個 open-source 軟體英文字首的縮寫

ELK這三個英文是分別是:Elasticsearch、Logstash 和 Kibana

E = Elasticsearch

Elasticsearch 是一個分散式的搜尋和分析引擎

Elasticsearch 支援各種語言、高效能和無結構的 JSON 文件,是各種日誌分析和搜尋的最佳選擇

Elasticsearch 是一個分布式的免费開源搜索和分析引擎,適用於文本、数字、地理空間、结構化和非结購化數據等在内的所有類型的数據。

Elasticsearch 在 Apache Lucene 的基礎上開發而成,由 Elasticsearch N.V.(現在的 Elastic)於 2010 年首次發布。

Elasticsearch 以簡單的 REST 風格 API、分布式特性、速度和可擴展性而聞名,是 Elastic Stack 的核心组件;Elastic Stack 是一套適用於數據採集、擴充、儲存、分析和可視化的免费開源工具。

大家通常將 Elastic Stack 稱為 ELK Stack(代指 Elasticsearch、Logstash 和 Kibana),目前 Elastic Stack 包括一系列豐富的輕量型數據採集代理,這些代理统稱為 Beats,可用來向 Elasticsearch 發送數據。

Elasticsearch 運作的方式?

使用 API 或用擷取工具以 JSON 文件的形式將資料傳送至 Elasticsearch。

Elasticsearch 會自動存放原始文件,並將可搜尋的新增文件至叢集索引中的文件。

Elasticsearch API 搜尋和擷取文件後,可以使用 Kibana 視覺化工具與 Elasticsearch 搭配使用,將您的資料視覺化並建置互動式儀表板。

Elasticsearch 的優點

快速建置

Elasticsearch 提供了簡易 REST 型 API (簡易 HTTP 界面),使用無結構描述的 JSON 文件,可快速建置適用於各種使用案例的應用程式。

資料處理高效能

Elasticsearch 的分散式性質能平行處理大量資料,可以快速的査詢找到最相符的項目。

Elasticsearch 相關工具和外掛程式

Elasticsearch 與熱門虛擬化和報告工具 Kibana 整合。

提供與 Beats 和 Logstash 的整合,同時可讓您輕鬆地轉換來源資料並載入到 Elasticsearch 叢集。

可以使用一些開放原始碼的 Elasticsearch 外掛程式 (如語言分析器和建議器),為應用程式新增豐富的功能。

Elasticsearch 可以即時的操作

Elasticsearch 操作讀取資料和寫入資料不到一秒鐘的時間即可完成。

使用 Elasticsearch 可即時的使用資料案例,應用程式監控和異常偵測。

Elasticsearch支援開發的應用程式語言

  • Java
  • JavaScript (Node.js)
  • Go
  • .NET (C#)
  • PHP
  • Perl
  • Python
  • Ruby

Elasticsearch 可以運用在哪?

Elasticsearch 在速度和可擴展性方面都表現出色,還能夠索引多種類型的内容,可運用在以下的多個地方上:

  • 應用程序搜索
  • 網站搜索
  • 日誌處理和分析
  • 基礎設施指標和容器監測
  • 應用程序性能監測
  • 地理空間數據分析和可視化
  • 安全分析
  • 業務分析

L = Logstash

Logstash 是一種開放原始碼資料擷取的工具,可以從各種來源收集資料、轉換資料並將資料傳送到所需目的地。

預先建置設定篩的選條件比對 200 多個外掛程式的支援,Logstash 可以讓使用者擷取資料,不限定資料來源及類型。

Logstash 的優點

簡單的載入非結構化資料

Logstash 可以簡單化將分散資料來源 (包括系統日誌、網站日誌和應用程式伺服器日誌) 擷取非結構化資料。

可先設定預先建置篩選條件

Logstash 可以先預建置篩選條件,可以簡單地轉換常見資料類型,在 Elasticsearch 中為資料編製索引,不需建置自訂資料轉換管道。

較多靈活外掛的程式架構

在Github 上已有 200 多個外掛程式可用,可以自行建置資料管道所需的外掛程式。

若是沒有適合的外掛程式,可以自己輕鬆建立一個外掛程式。

K = Kibana

Kibana 是一種資料視覺化的探索工具,可用於日誌和時間序列分析、可應用於程式監控和操作智慧使用案例。

 

Kibana 的功能有長條圖、折線圖、圓餅圖、熱度圖及內建地理空間支援。

 

因 Kibana 易於使用互動式圖表、可先建置彙整篩選條件以及地理空間支援,使其成為視覺化儲存在 Elasticsearch 中之資料的首選。

 

在熱門分析和搜尋引擎與 Elasticsearch 密切整合,Kibana 成為視覺化 Elasticsearch 中存放的資料的預設最佳選擇。

Kibana 的優點

互動式的圖表呈現

Kibana 可呈現完整的圖表和報告,可使用互動的方式瀏覽大量日誌資料。

可以使用動態拖動的方式操作時間視窗,設定放大和縮小特定的資料子集,可向下切入報告從資料中擷取可行的洞察。

製圖的支援能力

Kibana 有强大的地理空間功能,可以在資料上無縫的方式將地理資訊分層,在地圖上視覺化呈現結果。

可預先設定彙總篩選條件

Kibana 的預先設定彙總篩選條件,操作簡單,可以執行各種分析,如長條圖、前 N 個査詢和趨勢。

設定儀表板簡易

可以自行輕鬆的設定儀表板和報告,能與其他人共享。只需一個瀏覽器就可以檢視和探索資料的呈現。

ELK Stack受重視及歡迎的原因

ELK Stack 可以滿足在日誌分析領域的需求。

但隨著時代進步,越來越多的 IT 基礎設置的遷移到公有雲端,現在只需要一個日誌管理及分析的解決方案,監控基礎的設備與處理伺服器日誌、應用程式日誌和點擊流。

ELK Stack 為了開發人員和 DevOps 工程師提供簡單又強大的日誌分析解決方案,取得有關故障診斷、應用程式效能和基礎設備的監控洞察。

ELK Stack 有哪些適合的選項

選擇使用 Elasticsearch 和 Kibana 的 Apache 2.0 授權版本 (直到版本 7.10.2) 可自行部署和管理 ELK Stack ,或使用 OpenSearch、OpenSearch Dashboards 和 Logstash 自行管理 ELK Stack 的開放原始碼替代方案。

開發人員或 DevOps 工程師可以在設定上創新的應用程式上,部署、升級、軟體安裝及修補、備份和監控上。

可以自行管理選項及擴展和縮減的設定,滿足業務的需求。

專人協助

由偉康業務人員為您詳細說明偉康的解決方案,
以及相關產業經驗。

台北總公司
10571 台北市松山區南京東路五段 89 號 9 樓
10571 台北市松山區南京東路五段 225 號 5 樓
+886 2 7701-5899

聯絡我們 service@webcomm.com.tw

偉康科技股份有限公司 版權所有 © 2021 WebComm Technology Co., Ltd. All Rights Reserved.