ELK在Machine learning上異常偵測必知的教學設定(下)
建立Alert規則
在上面步驟中我們建立了一個異常偵測的Job，這個Job在我們設定訓練的index有新增資料時，會為新的異動資料進行異常偵測，異常偵測的結果，在此章節會做一個提醒機制。
1.選擇建立Alert規則
回到Anomaly detection，會看到剛剛建立的Job，點擊右方的 … 選擇Create alert rule。
2.設定提醒內容
點下建立alert rule後，右方會彈出一個抽屜，裡面有些資訊要設定，這裡來為每個欄位做解說：
- Name ：名稱，方便後續管理使用。
- Tags：標籤，後續再做標籤搜尋時可以作為搜尋依據。
- Check every：多久確認一次新進資料是否有沒有符合設定的規則。
- Notify：提醒模式，一共分為三種
- 當狀態改變的時候，就做指定動作，此處狀態是指，我們會將異常分成五個等級：normal, warning, minor, major, critical ，當資料狀態發生改變時發送通知。
- 只要有異常就提醒，相對於上面的狀態，由於有時候異常狀態是連續的，就每秒鐘新進入的資料都是異常，在這情境下就會每秒都發送一次通知。為避免這種高頻通知，通常不會把高時間靈敏資料選用此方式，避免同一時間區段發送過多的異常通知。
- 自定義時間週期回報一次狀態
- Threshold：異常通知標準，當超過多少分數時，在這模型才應該視為需要通知的異常。
- Actions：這裡提供很多種介接服務，可以將此Job異常資訊送達指定端口
這邊我們會舉Webhook為例子，大部分的資料保持預設直即可，建立測試用webhook可至 webhook.site 建立一個全新webhook，進入網站後將網頁上顯示的 Your unique URL 貼至URL的位置即可(貼完後不要關閉頁面，或是記錄下https://webhook.site/ 的uuid，之後測試時會需要到此頁面觀察結果)。
Save webhook完畢後，會回到原本的畫面，這時候我們要來決定異常發生時，我們想要收到哪些資訊，點擊body右上角的符號可以看到裡面有哪些值是可以傳遞過去的，記住，這邊body只能是JSON格式，所以Body的輸入一定要像下圖一樣。
按下save完成後我們就建立完成我們的異常提示了，接下來我們要餵資料來測試此異常偵測是否真的可行。
Data Feeder
在7.10版之後，官方推薦使用data feed來作為異常模型的輸入值得方式，在下面我們會開始針對如何透過API來將資料匯入index，並且讓Job偵測到異常後發起通知。
在這裡會透過Kibana上的Dev Tool來發API，當然也可以透過Elasticsearch上的API，這兩個是相同的，若是要使用Elasticsearch的API，請記得要取得Token，在Header帶上Authorization。
1.開啟Dev Tool
在畫面左側的導航欄，Management底下有個Dev Tools，進去後我們會看到像下面一樣的畫面。左側是輸入API的位置、方法與body。
2.開啟data feeder
開啟Anomaly detection頁面，開到Job管理，我們點擊右手邊的 … 中有個「Start data feeder」，我們需要先開啟data feeder，並且設定data feeder的偵測時間區間，如此一來才能順利偵測到在index新增的數值
3.發送API
新增資料至index，透過API的方法是POST /_doc ，Body所帶的值為單一一筆紀錄，在左側輸入完畢後點擊API 那行右側的執行按鈕，可以得到右側的API response結果，在這裡我們把API設置成 :
POST ec2_cpu_utilization_24ae8d/_doc
{“@timestamp” : “2014-03-01T12:15:00.000+08:00”,
“value”: 4.114}
value設置成4.114 是因為我們在歷史資料中有看到，平常的數值大約為0.1左右，當數值來到2以上就有被標註為異常的情況，於是乎我們在這裡將數值定為4，時間的部分則是避開週期性的高峰(3-4點)，來測試是否能夠順利產生提醒。
4.確認是否有收到異常提醒
至設定Webhook的頁面(剛剛設定的webhook.site，若已關閉可以手動輸入網址 https://webhook.site/#!/ 來連線進去觀察)，可以期待畫面會呈現下方狀態：
補充說明- ML benchmark
- 64GB RAM
- 4 Cores
- 24GB of memory to the JVM Heap
- 40GB for ML processing
訂閱偉康科技洞察室部落格，掌握最新科技趨勢！
了解更多
偉康科技提供以雲端服務、智能數據、資安技術為核心的數位轉型解決方案，協助攻克企業資料治理遇到的難題，如有需求歡迎 聯絡我們
About The Author
