Elastic 推出 Elasticsearch Relevance Engine™AI革命的高級搜尋助理
Posted On 2024 年 3 月 21 日
認識Elastic AI 助理
Elastic 推出了 Elastic AI 助理，提供支援生成式 AI助手，Elastic AI 助理 是現代一個革命性的工具，它讓網路使用者提供了一個更安全、更智慧的查詢透過自然語言搜尋的新體驗。
Elasticsearch Relevance Engine™（ESRE™）提供建立更相關的 AI 搜尋應用程式的新功能。ESRE 建立在 Elastic 搜尋領域及兩年的機器學習研究的開發基礎上。
ESRE 將 AI 的優勢與 Elastic 的文字搜尋相結合，可以透過一整套複雜的搜尋演算法和與大型語言模型（LLMs）結合的功能。使用一個簡單統一的 API 進行訪問，Elastic 已經信任這個 API，因此世紀各地的開發人員可以立即開始使用它來提升搜尋的相關性。
可以透過網路開發在特定的場域應用，進一步發揮這些創新。Elastic 的開源和快速創新，可以為所有用戶提供了強大的技術，解決這些特別的業務挑戰。在生成式 AI 的快速進步下使得 Elastic 能夠跨出下一步，將這些功能提供給每一位安全分析師。
Elasticsearch 相關性引擎的可設定功能可用於透過以下方式提升關聯性：
-應用進階相關性排名功能，包括混合搜尋的關鍵組成部分 BM25f
-使用 Elastic 的向量資料庫建立、儲存和搜尋密集嵌入
-使用各種自然語言處理 (NLP) 任務和模型處理文本
-讓開發人員在 Elastic 中針對特定業務環境管理並使用自己的轉換器模型
-透過 API與 OpenAI 的 GPT-3 和 4 等第三方轉換器模型串接，根據Elasticsearch 部署中整合客戶資料儲存及檢索內容摘要
-使用 Elastic 開箱即用的編碼器模型，無需訓練或維護模型即可
呈現 ML 的搜尋，從在各個領域提供相關聯的語義搜尋
-使用倒數排名融合 (RRF) 輕鬆組合達到稀疏和密集檢索，這是一種混合排名方法，使開發人員能夠優化 AI 搜尋引擎，讓自然語言和關鍵字查詢的方式做為組合
-與LangChain等第三方工具串接，並將複雜的數據管道和生成式人工智慧結合應用程式
搜尋功能一直受到持續改善優化其關聯以及我們在搜尋應用程序互動方式與需求驅動。有高度相關的搜尋結果可以讓在搜索應用程序上增加用戶參與度，對收入和生產力都有顯著的影響。在新的 LLMS 和生成式 AI 的中，搜尋可以讓我們更有未來發展走——從中去理解用戶的搜尋意圖，達到可以提供前所未有的更準確及精準的回覆。
不過更值得注意的是，在每一次搜尋中的優化都是為了提供更好的相關性，並同時對應到新興的技術變化中，可為用戶行為帶來的新挑戰。不管是擴展關鍵字搜索再提供語義搜尋，還是影片和圖片用新的搜尋方式，新技術都需要獨特的工具來為使用搜尋中的用戶提供更好的體驗。同樣地，現今的AI人工智慧需要一個新的、彈性高又可擴展的軟體工具，它可以建置在具有被認證、經過環境測試安全的功能中。
在隨著生成式 AI 的發展像 ChatGPT 這樣的技術的日益普及，以及對大型語言模型功能的增強，技術人員渴望透過科技為他們帶來且改進他們的應用程式。Elasticsearch Relevance Engine 可引領生成式 AI 領域的新功能時代，並以強大的工具迎接當下，任何開發團隊都可以立即使用。
１.公司數據 / 上下文意情境感知
剛開始模型可能沒有足夠的特定領域相關的充足內部資料。這資料會源自於模型訓練時所使用的資料庫。模型所訓練的數據集。為了定制 LLMS 生成的數據和內容，公司需要提供數據訓練模型，以便學習提供更多相關、功能特定的資訊。
２.卓越的相關性
Elasticsearch Relevance Engine 從私有來源集成數據與生儲存的向量嵌入一樣簡單，使用語義搜尋檢索上下文。向量嵌入是單詞、詞組或文檔的數值，有助於 LLMS 理解詞語及其關係的含義。這些嵌入在速度和規模上增加了模型轉換後的輸出。ESRE 還可以讓開發人員將自己的轉換器模型加入 Elastic，或是與第三方模型進行串接。
但我們還意識到，後期模型在不需要對第三方數據做為廣泛訓練或微調的情況下，只需用此解決方案。由於並不是每個開發團隊都有擁有足夠的資源或專業知識來訓練和維護機器學習的模型，因此 Elasticsearch Relevance Engine 還包括 Elastic Learned Sparse Encoder，這是一個針對多個領域中對語義搜尋的檢索模型。該模型將嵌入與傳統的關鍵字做為搜尋配對，所以就形成了一個使用混合搜尋的 Reciprocal Rank Fusion (RRF) 評分器。ESRE 很快就成為開發人員的機器學習驅動的關聯性和混合的搜尋技術。
３.隱私和安全性
資料及數據的隱私在網路上，對於公司在使用和安全至關重要，所以在重新建立新的搜尋體驗時也是如此。
Elastic 對於支援權限的存取限制，以確保數據存取權限的角色能夠查看它，即使是用於聊天和問答應用程序也是如此。
Elasticsearch 的搜尋功能可以支援您在公司中，需要將特定的文件做特權管理的需求，可以幫助你的公司在所有搜尋應用的過程中，保有隱私和存取控制的權限。
4.模型大小和成本
由於數據量以及所需的計算能力和儲存，對於大型語言模型在許多企業來說是令人望而卻步的。所以對許多企業來說，使用大型語言模型不是那麼容易的，因此想要建立自己的生成式 AI智慧應用程式（如:聊天機器人）的企業會需要將 LLMS 和私有數據串接做結合。
Elasticsearch 的搜尋提供給企業可以透過精確的上下文的語意做到提供比對後相關性的資訊，可以有助於減少資料的佔用，同時也減少無需的額外花費。
5.資料過時
模型在收集訓練資料時會停止在一個時間點。因此，生成式AI模型創建的內容和數據資料，僅能顯示當時從訓練的模型中去抓取資料，所以訓練的數據資料需要是即時最新的。將公司的數據資料整合從LLMS中獲得即時的資料呈現。
6.幻覺
在回答問題或與模型交談時，它可能會編造聽起來可信且令人信服的事實，但實際上卻是不真實的預測。這是讓法學碩士具備情境化、客製化知識對於使模型在商業環境中發揮作用如此重要的另一個原因。
Elasticsearch 的搜尋功能可以讓讓開發人員透過生成式 AI 模型中的上下文意連結到自己的資料儲存。在新增的搜尋結果可以呈現來自私人來源或專業領域的最新資訊，因此可以在出現提示時回覆更多的相關資訊，而不是僅僅只有模型中的內容知識。
由向量數據庫強化
Elasticsearch Relevance Engine 設計了一個強大且彈性的向量資料庫。建立豐富的語意搜尋應用奠定了一個基礎，使用 Elastic可以建構豐富的語意搜尋應用。
使用 Elastic 的平台，開發團隊可以使用密集向量搜尋來創建更多直觀的問答，不受關鍵字或同義詞的限制。
可以使用圖像等非結構化數據構建立模式搜尋，可以對用戶配置文件進行建模並創建匹配，以在產品和發現、職位搜索或匹配應用程序中個性化搜索結果。這些 NLP 轉換器模型還支援情緒分析、命名實體識別和文字分類等機器學習任務。
Elastic 的向量資料庫允許開發人員創建、儲存和查詢嵌入，這些嵌入對於實際生產應用程式來說具有高度的擴展性和高效能。
訂閱偉康科技洞察室部落格，掌握最新科技趨勢！
專人協助
由偉康業務人員為您詳細說明偉康的解決方案，以及相關產業經驗。
About The Author
