Google 推出 LLM-Evalkit

Google 最近推出咗 LLM-Evalkit，係一個輕量級嘅開源應用程式，用 Vertex AI SDKs 喺 Google Cloud 上建構。

佢主要解決團隊喺處理大型語言模型 (LLM) 時，提示散落喺文件、試算表同雲端控制台等地方，導致迭代唔夠效率、手動操作同結果唔一致嘅問題。

呢個框架可以讓團隊追蹤客觀指標，並更有效咁迭代。

主要功能包括集中工作流程、度量驅動評估、無代碼介面，同埋開源合作。

用戶可以定義特定問題、收集相關數據集，並建立客觀指標嚟評估 LLM 輸出，從而系統化咁基準測試同量度改進。

呢個工具適合非開發人員使用，減少瓶頸並促進技術同非技術團隊成員之間嘅合作。

想開始用，可以去 GitHub 倉庫 https://github.com/GoogleCloudPlatform/generative-ai/tree/main/tools/llmevalkit 查看。

https://cloud.google.com/blog/products/ai-machine-learning/introducing-llm-evalkit