Dify:把可觀察性內建進 LLMOps 的開源應用平台
把一個 LLM demo 寫出來不難,難的是把它推上線之後還能活著。prompt 改一版就悄悄退化、RAG 檢索回一堆不相干的片段、agent 在某個分支無限迴圈燒 token,這些問題在 Jupyter notebook 裡看不到,只有在真實使用者的流量下才會浮現。多數自己用 LangChain 從零拼起來的專案,最…
標籤「LLMOps」相關文章共 1 篇 — Tony.Wu Blog
把一個 LLM demo 寫出來不難,難的是把它推上線之後還能活著。prompt 改一版就悄悄退化、RAG 檢索回一堆不相干的片段、agent 在某個分支無限迴圈燒 token,這些問題在 Jupyter notebook 裡看不到,只有在真實使用者的流量下才會浮現。多數自己用 LangChain 從零拼起來的專案,最…