












dify是一個開源的 LLM 應用開發的開源平臺,提供從 Agent 構建到 AI workflow 編排、RAG ,agent等,支持檢索策略、模型管理等能力,可以輕鬆構建和運營 AI 應用。
最重要的是比 LangChain 更易用,且有好看的節目。
想看部署安裝教程,請直接點擊本文目錄。
Dify 涵蓋了構建生成式 AI 原生應用所需的核心技術棧,開發者可以聚焦於創造應用的核心價值。

| 類別 | 內容 |
|---|---|
| LLM 推理引擎 | Dify Runtime (自 v0.4 移除了 LangChain) |
| 支持的商業模型 | 10+,包括 OpenAI 和 Anthropic<br>主流新模型可在 48 小時內接入 |
| 支持的 MaaS 廠商 | 7 家:Hugging Face, Replicate, AWS Bedrock, NVIDIA, GroqCloud, together.ai, OpenRouter |
| 支持的本地模型推理運行時 | 6 種:Xoribits(推薦)、OpenLLM、LocalAI、ChatGLM、Ollama、NVIDIA TIS |
| OpenAI 接口標準模型集成 | 無限支持 |
| 多模態能力 | ASR 模型、富文本模型(最高支持 GPT-4o 規格) |
| 內置應用類型 | 文本生成、聊天機器人、代理、工作流、對話流 |
| Prompt-as-a-Service 編排 | 廣受好評的可視化編排界面,可集中修改 Prompt 並預覽效果 |
| 編排模式 | 簡單編排、代理編排、流程編排 |
| Prompt 變量類型 | 字符串、單選枚舉 |
| 外部 API 支持 | 文件(2024 Q3 上線) |
| 代理工作流特性 | 行業領先的可視化工作流編排界面,實時編輯節點調試、模塊化 DSL、原生代碼運行時 |
| 支持的節點 | LLM、知識檢索、問題分類器、IF/ELSE、代碼、模板、HTTP 請求、工具 |
| RAG 特性 | 行業首個可視化知識庫管理界面,支持片段預覽和召回測試 |
| 索引方法 | 關鍵詞、文本向量、LLM 輔助問題-片段模型 |
| 檢索方法 | 關鍵詞、文本相似度匹配、混合搜索、多路徑檢索、重排序模型 |
| 召回優化 | 重排序模型 |
| ETL 能力 | 自動清理 TXT、Markdown、PDF、HTML、DOC、CSV 格式數據;支持非結構化服務 |
| 知識庫同步 | 同步 Notion 文檔、網頁作為知識庫 |
| 支持的向量數據庫 | Qdrant(推薦)、Weaviate、Zilliz/Milvus、Pgvector、Pgvector-rs、Chroma、OpenSearch、TiDB、騰訊向量、Oracle、Relyt、Analyticdb、Couchbase |
| 代理技術 | ReAct、函數調用 |
| 工具支持 | 調用 OpenAI 插件標準工具、直接加載 OpenAPI 規範 API 為工具 |
| 內置工具 | 40+ 工具(截至 2024 Q2) |
| 日誌記錄 | 支持,基於日誌的註釋 |
| 註釋回覆 | 基於人工標註的問答,用於基於相似性的回覆;可導出為數據格式以微調模型 |
| 內容審核 | OpenAI 內容審核或外部 API |
| 團隊協作 | 工作區、多成員管理 |
| API 規範 | RESTful,覆蓋大多數功能 |
| 部署方式 | Docker、Helm |
Dify中的“應用”是基於llm等大語言模型構建的實際場景應用,旨在將llm,rag與低代碼技術融入特定需求。它融合了AI應用開發範式與具體交付物,為開發者提供:
開發者可根據需求靈活選擇全部或部分功能,助力AI應用高效開發。
Dify 提供五種應用類型:
各應用類型功能區別如下表:
| 功能 | 文本生成應用 | 聊天助手 | Agent | 對話流(Chatflow) | 工作流(Workflow) |
|---|---|---|---|---|---|
| WebApp 界面 | 表單+結果式 | 對話式 | 對話式 | 流程式 | 表單+流程式 |
| WebAPI 端點 | /completion-messages | /chat-messages | /chat-messages | /chat-messages | /workflows/run |
| 交互方式 | 一問一答 | 多輪對話 | 多輪對話 | 流程控制+多輪對話 | 單輪生成+多輪對話 |
| 流式結果返回 | 支持 | 支持 | 支持 | 支持 | 支持 |
| 上下文保存 | 當次 | 持續 | 持續 | 持續 | 當次 |
| 用戶輸入表單 | 支持 | 支持 | 支持 | 支持 | 支持 |
| 知識庫與工具 | 支持 | 支持 | 支持 | 支持 | 支持 |
| AI 開場白 | 不支持 | 支持 | 支持 | 支持 | 不支持 |
| 情景舉例 | 翻譯、判斷、索引 | 聊天 | 任務分解、推理 | 流程控制、場景定義 | 批處理、自動化 |
| 實時反饋 | 無 | 支持 | 支持 | 支持 | 無 |
初次使用時需要先在 Dify 的 設置(右上角) -- 模型供應商 頁面內添加並配置所需要的模型。

Dify 已支持多家主流模型供應商,包括 OpenAI 的 GPT 系列、Anthropic 的 Claude 系列,deepseek等。不同模型的能力和參數各異,用戶可根據具體應用場景選擇合適的供應商。
本地的話,可以使用ollama或者lmstudio或者gpustack部署模型,接入也很方便。
在使用 商用大模型能力前,需從各大模型廠商官網獲取 API Key。
Dify 將大模型按使用場景分為以下四類:
模型供應商分為兩類:
Dify 使用 PKCS1_OAEP 加密技術存儲用戶託管的 API 密鑰,每個租戶均配備獨立密鑰對,確保 API 密鑰的安全性,防止洩露。
Dify 在需要模型時,會根據使用場景來選擇設置過的默認模型。在 設置 > 模型供應商 中設置默認模型。

在 Dify 的 設置 > 模型供應商 中設置要接入的模型。 系統默認推理模型(System Reasoning Model):設置創建應用使用的默認推理模型,以及對話名稱生成、下一步問題建議等功能也會使用該默認推理模型。

配置完模型後,就可以在應用中使用這些模型了:

你可以通過 3 種方式在 Dify 的工作室內創建應用:
初次使用 Dify 時,你可能對於應用創建比較陌生。為了幫助新手用戶快速瞭解在 Dify 上能夠構建哪些類型的應用,Dify 團隊內的提示詞工程師已經創建好了多場景、高質量的應用模板。
你可以從導航選擇 「工作室 」,在應用列表內選擇 「從模版創建」。

任意選擇某個模板,並將其添加至工作區。
如果你需要在 Dify 上創建一個空白應用,你可以從導航選擇 「工作室」 ,在應用列表內選擇 「從空白創建 」。

Dify 上可以創建 4 種不同的應用類型,分別是聊天助手、文本生成應用、Agent 和工作流。
創建應用時,你需要給應用起一個名字、選擇合適的圖標,或者上傳喜愛的圖片用作圖標、使用一段清晰的文字描述此應用的用途,以便後續應用在團隊內的使用。

對話型應用採用一問一答模式與用戶持續對話。
在首頁點擊 “創建應用” 按鈕創建應用。填上應用名稱,應用類型選擇聊天助手。

編排應用
創建應用後會自動跳轉到應用概覽頁。點擊左側菜單 編排 來編排應用。

提示詞用於約束 AI 給出專業的回覆,讓回應更加精確。你可以藉助內置的提示生成器,編寫合適的提示詞。提示詞內支持插入表單變量,例如 {{input}}。提示詞中的變量的值會替換成用戶填寫的值。
示例:

為了更好的用戶體驗,可以加上對話開場白:你好,{{name}}。我是你的面試官,Bob。你準備好了嗎?。點擊頁面底部的 “添加功能” 按鈕,打開 “對話開場白” 的功能:

編輯開場白時,還可以添加數個開場問題:

如果想要讓 AI 的對話範圍侷限在知識庫內,例如企業內的客服話術規範,可以在“上下文”內引用知識庫。

添加文件上傳
部分多模態 LLM 已原生支持處理文件,例如 Claude 3.5 Sonnet 或 Gemini 1.5 Pro。你可以在 LLM 的官方網站了解文件上傳能力的支持情況。
選擇具備讀取文件的 LLM,開啟 “文檔” 功能。無需複雜配置即可讓當前 Chatbot 具備文件識別能力。

調試
在右側填寫用戶輸入項,輸入內容進行調試。

若 LLM 給出的回答結果不理想,你可以調整提示詞或切換不同底層模型進行效果對比。如需更進一步,同時查看不同模型對於同一個問題的回答情況,請參考多模型調試。
調試好應用後,點擊右上角的 “發佈” 按鈕生成獨立的 AI 應用。除了通過公開 URL 體驗該應用,你也進行基於 APIs 的二次開發、嵌入至網站內等操作。詳情請參考發佈。
智能助手(Agent Assistant),利用大語言模型的推理能力,能夠自主對複雜的人類任務進行目標規劃、任務拆解、工具調用、過程迭代,並在沒有人類干預的情況下完成任務。
為了方便快速上手使用,你可以在“探索”中找到智能助手的應用模板,添加到自己的工作區,或者在此基礎上進行自定義。在全新的 Dify 工作室中,你也可以從零編排一個專屬於你自己的智能助手,幫助你完成財務報表分析、撰寫報告、Logo 設計、旅程規劃等任務。

選擇智能助手的推理模型,智能助手的任務完成能力取決於模型推理能力,我們建議在使用智能助手時選擇推理能力更強的模型系列如deepseek以獲得更穩定的任務完成效果。

你可以在“提示詞”中編寫智能助手的指令,為了能夠達到更優的預期效果,你可以在指令中明確它的任務目標、工作流程、資源和限制等。

在“上下文”中,你可以添加智能助手可以用於查詢的知識庫工具,這將幫助它獲取外部背景知識。
在“工具”中,你可以添加需要使用的工具。工具可以擴展 LLM 的能力,比如聯網搜索、科學計算或繪製圖片,賦予並增強了 LLM 連接外部世界的能力。Dify 提供了兩種工具類型:第一方工具和自定義工具。
你可以直接使用 Dify 生態提供的第一方內置工具,或者輕鬆導入自定義的 API 工具(目前支持 OpenAPI / Swagger 和 OpenAI Plugin 規範)。

“工具”功能允許用戶藉助外部能力,在 Dify 上創建出更加強大的 AI 應用。例如你可以為智能助理型應用(Agent)編排合適的工具,它可以通過任務推理、步驟拆解、調用工具完成複雜任務。
另外工具也可以方便將你的應用與其他系統或服務連接,與外部環境交互。例如代碼執行、對專屬信息源的訪問等。你只需要在對話框中談及需要調用的某個工具的名字,即可自動調用該工具。

在 Dify 上為智能助手提供了 Function calling(函數調用)和 ReAct 兩種推理模式。已支持 Function Call 的模型系列如 gpt-3.5/gpt-4 擁有效果更佳、更穩定的表現,尚未支持 Function calling 的模型系列,我們支持了 ReAct 推理框架實現類似的效果。
在 Agent 配置中,你可以修改助手的迭代次數限制。

函數調用模式

ReAct 模式
配置對話開場白
你可以為智能助手配置一套會話開場白和開場問題,配置的對話開場白將在每次用戶初次對話中展示助手可以完成什麼樣的任務,以及可以提出的問題示例。

部分多模態 LLM 已原生支持處理文件,例如 Claude 3.5 Sonnet 或 Gemini 1.5 Pro。
選擇具備讀取文件的 LLM,開啟 “文檔” 功能。無需複雜配置即可讓當前 Chatbot 具備文件識別能力。

編排完智能助手之後,你可以在發佈成應用之前進行調試與預覽,查看助手的任務完成效果。

編排完智能助手之後,你可以在發佈成應用之前進行調試與預覽,查看助手的任務完成效果。

應用發佈

在 工作室 -- 應用編排 內點擊 添加功能,打開應用工具箱
應用工具箱為 Dify 的應用提供了不同的附加功能:

對話開場白
在對話類應用中,AI 會主動說第一句話或者提出問題,你可以編輯開場白的內容包括開場問題。使用對話開場白可以引導用戶提問,交代應用背景,降低對話提問的使用門檻。

下一步問題建議
設置下一步問題建議可以在每次對話交互後,讓 AI 根據之前的對話內容繼續生成 3 個提問,引導下一輪對話。

文字轉語音TTS
開啟後可以將 AI 回覆的內容轉換成自然的語音播放。

語音轉文字ASR
開啟後可以在應用內錄音並將語音自動轉換成文本。

引用與歸屬
開啟功能後,當 LLM 引用知識庫內容來回答問題時,可以在回覆內容下面查看到具體的引用段落信息,包括原始分段文本、分段序號、匹配度等。
具體介紹請查看引用與歸屬。
我們在與 AI 應用交互的過程中,往往在內容安全性,用戶體驗,法律法規等方面有較為苛刻的要求,此時我們需要“敏感內容審查”功能,來為終端用戶創造一個更好的交互環境。
具體介紹請查看敏感內容審查。
標註回覆功能通過人工編輯標註為應用提供了可定製的高質量問答回覆能力。
工作流通過將複雜的任務分解成較小的步驟(節點)降低系統複雜度,減少了對提示詞技術和模型推理能力的依賴,提高了 LLM 應用面向複雜任務的性能,提升了系統的可解釋性、穩定性和容錯性。
Dify 工作流分為兩種類型:

為解決自然語言輸入中用戶意圖識別的複雜性,Chatflow 提供了問題理解類節點。相對於 Workflow 增加了 Chatbot 特性的支持,如:對話歷史(Memory)、標註回覆、Answer 節點等。
為解決自動化和批處理情景中複雜業務邏輯,工作流提供了豐富的邏輯節點,如代碼節點、IF/ELSE 節點、模板轉換、迭代節點等,除此之外也將提供定時和事件觸發的能力,方便構建自動化流程。
通過將 LLM 集成到你的客戶服務系統中,你可以自動化回答常見問題,減輕支持團隊的工作負擔。 LLM 可以理解客戶查詢的上下文和意圖,並實時生成有幫助且準確的回答。
無論你需要創建博客文章、產品描述還是營銷材料,LLM 都可以通過生成高質量內容來幫助你。只需提供一個大綱或主題,LLM將利用其廣泛的知識庫來製作引人入勝、信息豐富且結構良好的內容。
可以與各種任務管理系統集成,如 Trello、Slack、Lark、以自動化項目和任務管理。通過使用自然語言處理,LLM 可以理解和解釋用戶輸入,創建任務,更新狀態和分配優先級,無需手動干預。
可以用於分析大型知識庫並生成報告或摘要。通過提供相關信息給 LLM,它可以識別趨勢、模式和洞察力,將原始數據轉化為可操作的智能。對於希望做出數據驅動決策的企業來說,這尤其有價值。
LLM 可以用於起草電子郵件、社交媒體更新和其他形式的溝通。通過提供簡要的大綱或關鍵要點,LLM 可以生成一個結構良好、連貫且與上下文相關的信息。這樣可以節省大量時間,並確保你的回覆清晰和專業。
節點
節點是工作流的關鍵構成,通過連接不同功能的節點,執行工作流的一系列操作。
工作流的核心節點請查看節點說明。
變量
變量用於串聯工作流內前後節點的輸入與輸出,實現流程中的複雜處理邏輯,包含系統變量、環境變量和會話變量。
適用場景:
面向對話類情景,包括客戶服務、語義搜索、以及其他需要在構建響應時進行多步邏輯的對話式應用程序。該類型應用的特點在於支持對生成的結果進行多輪對話交互,調整生成的結果。
常見的交互路徑:給出指令 → 生成內容 → 就內容進行多次討論 → 重新生成結果 → 結束

工作流(Workflow)
適用場景:
面向自動化和批處理情景,適合高質量翻譯、數據分析、內容生成、電子郵件自動化等應用程序。該類型應用無法對生成的結果進行多輪對話交互。
常見的交互路徑:給出指令 → 生成內容 → 結束

sys.query,sys.files,sys.conversation_id,sys.user_id。Workflow 的開始節點內置變量包括:sys.files,sys.user_id 。這裡我們創建一個空白應用,選擇工作流:

隨便起一個名字,點擊創建就創建好了。
接下來我們就創建流程節點,上一步創建完了之後,他會自動展示流程節點的畫布,同時又一個開始的按鈕:

這裡我們按照上面的流程來。
1)設置標題提示信息,設置內容提示信息
點擊開始按鈕,設置兩個輸入值,一個是標題提示信息,一個是內容提示信息:

創建完成之後,可以在面板上看到多了兩個字段。

2)使用ai生成標題
在上一步的面板中的下一步位置,

我們添加一個LLM模型:

這裡其實可以選擇很多,根據自己的需要來即可,這裡我們的需求是使用模型生成標題,所以要選擇llm,添加之後,可以看到節點多了一個llm:

這裡我們設置llm模板即可:

只需要設置上訴4部分信息即可,這裡說明一下:
BASIC
1、system部分其實就是我們給ai的提示語,也就是給他場景和要求。
2、user部分主要是作為用戶傳遞的一些特定指向的註釋信息。
3)使用ai生成正文
接下來在上訴2的地方,下一步的位置再添加一個LLM,用於生成正文:

4)合併一下標題和正文
這裡在上訴3的面板上選擇下一步,添加一個模板轉換,用於提取前面的標題和內容,內容需要自己編輯下:

5)結束流程
這裡在上訴4的面板中添加下一個節點為結束即可,設置輸出的信息

到這裡我們的整個流程就製作完了,畫布中會展示完整的流程:

流程指定完之後,可以選擇運行按鈕進行測試:

點擊運行之後,會讓輸入標題和正文提示詞,如下圖:

大家可以根據自己的需要來進行填寫,填完完畢之後,點擊開始運行,等待片刻就可以看到結果了:

以上就是關於Dify中使用工作流的案例,上面主要是演示,沒有做過多的說明,主要是這裡可以根據自己的需求進行定製,沒有千篇一律的說明,但是比較核心的東西咱們在這裡還是給指出來:
1、使用工作流的前提是一定要把一件事進行拆分,使每一步組合之後可以串聯起來。
2、這裡如果想要啟用AI的話就選擇LLM節點,如果想做其他的事情則選擇其他的節點。
3、AI的使用精準度取決於你的提示語,即System部分的描述,儘可能的描述全了。
4、所有的提示語都可以在網上去搜搜。
一、準備知識庫
這裡準備的知識庫格式幾乎不限,一般我們如果是聊天場景的話,就會選擇QA這種模式,比如客服的話術就非常適合,所以這裡我在網上找到一份客服相關的術語,內容如下:
### 如何創建新項目? 要創建新項目,請點擊頁面右上角的“新建項目”按鈕,輸入項目名稱,選擇項目模板(如有),然後點擊“創建”。項目會出現在您的項目列表中。 ### 如何為任務添加截止日期? 在任務詳情頁中,點擊截止日期區域,選擇一個日期並保存。任務的截止日期會顯示在任務列表中。 ### 如何與Google Calendar同步? 請進入“設置”頁面,找到“集成”選項,選擇“Google Calendar”,然後按照提示進行授權和同步。同步後,所有項目任務的截止日期將顯示在您的Google Calendar中。 ### 我可以為任務設置優先級嗎? 是的,您可以在任務詳情頁中設置任務的優先級。點擊“優先級”下拉菜單,選擇“高”、“中”或“低”。設置後的優先級會顯示在任務列表中。 ### 如何更改我的賬戶郵箱地址? 進入“賬戶設置”頁面,在“個人信息”部分中,點擊郵箱地址旁邊的“編輯”按鈕,輸入新郵箱地址並保存。您需要通過新郵箱驗證後才能完成更改。 ### 我忘記了密碼,該怎麼辦? 請在登錄頁面點擊“忘記密碼”鏈接,輸入您的註冊郵箱地址,我們會發送一個重置密碼的鏈接到您的郵箱。通過該鏈接您可以設置一個新密碼。 ### 如何邀請團隊成員加入項目? 在項目頁面中,點擊“邀請成員”按鈕,輸入要邀請的成員郵箱地址,並選擇他們的角色(如管理員、編輯者等)。點擊“發送邀請”後,對方會收到一封邀請郵件。 ### 如何查看我的訂閱計劃? 請前往“賬戶設置”頁面,在“訂閱”部分,您可以查看當前的訂閱計劃、下一個計費日期以及費用明細。 ### 如何升級我的訂閱計劃? 在“賬戶設置”的“訂閱”部分,點擊“升級計劃”按鈕,選擇您想升級的計劃並確認付款。升級會立即生效,並按比例計算費用。 ### 我可以取消訂閱嗎? 是的,您可以隨時取消訂閱。在“賬戶設置”的“訂閱”部分,點擊“取消訂閱”按鈕,並按照提示完成取消操作。取消訂閱後,您仍可以使用付費功能直到當前計費週期結束。 ### 我的任務列表不見了怎麼辦? 請確認是否選擇了正確的項目。您可以在左側欄的項目列表中重新選擇項目。如果問題仍然存在,請嘗試刷新頁面或退出並重新登錄。 ### 為什麼我收不到通知郵件? 請檢查您的通知設置,確認是否開啟了相關的通知選項。如果已開啟但仍未收到,請檢查垃圾郵件文件夾,並將我們的郵件地址添加到您的聯繫人中。 ### 系統提示“操作失敗”,怎麼辦? 這可能是網絡問題導致的,請檢查您的網絡連接並重試。如果問題持續存在,請聯繫客服並提供相關的錯誤信息和截圖。 ### 系統更新後,我的部分數據丟失了,如何恢復? 如果您在系統更新後遇到數據丟失,請立即聯繫客服。我們會幫助您通過系統備份來恢復丟失的數據,但請儘量在問題發生後的24小時內聯繫我們。 ### 如何報告一個軟件漏洞? 如果您發現了一個軟件漏洞,請進入“幫助中心”,點擊“報告問題”,選擇“安全漏洞”,並填寫相關信息。我們的技術團隊會盡快處理。 ### 我的項目無法加載,應該怎麼辦? 請首先檢查您的網絡連接,並嘗試在其他設備上訪問。如果問題仍然存在,請清除瀏覽器緩存或嘗試使用不同的瀏覽器。如果問題未解決,請聯繫客服。
這裡創建一個空白文件,把上面的內容複製進去,然後進行保存,保存的文件名為:客服知識問答語料庫.md。如下圖:

二、添加知識庫
接下來訪問Dify的dashboard,找到上面的知識庫,選擇創建一個知識庫:

選擇導入已有文本(另外兩項nation和web站點稍後講解),把剛才的《客服知識問答語料庫.md》上傳上去

再點擊下一步

這裡的話我們幾乎保持默認即可。但是需要注意下:
1)索引方式
一般我們選擇經濟,因為這是免費的,如果選擇高質量的話,需要使用到openai,需要花錢。所以免費的就是選擇經濟即可。
2)檢索設置
這裡默認是3,後期可以根據實際情況調整
最後點擊保存並處理即可

保存之後就可以在知識庫下面看到剛才添加的預料了

三、使用知識庫
知識庫添加之後我們就要使用到他,所以這裡我們回到剛才創建的聊天機器人點擊進去

在上圖可以看到有上下文,我們選擇添加,把剛才的知識庫給添加進來

添加進來之後,我們可以在右側進行調試和預覽

選擇一個和剛才知識庫接近的話題進行詢問,例如:Google Calendar同步怎麼做?

稍等片刻,我們看看他的回答結果:

可以看到這裡的回答幾乎和客服術語是保持一致的。說明在Dify上添加的知識庫被模型識別使用到了。最後我們發佈這個模型即可:

發佈之後,所有的聊天都會根據當前的知識庫進行匹配引用了。

備註:
1、在特定的行業來說,知識庫的準確度越高,那麼結合AI大模型的引用回答就更好,如果知識庫的內容比較差,那麼AI大模型的引用回答也非常差。
根據上訴文章,大家是不是可以在垂直行業幹業務了?
職場就是一場遊戲,但遊戲不是人生的全部。別太糾結眼前的得失,也別總被焦慮綁住。努力讓自己積累更多底氣吧,未來的你一定會感謝現在的自己。因為那個時候,你會發現,人生的主動權,終於掌握在自己手裡了。
本文我們來演示一下Dify的部署安裝及結合前面的大模型進行交互。
Dify的安裝很簡單。直接使用docker啟動一個即可,所以一定要先確保服務器上有docker環境和docker-compose環境。
docker的安裝可參考:《docker》
docker-compose安裝可參考:《docker-compose安裝》
Dify是一套開源的代碼,所以需要把它的代碼從github上clone到本地:
輸入指令;
git clone https://github.com/langgenius/dify.git
如下圖:

接下來就是啟動Dify了,進入到dify/docker目錄下,可以看到有對應的docker-compose.yml文件

我們執行如下的命令來啟動
#拷貝env文件
cp -r middleware.env.example .env
#執行環境
. .env
#啟動dify
docker-compose up -d

然後等待片刻,dify就能啟動完成了。

啟動完成之後,使用docker ps可以看到有10個docker實例運行起來。

接下來就可以在瀏覽器中訪問Dify了,輸入服務器的ip即可:http://128.0.0.1或者localhost。 端口是默認的80。第一次訪問需要設置管理員賬戶:

設置之後會跳轉到登錄頁面,輸入剛才的管理員信息就可以訪問了:

接下來我們需要繼承qwen3-8b大模型了,首先進入到Dify的dashboard,點擊右上角的頭像,會看到有個設置的按鈕:

點擊設置按鈕,選擇模型供應商,由於我們在這裡添加前面在本地部署的ollama,所以這裡選擇ollama:

這裡填入的信息如下
模型名稱:填寫 qwen3:8b
這裡的模型名稱不能隨便填寫,需要填寫在服務器上運行的名稱,即下圖:

如果寫其他的名稱,那麼配置ollama會提示404找不到,所以這裡一定要注意,填寫的名稱就是運行的模型名稱,字符串必須保持完全一致。
基礎URL: 這裡填寫服務器的ip+11434端口即可,例如:http://192.168.1.129:11434
如果ollama在本地,那就是127.0.0.1或者localhost
注意這裡一定要添加前綴http://ip,同時端口是11434,我們在前面已經把11434端口修改為0.0.0.0/0訪問了。
剩下的信息全部都可以保持默認,我這裡的填寫的示例如下:

最後點擊保存。
接下來就是創建應用的環節,選擇聊天助手,創建一個空白應用

填寫名稱和描述,點擊創建就會進入到聊天助手應用裡面:

然後我們在右上角可以看到剛才添加的qwen3:8b模型:

點擊右上角小窗口上面的發佈按鈕

就可以進入到聊天界面聊天了,示例如下:

是不是很方便。
特別注意下,這裡的響應速度是由服務器的配置決定的,比如我們這裡是8C16G的配置,提問的時候CPU是完全跑滿的,回答也是等待了好大一會。

以上就是我們使用dify集成本地部署的qwen3:8b大模型的案例。後面我們會挨個介紹如何進行本地知識庫集成等案例,讓其更加貼合業務場景。
SEO博客文章生成器(SEO Blog Generator)
用戶評論分析工作流(Customer Review Analysis Workflow)
郵件助手工作流(Email Assistant Workflow)
文本摘要工作流(Text Summarization Workflow)
長故事生成工作流(Long Story Generator)
三步翻譯工作流(Three-Step Translation Workflow)
基於Jina Reader對網站進行摘要(Summarize website with Jina Reader)
網頁內容搜索與摘要工作流程(Web Content Search and Summarization Workflow)
Dify工作流助手(Workflow Planning Assistant)
問題分類器 + 知識 + 聊天機器人(Question Classifier + Knowledge + Chatbot)
知識檢索聊天機器人(Knowledge Retreival + Chatbot)
Email自動回覆工作流(Automated Email Reply)
社區和生態系統:可能包括開發者社區、合作伙伴和生態系統,以促進知識共享和合作。
此內容由慣性聚合(RSS閱讀器)自動聚合整理,僅供閱讀參考。 原文來自 — 版權歸原作者所有。