DeepSeek Chat

DeepSeek AI 提供開源的 DeepSeek V3 模型，該模型以其尖端的推理和問題解決能力而聞名。

Spring AI 透過複用現有的 OpenAI 客戶端與 DeepSeek AI 整合。要開始使用，您需要獲取一個 DeepSeek API 金鑰，配置基本 URL，並選擇一個支援的模型。

spring ai deepseek integration
當前版本的 deepseek-chat 模型的函式呼叫功能不穩定，可能導致迴圈呼叫或空響應。

檢視 DeepSeekWithOpenAiChatModelIT.java 測試，獲取使用 DeepSeek 與 Spring AI 的示例。

先決條件

  • 建立 API 金鑰: 訪問此處建立 API 金鑰。在您的 Spring AI 專案中使用 spring.ai.openai.api-key 屬性進行配置。

  • 設定 DeepSeek 基本 URL: 將 spring.ai.openai.base-url 屬性設定為 api.deepseek.com。

  • 選擇 DeepSeek 模型: 使用 spring.ai.openai.chat.options.model=<model name> 屬性指定模型。請參考支援的模型以獲取可用選項。

環境變數配置示例

export SPRING_AI_OPENAI_API_KEY=<INSERT DEEPSEEK API KEY HERE>
export SPRING_AI_OPENAI_BASE_URL=https://api.deepseek.com
export SPRING_AI_OPENAI_CHAT_MODEL=deepseek-chat

新增倉庫和 BOM

Spring AI 的構建產物釋出在 Maven Central 和 Spring Snapshot 倉庫中。請參閱倉庫章節將這些倉庫新增到您的構建系統中。

為了幫助進行依賴管理，Spring AI 提供了一個 BOM (材料清單)，以確保在整個專案中使用的 Spring AI 版本保持一致。請參閱依賴管理章節將 Spring AI BOM 新增到您的構建系統中。

自動配置

Spring AI 自動配置、starter 模組的 artifact 名稱發生了重大變化。請參考升級說明以獲取更多資訊。

Spring AI 為 OpenAI 聊天客戶端提供了 Spring Boot 自動配置。要啟用它，請將以下依賴新增到您專案的 Maven pom.xml 或 Gradle build.gradle 構建檔案中

  • Maven

  • Gradle

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>
dependencies {
    implementation 'org.springframework.ai:spring-ai-starter-model-openai'
}
請參閱依賴管理章節將 Spring AI BOM 新增到您的構建檔案中。

聊天屬性

重試屬性

字首 spring.ai.retry 用作屬性字首，允許您配置 OpenAI 聊天模型的重試機制。

屬性 描述 預設值

spring.ai.retry.max-attempts

最大重試次數。

10

spring.ai.retry.backoff.initial-interval

指數退避策略的初始休眠時長。

2 秒。

spring.ai.retry.backoff.multiplier

退避間隔乘數。

5

spring.ai.retry.backoff.max-interval

最大退避時長。

3 分鐘。

spring.ai.retry.on-client-errors

如果為 false，則丟擲 NonTransientAiException，並且不對 4xx 客戶端錯誤程式碼嘗試重試。

false

spring.ai.retry.exclude-on-http-codes

不應觸發重試的 HTTP 狀態碼列表（例如，丟擲 NonTransientAiException）。

空

spring.ai.retry.on-http-codes

應觸發重試的 HTTP 狀態碼列表（例如，丟擲 TransientAiException）。

空

連線屬性

字首 spring.ai.openai 用作屬性字首，允許您連線到 OpenAI。

屬性 描述 預設值

spring.ai.openai.base-url

要連線的 URL。必須設定為 api.deepseek.com

-

spring.ai.openai.api-key

您的 DeepSeek API 金鑰

-

配置屬性

聊天自動配置的啟用和停用現在透過以 spring.ai.model.chat 為字首的頂級屬性進行配置。

要啟用，請設定 spring.ai.model.chat=openai (預設已啟用)

要停用，請設定 spring.ai.model.chat=none (或任何與 openai 不匹配的值)

此更改是為了允許配置多個模型。

字首 spring.ai.openai.chat 是屬性字首，允許您配置 OpenAI 的聊天模型實現。

屬性 描述 預設值

spring.ai.openai.chat.enabled (已移除，不再有效)

啟用 OpenAI 聊天模型。

true

spring.ai.model.chat

啟用 OpenAI 聊天模型。

openai

spring.ai.openai.chat.base-url

可選，覆蓋 spring.ai.openai.base-url 以提供聊天特定的 URL。必須設定為 api.deepseek.com

-

spring.ai.openai.chat.api-key

可選，覆蓋 spring.ai.openai.api-key 以提供聊天特定的 API 金鑰

-

spring.ai.openai.chat.options.model

要使用的 DeepSeek LLM 模型

-

spring.ai.openai.chat.options.temperature

用於控制生成補全內容的明顯創造性的取樣溫度。值越高，輸出越隨機；值越低，結果越集中和確定。不建議在同一個補全請求中同時修改 temperature 和 top_p，因為這兩個設定的互動作用難以預測。

0.8

spring.ai.openai.chat.options.frequencyPenalty

介於 -2.0 和 2.0 之間的數字。正值根據新 token 在當前文字中的現有頻率對其進行懲罰，降低模型逐字重複同一行的可能性。

0.0f

spring.ai.openai.chat.options.maxTokens

在聊天補全中生成的最大 token 數量。輸入 token 和生成 token 的總長度受模型上下文長度的限制。

-

spring.ai.openai.chat.options.n

為每個輸入訊息生成多少個聊天補全選項。請注意，您將根據所有選項中生成的 token 總數進行收費。將 n 設定為 1 以最小化成本。

1

spring.ai.openai.chat.options.presencePenalty

介於 -2.0 和 2.0 之間的數字。正值根據新 token 是否出現在當前文字中對其進行懲罰，增加模型討論新主題的可能性。

-

spring.ai.openai.chat.options.responseFormat

一個物件，指定模型必須輸出的格式。設定為 { "type": "json_object" } 可啟用 JSON 模式，保證模型生成的訊息是有效的 JSON。

-

spring.ai.openai.chat.options.seed

此功能處於 Beta 階段。如果指定，我們的系統將盡最大努力進行確定性取樣，以便具有相同 seed 和引數的重複請求應返回相同的結果。

-

spring.ai.openai.chat.options.stop

最多 4 個序列，API 將在此處停止生成更多 token。

-

spring.ai.openai.chat.options.topP

取樣溫度的一種替代方法，稱為核取樣 (nucleus sampling)，模型會考慮具有 top_p 機率質量的 token 的結果。因此，0.1 表示僅考慮構成前 10% 機率質量的 token。我們通常建議修改此項或 temperature，但不要同時修改兩者。

-

spring.ai.openai.chat.options.tools

模型可以呼叫的工具列表。目前，僅支援將函式作為工具。使用此項提供模型可以為其生成 JSON 輸入的函式列表。

-

spring.ai.openai.chat.options.toolChoice

控制模型呼叫哪個（如果存在）函式。 none 表示模型不會呼叫函式，而是生成訊息。 auto 表示模型可以在生成訊息或呼叫函式之間進行選擇。透過 {"type: "function", "function": {"name": "my_function"}} 指定特定函式會強制模型呼叫該函式。如果不存在函式，預設值為 none。如果存在函式，預設值為 auto。

-

spring.ai.openai.chat.options.user

代表您的終端使用者的唯一識別符號，可以幫助 OpenAI 監控和檢測濫用行為。

-

spring.ai.openai.chat.options.functions

函式列表，按名稱標識，用於在單個 prompt 請求中啟用函式呼叫。具有這些名稱的函式必須存在於 functionCallbacks 登錄檔中。

-

spring.ai.openai.chat.options.stream-usage

（僅限流式傳輸）設定此項可新增一個額外的 chunk，其中包含整個請求的 token 用量統計資訊。此 chunk 的 choices 欄位是一個空陣列，所有其他 chunk 也將包含一個 usage 欄位，但值為 null。

false

spring.ai.openai.chat.options.proxy-tool-calls

如果為 true，Spring AI 不會內部處理函式呼叫，而是將其代理到客戶端。然後，由客戶端負責處理函式呼叫，將其分派到適當的函式，並返回結果。如果為 false（預設值），Spring AI 將內部處理函式呼叫。僅適用於支援函式呼叫的聊天模型。

false
所有以 spring.ai.openai.chat.options 為字首的屬性都可以在執行時透過向 Prompt 呼叫新增請求特定的執行時選項來覆蓋。

執行時選項

OpenAiChatOptions.java 提供了模型配置，例如要使用的模型、溫度、頻率懲罰等。

在啟動時，可以使用 OpenAiChatModel(api, options) 建構函式或 spring.ai.openai.chat.options.* 屬性配置預設選項。

在執行時，您可以透過向 Prompt 呼叫新增新的、針對請求的選項來覆蓋預設選項。例如，覆蓋特定請求的預設模型和溫度

ChatResponse response = chatModel.call(
    new Prompt(
        "Generate the names of 5 famous pirates.",
        OpenAiChatOptions.builder()
            .model("deepseek-chat")
            .temperature(0.4)
        .build()
    ));
除了特定於模型的 OpenAiChatOptions 之外，您還可以使用一個可移植的 ChatOptions 例項，該例項使用 ChatOptions#builder() 建立。

函式呼叫

當前版本的 deepseek-chat 模型的函式呼叫功能不穩定，可能導致迴圈呼叫或空響應。

多模態

目前，DeepSeek API 不支援媒體內容。

示例 Controller

建立一個新的 Spring Boot 專案，並將 spring-ai-starter-model-openai 新增到您的 pom（或 gradle）依賴中。

在 src/main/resources 目錄下新增一個 application.properties 檔案，以啟用和配置 OpenAi 聊天模型

spring.ai.openai.api-key=<DEEPSEEK_API_KEY>
spring.ai.openai.base-url=https://api.deepseek.com
spring.ai.openai.chat.options.model=deepseek-chat
spring.ai.openai.chat.options.temperature=0.7

# The DeepSeek API doesn't support embeddings, so we need to disable it.
spring.ai.openai.embedding.enabled=false
將 api-key 替換為您的 DeepSeek API 金鑰。

這將建立一個 OpenAiChatModel 實現，您可以將其注入到您的類中。這是一個使用聊天模型生成文字的簡單 @Controller 類示例。

@RestController
public class ChatController {

    private final OpenAiChatModel chatModel;

    @Autowired
    public ChatController(OpenAiChatModel chatModel) {
        this.chatModel = chatModel;
    }

    @GetMapping("/ai/generate")
    public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        return Map.of("generation", this.chatModel.call(message));
    }

    @GetMapping("/ai/generateStream")
    public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        Prompt prompt = new Prompt(new UserMessage(message));
        return this.chatModel.stream(prompt);
    }
}

參考資料