DeepSeek Chat
Spring AI 支援 DeepSeek 的各種 AI 語言模型。您可以與 DeepSeek 語言模型互動,並基於 DeepSeek 模型建立多語言對話助手。
先決條件
您需要建立 DeepSeek API 金鑰才能訪問 DeepSeek 語言模型。
在DeepSeek 註冊頁面建立帳戶,並在API 金鑰頁面生成令牌。
Spring AI 專案定義了一個名為 spring.ai.deepseek.api-key 的配置屬性,您應該將其設定為從 API 金鑰頁面獲得的 API 金鑰 的值。
您可以在 application.properties 檔案中設定此配置屬性
spring.ai.deepseek.api-key=<your-deepseek-api-key>
為了增強處理 API 金鑰等敏感資訊時的安全性,您可以使用 Spring 表示式語言 (SpEL) 來引用自定義環境變數
# In application.yml
spring:
ai:
deepseek:
api-key: ${DEEPSEEK_API_KEY}
# In your environment or .env file
export DEEPSEEK_API_KEY=<your-deepseek-api-key>
您還可以在應用程式程式碼中以程式設計方式設定此配置
// Retrieve API key from a secure source or environment variable
String apiKey = System.getenv("DEEPSEEK_API_KEY");
自動配置
Spring AI 為 DeepSeek Chat 模型提供 Spring Boot 自動配置。要啟用它,請將以下依賴項新增到您專案的 Maven pom.xml 檔案中
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-starter-model-deepseek</artifactId>
</dependency>
或新增到您的 Gradle build.gradle 檔案中。
dependencies {
implementation 'org.springframework.ai:spring-ai-starter-model-deepseek'
}
| 請參閱 依賴項管理 部分,將 Spring AI BOM 新增到您的構建檔案中。 |
聊天屬性
重試屬性
字首 spring.ai.retry 用作屬性字首,允許您配置 DeepSeek Chat 模型的重試機制。
| 財產 | 描述 | 預設值 |
|---|---|---|
spring.ai.retry.max-attempts |
最大重試次數。 |
10 |
spring.ai.retry.backoff.initial-interval |
指數回退策略的初始休眠持續時間。 |
2 秒。 |
spring.ai.retry.backoff.multiplier |
回退間隔乘數。 |
5 |
spring.ai.retry.backoff.max-interval |
最大回退持續時間。 |
3 分鐘。 |
spring.ai.retry.on-client-errors |
如果為 false,則丟擲 NonTransientAiException,並且不嘗試重試 |
假 |
spring.ai.retry.exclude-on-http-codes |
不應觸發重試的 HTTP 狀態程式碼列表(例如,丟擲 NonTransientAiException)。 |
空 |
spring.ai.retry.on-http-codes |
應觸發重試的 HTTP 狀態程式碼列表(例如,丟擲 TransientAiException)。 |
空 |
連線屬性
字首 spring.ai.deepseek 用作屬性字首,允許您連線到 DeepSeek。
| 財產 | 描述 | 預設值 |
|---|---|---|
spring.ai.deepseek.base-url |
要連線的 URL |
|
spring.ai.deepseek.api-key |
API 金鑰 |
- |
配置屬性
字首 spring.ai.deepseek.chat 是屬性字首,允許您配置 DeepSeek 的聊天模型實現。
| 財產 | 描述 | 預設值 |
|---|---|---|
spring.ai.deepseek.chat.enabled |
啟用 DeepSeek 聊天模型。 |
true |
spring.ai.deepseek.chat.base-url |
可選地覆蓋 spring.ai.deepseek.base-url 以提供特定於聊天的 URL |
|
spring.ai.deepseek.chat.api-key |
可選地覆蓋 spring.ai.deepseek.api-key 以提供特定於聊天的 API 金鑰 |
- |
spring.ai.deepseek.chat.completions-path |
聊天補全端點的路徑 |
|
spring.ai.deepseek.chat.beta-prefix-path |
Beta 功能端點的字首路徑 |
|
spring.ai.deepseek.chat.options.model |
要使用的模型 ID。您可以使用 deepseek-reasoner 或 deepseek-chat。 |
deepseek-chat |
spring.ai.deepseek.chat.options.frequencyPenalty |
介於 -2.0 和 2.0 之間的數字。正值會根據文字中現有頻率懲罰新令牌,從而降低模型重複相同行的可能性。 |
0.0f |
spring.ai.deepseek.chat.options.maxTokens |
在聊天補全中生成的最大令牌數。輸入令牌和生成令牌的總長度受模型上下文長度的限制。 |
- |
spring.ai.deepseek.chat.options.presencePenalty |
介於 -2.0 和 2.0 之間的數字。正值會根據新令牌是否出現在文字中來懲罰新令牌,從而增加模型討論新主題的可能性。 |
0.0f |
spring.ai.deepseek.chat.options.stop |
API 將停止生成更多令牌的最多 4 個序列。 |
- |
spring.ai.deepseek.chat.options.temperature |
要使用的取樣溫度,介於 0 和 2 之間。較高的值(如 0.8)會使輸出更隨機,而較低的值(如 0.2)會使其更集中和確定。我們通常建議更改此項或 top_p,但不要同時更改兩者。 |
1.0F |
spring.ai.deepseek.chat.options.topP |
取樣溫度的替代方法,稱為核取樣,模型考慮具有 top_p 機率質量的令牌的結果。因此 0.1 表示只考慮包含前 10% 機率質量的令牌。我們通常建議更改此項或溫度,但不要同時更改兩者。 |
1.0F |
spring.ai.deepseek.chat.options.logprobs |
是否返回輸出令牌的對數機率。如果為 true,則返回訊息內容中每個輸出令牌的對數機率。 |
- |
spring.ai.deepseek.chat.options.topLogprobs |
一個介於 0 和 20 之間的整數,指定在每個令牌位置返回的最可能令牌的數量,每個令牌都具有關聯的對數機率。如果使用此引數,則必須將 logprobs 設定為 true。 |
- |
spring.ai.deepseek.chat.options.tool-names |
工具列表,透過其名稱標識,用於在單個提示請求中啟用函式呼叫。具有這些名稱的工具必須存在於 ToolCallback 登錄檔中。 |
- |
spring.ai.deepseek.chat.options.tool-callbacks |
要註冊到 ChatModel 的工具回撥。 |
- |
spring.ai.deepseek.chat.options.internal-tool-execution-enabled |
如果為 false,Spring AI 將不會在內部處理工具呼叫,而是將其代理到客戶端。然後,客戶端負責處理工具呼叫,將其分派到適當的函式,並返回結果。如果為 true(預設),Spring AI 將在內部處理函式呼叫。僅適用於支援函式呼叫的聊天模型 |
true |
您可以為 ChatModel 實現覆蓋通用的 spring.ai.deepseek.base-url 和 spring.ai.deepseek.api-key。如果設定了 spring.ai.deepseek.chat.base-url 和 spring.ai.deepseek.chat.api-key 屬性,它們將優先於通用屬性。如果您想為不同的模型和不同的模型端點使用不同的 DeepSeek 帳戶,這會很有用。 |
所有帶有 spring.ai.deepseek.chat.options 字首的屬性都可以在執行時透過向 Prompt 呼叫新增請求特定的執行時選項來覆蓋。 |
執行時選項
DeepSeekChatOptions.java 提供模型配置,例如要使用的模型、溫度、頻率懲罰等。
在啟動時,可以使用 DeepSeekChatModel(api, options) 建構函式或 spring.ai.deepseek.chat.options.* 屬性配置預設選項。
在執行時,您可以透過向 Prompt 呼叫新增新的、請求特定的選項來覆蓋預設選項。例如,要為特定請求覆蓋預設模型和溫度
ChatResponse response = chatModel.call(
new Prompt(
"Generate the names of 5 famous pirates. Please provide the JSON response without any code block markers such as ```json```.",
DeepSeekChatOptions.builder()
.withModel(DeepSeekApi.ChatModel.DEEPSEEK_CHAT.getValue())
.withTemperature(0.8f)
.build()
));
| 除了模型特定的DeepSeekChatOptions之外,您還可以使用可移植的ChatOptions例項,該例項透過ChatOptions#builder()建立。 |
示例控制器(自動配置)
建立一個新的 Spring Boot 專案,並將 spring-ai-starter-model-deepseek 新增到您的 pom(或 gradle)依賴項中。
在 src/main/resources 目錄下新增一個 application.properties 檔案,以啟用和配置 DeepSeek Chat 模型
spring.ai.deepseek.api-key=YOUR_API_KEY
spring.ai.deepseek.chat.options.model=deepseek-chat
spring.ai.deepseek.chat.options.temperature=0.8
將 api-key 替換為您的 DeepSeek 憑據。 |
這將建立一個 DeepSeekChatModel 實現,您可以將其注入到您的類中。這是一個使用聊天模型進行文字生成的簡單 @Controller 類的示例。
@RestController
public class ChatController {
private final DeepSeekChatModel chatModel;
@Autowired
public ChatController(DeepSeekChatModel chatModel) {
this.chatModel = chatModel;
}
@GetMapping("/ai/generate")
public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
return Map.of("generation", chatModel.call(message));
}
@GetMapping("/ai/generateStream")
public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
var prompt = new Prompt(new UserMessage(message));
return chatModel.stream(prompt);
}
}
聊天字首補全
聊天字首補全遵循聊天補全 API,使用者提供助手的訊息字首,模型將補全訊息的其餘部分。
使用字首補全時,使用者必須確保訊息列表中的最後一條訊息是 DeepSeekAssistantMessage。
下面是聊天字首補全的完整 Java 程式碼示例。在此示例中,我們將助手的訊息字首設定為“```python\n”以強制模型輸出 Python 程式碼,並將停止引數設定為 ['`'] 以防止模型提供額外解釋。
@RestController
public class CodeGenerateController {
private final DeepSeekChatModel chatModel;
@Autowired
public ChatController(DeepSeekChatModel chatModel) {
this.chatModel = chatModel;
}
@GetMapping("/ai/generatePythonCode")
public String generate(@RequestParam(value = "message", defaultValue = "Please write quick sort code") String message) {
UserMessage userMessage = new UserMessage(message);
Message assistantMessage = DeepSeekAssistantMessage.prefixAssistantMessage("```python\\n");
Prompt prompt = new Prompt(List.of(userMessage, assistantMessage), ChatOptions.builder().stopSequences(List.of("```")).build());
ChatResponse response = chatModel.call(prompt);
return response.getResult().getOutput().getText();
}
}
推理模型 (deepseek-reasoner)
deepseek-reasoner 是 DeepSeek 開發的推理模型。在給出最終答案之前,模型首先生成思維鏈 (CoT) 以提高其響應的準確性。我們的 API 為使用者提供了訪問 deepseek-reasoner 生成的 CoT 內容的許可權,使他們能夠檢視、顯示和提取它。
您可以使用 DeepSeekAssistantMessage 獲取 deepseek-reasoner 生成的 CoT 內容。
public void deepSeekReasonerExample() {
DeepSeekChatOptions promptOptions = DeepSeekChatOptions.builder()
.model(DeepSeekApi.ChatModel.DEEPSEEK_REASONER.getValue())
.build();
Prompt prompt = new Prompt("9.11 and 9.8, which is greater?", promptOptions);
ChatResponse response = chatModel.call(prompt);
// Get the CoT content generated by deepseek-reasoner, only available when using deepseek-reasoner model
DeepSeekAssistantMessage deepSeekAssistantMessage = (DeepSeekAssistantMessage) response.getResult().getOutput();
String reasoningContent = deepSeekAssistantMessage.getReasoningContent();
String text = deepSeekAssistantMessage.getText();
}
推理模型多輪對話
在對話的每一輪中,模型輸出 CoT (reasoning_content) 和最終答案 (content)。在下一輪對話中,前幾輪的 CoT 不會連線到上下文中,如下圖所示
請注意,如果輸入訊息序列中包含 reasoning_content 欄位,API 將返回 400 錯誤。因此,在發出 API 請求之前,您應該從 API 響應中刪除 reasoning_content 欄位,如 API 示例所示。
public String deepSeekReasonerMultiRoundExample() {
List<Message> messages = new ArrayList<>();
messages.add(new UserMessage("9.11 and 9.8, which is greater?"));
DeepSeekChatOptions promptOptions = DeepSeekChatOptions.builder()
.model(DeepSeekApi.ChatModel.DEEPSEEK_REASONER.getValue())
.build();
Prompt prompt = new Prompt(messages, promptOptions);
ChatResponse response = chatModel.call(prompt);
DeepSeekAssistantMessage deepSeekAssistantMessage = (DeepSeekAssistantMessage) response.getResult().getOutput();
String reasoningContent = deepSeekAssistantMessage.getReasoningContent();
String text = deepSeekAssistantMessage.getText();
messages.add(AssistantMessage.builder().content(Objects.requireNonNull(text)).build());
messages.add(new UserMessage("How many Rs are there in the word 'strawberry'?"));
Prompt prompt2 = new Prompt(messages, promptOptions);
ChatResponse response2 = chatModel.call(prompt2);
DeepSeekAssistantMessage deepSeekAssistantMessage2 = (DeepSeekAssistantMessage) response2.getResult().getOutput();
String reasoningContent2 = deepSeekAssistantMessage2.getReasoningContent();
return deepSeekAssistantMessage2.getText();
}
手動配置
DeepSeekChatModel 實現了 ChatModel 和 StreamingChatModel,並使用低階 DeepSeekApi 客戶端連線到 DeepSeek 服務。
將 spring-ai-deepseek 依賴項新增到您專案的 Maven pom.xml 檔案中
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-deepseek</artifactId>
</dependency>
或新增到您的 Gradle build.gradle 檔案中。
dependencies {
implementation 'org.springframework.ai:spring-ai-deepseek'
}
| 請參閱 依賴項管理 部分,將 Spring AI BOM 新增到您的構建檔案中。 |
接下來,建立一個 DeepSeekChatModel 並將其用於文字生成
DeepSeekApi deepSeekApi = DeepSeekApi.builder()
.apiKey(System.getenv("DEEPSEEK_API_KEY"))
.build();
DeepSeekChatOptions options = DeepSeekChatOptions.builder()
.model(DeepSeekApi.ChatModel.DEEPSEEK_CHAT.getValue())
.temperature(0.4)
.maxTokens(200)
.build();
DeepSeekChatModel chatModel = DeepSeekChatModel.builder()
.deepSeekApi(deepSeekApi)
.defaultOptions(options)
.build();
ChatResponse response = chatModel.call(
new Prompt("Generate the names of 5 famous pirates."));
// Or with streaming responses
Flux<ChatResponse> streamResponse = chatModel.stream(
new Prompt("Generate the names of 5 famous pirates."));
DeepSeekChatOptions 提供聊天請求的配置資訊。DeepSeekChatOptions.Builder 是一個流式選項構建器。
低階 DeepSeekApi 客戶端
DeepSeekApi 是 DeepSeek API 的輕量級 Java 客戶端。
這裡有一個簡單的程式碼片段,展示瞭如何以程式設計方式使用 API
DeepSeekApi deepSeekApi =
new DeepSeekApi(System.getenv("DEEPSEEK_API_KEY"));
ChatCompletionMessage chatCompletionMessage =
new ChatCompletionMessage("Hello world", Role.USER);
// Sync request
ResponseEntity<ChatCompletion> response = deepSeekApi.chatCompletionEntity(
new ChatCompletionRequest(List.of(chatCompletionMessage), DeepSeekApi.ChatModel.DEEPSEEK_CHAT.getValue(), 0.7, false));
// Streaming request
Flux<ChatCompletionChunk> streamResponse = deepSeekApi.chatCompletionStream(
new ChatCompletionRequest(List.of(chatCompletionMessage), DeepSeekApi.ChatModel.DEEPSEEK_CHAT.getValue(), 0.7, true));
請參閱 DeepSeekApi.java 的 JavaDoc 以獲取更多資訊。
DeepSeekApi 示例
-
DeepSeekApiIT.java 測試提供了一些關於如何使用輕量級庫的通用示例。