Groq 對話

Groq 是一個基於 LPU™ 的極速 AI 推理引擎，支援多種 AI 模型，支援 工具/函式呼叫，並暴露一個與 OpenAI API 相容的端點。

Spring AI 透過複用現有的 OpenAI 客戶端來整合 Groq。為此，你需要獲取一個 Groq API 金鑰，將 base-url 設定為 api.groq.com/openai 並選擇一個提供的 Groq 模型。

spring ai groq integration
Groq API 與 OpenAI API 並非完全相容。請注意以下 相容性限制。此外，目前 Groq 不支援多模態訊息。

檢視 GroqWithOpenAiChatModelIT.java 測試用例，瞭解如何在 Spring AI 中使用 Groq。

前提條件

  • 建立 API 金鑰。請訪問 這裡 建立 API 金鑰。Spring AI 專案定義了一個名為 spring.ai.openai.api-key 的配置屬性，你應該將其設定為從 groq.com 獲取的 API 金鑰 的值。

  • 設定 Groq URL。你必須將 spring.ai.openai.base-url 屬性設定為 api.groq.com/openai。

  • 選擇一個 Groq 模型。使用 spring.ai.openai.chat.options.model=<model name> 屬性來設定模型。

匯出環境變數是設定該配置屬性的一種方式

export SPRING_AI_OPENAI_API_KEY=<INSERT GROQ API KEY HERE>
export SPRING_AI_OPENAI_BASE_URL=https://api.groq.com/openai
export SPRING_AI_OPENAI_CHAT_MODEL=llama3-70b-8192

新增倉庫和 BOM

Spring AI 工件釋出在 Maven Central 和 Spring Snapshot 倉庫中。請參考 倉庫 部分將這些倉庫新增到你的構建系統中。

為了便於依賴管理，Spring AI 提供了一個 BOM（物料清單），以確保在整個專案中使用一致版本的 Spring AI。請參考 依賴管理 部分將 Spring AI BOM 新增到你的構建系統中。

自動配置

Spring AI 自動配置、Starter 模組的工件名稱發生了重大變化。詳情請參考 升級說明 獲取更多資訊。

Spring AI 為 OpenAI 對話客戶端提供了 Spring Boot 自動配置。要啟用它，請將以下依賴項新增到你的專案的 Maven pom.xml 或 Gradle build.gradle 構建檔案

  • Maven

  • Gradle

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>
dependencies {
    implementation 'org.springframework.ai:spring-ai-starter-model-openai'
}
請參考 依賴管理 部分將 Spring AI BOM 新增到你的構建檔案中。

對話屬性

重試屬性

字首 spring.ai.retry 用作屬性字首，讓你配置 OpenAI 對話模型的重試機制。

屬性 描述 預設值

spring.ai.retry.max-attempts

最大重試次數。

10

spring.ai.retry.backoff.initial-interval

指數退避策略的初始休眠時長。

2 秒。

spring.ai.retry.backoff.multiplier

退避間隔乘數。

5

spring.ai.retry.backoff.max-interval

最大退避時長。

3 分鐘。

spring.ai.retry.on-client-errors

如果為 false，則丟擲 NonTransientAiException，並且不對 4xx 客戶端錯誤碼進行重試

false

spring.ai.retry.exclude-on-http-codes

不應觸發重試的 HTTP 狀態碼列表（例如，用於丟擲 NonTransientAiException）。

空

spring.ai.retry.on-http-codes

應觸發重試的 HTTP 狀態碼列表（例如，用於丟擲 TransientAiException）。

空

連線屬性

字首 spring.ai.openai 用作屬性字首，讓你連線到 OpenAI。

屬性 描述 預設值

spring.ai.openai.base-url

連線的 URL。必須設定為 api.groq.com/openai

-

spring.ai.openai.api-key

Groq API 金鑰

-

配置屬性

對話自動配置的啟用和停用現在透過字首為 spring.ai.model.chat 的頂級屬性進行配置。

要啟用，設定 spring.ai.model.chat=openai（預設啟用）

要停用，設定 spring.ai.model.chat=none（或任何與 openai 不匹配的值）

進行此更改是為了允許配置多個模型。

字首 spring.ai.openai.chat 是屬性字首，讓你配置 OpenAI 的對話模型實現。

屬性 描述 預設值

spring.ai.openai.chat.enabled （已移除且不再有效）

啟用 OpenAI 對話模型。

true

spring.ai.openai.chat

啟用 OpenAI 對話模型。

openai

spring.ai.openai.chat.base-url

可選，覆蓋 spring.ai.openai.base-url 以提供對話特定的 URL。必須設定為 api.groq.com/openai

-

spring.ai.openai.chat.api-key

可選，覆蓋 spring.ai.openai.api-key 以提供對話特定的 API 金鑰

-

spring.ai.openai.chat.options.model

可用的模型 名稱是 llama3-8b-8192、llama3-70b-8192、mixtral-8x7b-32768、gemma2-9b-it。

-

spring.ai.openai.chat.options.temperature

用於控制生成完成文字的表觀創造力的取樣溫度。較高的值會使輸出更隨機，而較低的值會使結果更集中和確定。不建議在同一完成請求中同時修改 temperature 和 top_p，因為這兩個設定的相互作用難以預測。

0.8

spring.ai.openai.chat.options.frequencyPenalty

介於 -2.0 和 2.0 之間的數字。正值根據新 token 在文字中的現有頻率進行懲罰，降低模型逐字重複同一行的可能性。

0.0f

spring.ai.openai.chat.options.maxTokens

在對話完成中生成的最大 token 數。輸入 token 和生成 token 的總長度受限於模型的上下文長度。

-

spring.ai.openai.chat.options.n

為每個輸入訊息生成多少個對話完成選項。請注意，你將根據所有選項生成的 token 總數計費。將 n 保持為 1 以最小化成本。

1

spring.ai.openai.chat.options.presencePenalty

介於 -2.0 和 2.0 之間的數字。正值根據新 token 是否出現在文字中進行懲罰，增加模型討論新話題的可能性。

-

spring.ai.openai.chat.options.responseFormat

指定模型必須輸出的格式的物件。設定為 { "type": "json_object" } 啟用 JSON 模式，保證模型生成的訊息是有效的 JSON。

-

spring.ai.openai.chat.options.seed

此功能處於 Beta 階段。如果指定，我們的系統將盡最大努力進行確定性取樣，以便具有相同 seed 和引數的重複請求應返回相同的結果。

-

spring.ai.openai.chat.options.stop

最多 4 個序列，API 在遇到這些序列時將停止生成更多 token。

-

spring.ai.openai.chat.options.topP

一種替代溫度取樣的核取樣方法，模型在此方法中考慮累積機率達到 top_p 的 token 的結果。因此，0.1 意味著只考慮累積機率達到前 10% 的 token。我們通常建議修改此設定或溫度，但不要同時修改兩者。

-

spring.ai.openai.chat.options.tools

模型可能呼叫的工具列表。目前，只支援函式作為工具。使用此選項提供模型可能為其生成 JSON 輸入的函式列表。

-

spring.ai.openai.chat.options.toolChoice

控制模型呼叫哪個（如果呼叫）函式。none 意味著模型不會呼叫函式，而是生成一條訊息。auto 意味著模型可以在生成訊息或呼叫函式之間選擇。透過 {"type: "function", "function": {"name": "my_function"}} 指定特定函式會強制模型呼叫該函式。當沒有函式存在時，none 是預設值。當函式存在時，auto 是預設值。

-

spring.ai.openai.chat.options.user

代表你的終端使用者的唯一識別符號，可以幫助 OpenAI 監控和檢測濫用行為。

-

spring.ai.openai.chat.options.functions

要在單個 prompt 請求中啟用函式呼叫的函式列表，透過其名稱標識。具有這些名稱的函式必須存在於 functionCallbacks 登錄檔中。

-

spring.ai.openai.chat.options.stream-usage

（僅用於流式傳輸）設定此項以新增一個額外的 chunk，其中包含整個請求的 token 使用統計資訊。此 chunk 的 choices 欄位為空陣列，所有其他 chunk 也將包含一個 usage 欄位，但其值為 null。

false

spring.ai.openai.chat.options.proxy-tool-calls

如果為 true，Spring AI 不會內部處理函式呼叫，而是將它們代理到客戶端。然後由客戶端負責處理函式呼叫，將其分派給相應的函式，並返回結果。如果為 false（預設值），Spring AI 將在內部處理函式呼叫。僅適用於支援函式呼叫的對話模型。

false
所有帶有字首 spring.ai.openai.chat.options 的屬性可以在執行時透過向 Prompt 呼叫中新增請求特定的 執行時選項 來覆蓋。

執行時選項

OpenAiChatOptions.java 提供了模型配置，例如要使用的模型、溫度、頻率懲罰等。

啟動時，預設選項可以透過 OpenAiChatModel(api, options) 建構函式或 spring.ai.openai.chat.options.* 屬性進行配置。

在執行時，你可以透過向 Prompt 呼叫中新增新的、請求特定的選項來覆蓋預設選項。例如，為特定請求覆蓋預設模型和溫度

ChatResponse response = chatModel.call(
    new Prompt(
        "Generate the names of 5 famous pirates.",
        OpenAiChatOptions.builder()
            .model("mixtral-8x7b-32768")
            .temperature(0.4)
        .build()
    ));
除了模型特定的 OpenAiChatOptions，你還可以使用一個可移植的 ChatOptions 例項，透過 ChatOptions#builder() 建立。

函式呼叫

Groq API 端點支援 工具/函式呼叫，前提是選擇支援工具/函式的模型。

檢視工具 支援的模型。
spring ai groq functions 2

你可以在 ChatModel 中註冊自定義 Java 函式，讓提供的 Groq 模型智慧地選擇輸出一個包含呼叫一個或多個已註冊函式所需引數的 JSON 物件。這是一種將 LLM 能力與外部工具和 API 連線的強大技術。

工具示例

以下是使用 Spring AI 實現 Groq 函式呼叫的一個簡單示例

@SpringBootApplication
public class GroqApplication {

    public static void main(String[] args) {
        SpringApplication.run(GroqApplication.class, args);
    }

    @Bean
    CommandLineRunner runner(ChatClient.Builder chatClientBuilder) {
        return args -> {
            var chatClient = chatClientBuilder.build();

            var response = chatClient.prompt()
                .user("What is the weather in Amsterdam and Paris?")
                .functions("weatherFunction") // reference by bean name.
                .call()
                .content();

            System.out.println(response);
        };
    }

    @Bean
    @Description("Get the weather in location")
    public Function<WeatherRequest, WeatherResponse> weatherFunction() {
        return new MockWeatherService();
    }

    public static class MockWeatherService implements Function<WeatherRequest, WeatherResponse> {

        public record WeatherRequest(String location, String unit) {}
        public record WeatherResponse(double temp, String unit) {}

        @Override
        public WeatherResponse apply(WeatherRequest request) {
            double temperature = request.location().contains("Amsterdam") ? 20 : 25;
            return new WeatherResponse(temperature, request.unit);
        }
    }
}

在此示例中，當模型需要天氣資訊時，它將自動呼叫 weatherFunction bean，該 bean 可以獲取即時天氣資料。預期的響應如下：“阿姆斯特丹目前氣溫 20 攝氏度，巴黎目前氣溫 25 攝氏度。”

閱讀更多關於 OpenAI 函式呼叫。

多模態

目前 Groq API 不支援媒體內容。

示例控制器

建立 一個新的 Spring Boot 專案，並將 spring-ai-starter-model-openai 新增到你的 pom（或 gradle）依賴項中。

在 src/main/resources 目錄下，新增一個 application.properties 檔案，用於啟用和配置 OpenAi 對話模型

spring.ai.openai.api-key=<GROQ_API_KEY>
spring.ai.openai.base-url=https://api.groq.com/openai
spring.ai.openai.chat.options.model=llama3-70b-8192
spring.ai.openai.chat.options.temperature=0.7
將 api-key 替換為你的 OpenAI 憑據。

這將建立一個 OpenAiChatModel 實現，你可以將其注入到你的類中。以下是一個使用對話模型進行文字生成的簡單 @Controller 類示例。

@RestController
public class ChatController {

    private final OpenAiChatModel chatModel;

    @Autowired
    public ChatController(OpenAiChatModel chatModel) {
        this.chatModel = chatModel;
    }

    @GetMapping("/ai/generate")
    public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        return Map.of("generation", this.chatModel.call(message));
    }

    @GetMapping("/ai/generateStream")
	public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        Prompt prompt = new Prompt(new UserMessage(message));
        return this.chatModel.stream(prompt);
    }
}

手動配置

OpenAiChatModel 實現了 ChatModel 和 StreamingChatModel，並使用 [低階 API] 連線到 OpenAI 服務。

將 spring-ai-openai 依賴項新增到你的專案的 Maven pom.xml 檔案

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-openai</artifactId>
</dependency>

或新增到你的 Gradle build.gradle 構建檔案。

dependencies {
    implementation 'org.springframework.ai:spring-ai-openai'
}
請參考 依賴管理 部分將 Spring AI BOM 新增到你的構建檔案中。

接下來，建立一個 OpenAiChatModel 並使用它進行文字生成

var openAiApi = new OpenAiApi("https://api.groq.com/openai", System.getenv("GROQ_API_KEY"));
var openAiChatOptions = OpenAiChatOptions.builder()
            .model("llama3-70b-8192")
            .temperature(0.4)
            .maxTokens(200)
        .build();
var chatModel = new OpenAiChatModel(this.openAiApi, this.openAiChatOptions);


ChatResponse response = this.chatModel.call(
    new Prompt("Generate the names of 5 famous pirates."));

// Or with streaming responses
Flux<ChatResponse> response = this.chatModel.stream(
    new Prompt("Generate the names of 5 famous pirates."));

OpenAiChatOptions 提供對話請求的配置資訊。OpenAiChatOptions.Builder 是一個流暢的選項構建器。