Google VertexAI 多模態嵌入

實驗性。僅用於實驗目的。尚不相容 VectorStores。

Vertex AI 支援兩種型別的嵌入模型：文字和多模態。本文件介紹如何使用 Vertex AI 多模態嵌入 API 建立多模態嵌入。

多模態嵌入模型根據您提供的輸入生成 1408 維向量，輸入可以包含影像、文字和影片資料的組合。這些嵌入向量隨後可用於後續任務，例如影像分類或影片內容稽核。

影像嵌入向量和文字嵌入向量位於相同的語義空間中，具有相同的維度。因此，這些向量可以互換使用，適用於透過文字搜尋影像或透過影像搜尋影片等用例。

VertexAI 多模態 API 強制實施 以下限制。
對於僅文字的嵌入用例，我們建議使用 Vertex AI 文字嵌入模型 代替。

前提條件

  • 安裝適用於您的作業系統的 gcloud CLI。

  • 執行以下命令進行身份驗證。將 PROJECT_ID 替換為您的 Google Cloud 專案 ID，將 ACCOUNT 替換為您的 Google Cloud 使用者名稱。

gcloud config set project <PROJECT_ID> &&
gcloud auth application-default login <ACCOUNT>

新增倉庫和 BOM

Spring AI artifacts 釋出在 Maven Central 和 Spring Snapshot 倉庫中。請參考倉庫部分將這些倉庫新增到您的構建系統中。

為了幫助進行依賴管理，Spring AI 提供了一個 BOM（物料清單），以確保整個專案中使用一致版本的 Spring AI。請參考依賴管理部分將 Spring AI BOM 新增到您的構建系統中。

自動配置

Spring AI 自動配置、starter 模組的 artifact 名稱發生了重大變化。有關更多資訊，請參閱升級注意事項。

Spring AI 為 VertexAI 嵌入模型提供 Spring Boot 自動配置。要啟用它，請將以下依賴項新增到專案的 Maven pom.xml 檔案中

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-model-vertex-ai-embedding</artifactId>
</dependency>

或新增到您的 Gradle build.gradle 構建檔案中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-starter-model-vertex-ai-embedding'
}
請參考依賴管理部分將 Spring AI BOM 新增到您的構建檔案中。

嵌入屬性

字首 spring.ai.vertex.ai.embedding 用作屬性字首，允許您連線到 VertexAI 嵌入 API。

屬性 描述 預設值

spring.ai.vertex.ai.embedding.project-id

Google Cloud Platform 專案 ID

-

spring.ai.vertex.ai.embedding.location

區域

-

spring.ai.vertex.ai.embedding.apiEndpoint

Vertex AI 嵌入 API 端點。

-

嵌入自動配置的啟用和停用現在透過帶有字首 spring.ai.model.embedding 的頂級屬性進行配置。

要啟用，設定為 spring.ai.model.embedding.multimodal=vertexai（預設啟用）

要停用，設定為 spring.ai.model.embedding.multimodal=none（或任何與 vertexai 不匹配的值）

進行此更改是為了允許配置多個模型。

字首 spring.ai.vertex.ai.embedding.multimodal 是允許您配置 VertexAI 多模態嵌入的模型實現的屬性字首。

屬性 描述 預設值

spring.ai.vertex.ai.embedding.multimodal.enabled（已移除且不再有效）

啟用 Vertex AI 嵌入 API 模型。

true

spring.ai.model.embedding.multimodal=vertexai

啟用 Vertex AI 嵌入 API 模型。

vertexai

spring.ai.vertex.ai.embedding.multimodal.options.model

您可以使用以下模型獲取多模態嵌入

multimodalembedding@001

spring.ai.vertex.ai.embedding.multimodal.options.dimensions

指定較低維度的嵌入。預設情況下，嵌入請求會返回資料型別的 1408 維浮點向量。您還可以為文字和影像資料指定較低維度的嵌入（128、256 或 512 維浮點向量）。

1408

spring.ai.vertex.ai.embedding.multimodal.options.video-start-offset-sec

影片片段的起始偏移量（秒）。如果未指定，則使用 max(0, endOffsetSec - 120) 計算。

-

spring.ai.vertex.ai.embedding.multimodal.options.video-end-offset-sec

影片片段的結束偏移量（秒）。如果未指定，則使用 min(影片長度, startOffSec + 120) 計算。如果同時指定了 startOffSec 和 endOffSec，則 endOffsetSec 將調整為 min(startOffsetSec+120, endOffsetSec)。

-

spring.ai.vertex.ai.embedding.multimodal.options.video-interval-sec

將生成嵌入的影片間隔。interval_sec 的最小值為 4。如果間隔小於 4，將返回 InvalidArgumentError。間隔的最大值沒有限制。然而，如果間隔大於 min(影片長度, 120 秒)，則會影響生成的嵌入質量。預設值：16。

-

手動配置

VertexAiMultimodalEmbeddingModel 實現了 DocumentEmbeddingModel。

將 spring-ai-vertex-ai-embedding 依賴項新增到專案的 Maven pom.xml 檔案中

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-vertex-ai-embedding</artifactId>
</dependency>

或新增到您的 Gradle build.gradle 構建檔案中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-vertex-ai-embedding'
}
請參考依賴管理部分將 Spring AI BOM 新增到您的構建檔案中。

接下來，建立一個 VertexAiMultimodalEmbeddingModel 並使用它來生成嵌入

VertexAiEmbeddingConnectionDetails connectionDetails =
    VertexAiEmbeddingConnectionDetails.builder()
        .projectId(System.getenv(<VERTEX_AI_GEMINI_PROJECT_ID>))
        .location(System.getenv(<VERTEX_AI_GEMINI_LOCATION>))
        .build();

VertexAiMultimodalEmbeddingOptions options = VertexAiMultimodalEmbeddingOptions.builder()
    .model(VertexAiMultimodalEmbeddingOptions.DEFAULT_MODEL_NAME)
    .build();

var embeddingModel = new VertexAiMultimodalEmbeddingModel(this.connectionDetails, this.options);

Media imageMedial = new Media(MimeTypeUtils.IMAGE_PNG, new ClassPathResource("/test.image.png"));
Media videoMedial = new Media(new MimeType("video", "mp4"), new ClassPathResource("/test.video.mp4"));

var document = new Document("Explain what do you see on this video?", List.of(this.imageMedial, this.videoMedial), Map.of());

EmbeddingResponse embeddingResponse = this.embeddingModel
	.embedForResponse(List.of("Hello World", "World is big and salvation is near"));

DocumentEmbeddingRequest embeddingRequest = new DocumentEmbeddingRequest(List.of(this.document),
        EmbeddingOptions.EMPTY);

EmbeddingResponse embeddingResponse = multiModelEmbeddingModel.call(this.embeddingRequest);

assertThat(embeddingResponse.getResults()).hasSize(3);