Google VertexAI 多模態嵌入

實驗性。僅用於實驗目的。尚不相容 VectorStores。

Vertex AI 支援兩種型別的嵌入模型：文字和多模態。本文件描述瞭如何使用 Vertex AI 多模態嵌入 API 建立多模態嵌入。

多模態嵌入模型根據您提供的輸入（可以包括影像、文字和影片資料的組合）生成 1408 維向量。嵌入向量隨後可用於影像分類或影片內容稽核等任務。

影像嵌入向量和文字嵌入向量位於相同的語義空間中，具有相同的維度。因此，這些向量可以互換使用，用於透過文字搜尋影像或透過影像搜尋影片等用例。

VertexAI 多模態 API 施加了以下限制。
對於純文字嵌入用例，我們建議改用 Vertex AI 文字嵌入模型。

先決條件

  • 安裝適用於您作業系統的 gcloud CLI。

  • 透過執行以下命令進行身份驗證。將 PROJECT_ID 替換為您的 Google Cloud 專案 ID，將 ACCOUNT 替換為您的 Google Cloud 使用者名稱。

gcloud config set project <PROJECT_ID> &&
gcloud auth application-default login <ACCOUNT>

新增儲存庫和 BOM

Spring AI 工件釋出在 Maven Central 和 Spring Snapshot 儲存庫中。請參閱 工件儲存庫 部分，將這些儲存庫新增到您的構建系統。

為了幫助管理依賴項，Spring AI 提供了一個 BOM（物料清單），以確保在整個專案中使用的 Spring AI 版本一致。請參閱 依賴項管理 部分，將 Spring AI BOM 新增到您的構建系統。

自動配置

Spring AI 自動配置、啟動模組的工件名稱發生了重大變化。請參閱 升級說明 以獲取更多資訊。

Spring AI 為 VertexAI 嵌入模型提供了 Spring Boot 自動配置。要啟用它，請將以下依賴項新增到您的專案的 Maven pom.xml 檔案中

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-model-vertex-ai-embedding</artifactId>
</dependency>

或新增到您的 Gradle build.gradle 構建檔案中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-starter-model-vertex-ai-embedding'
}
請參閱 依賴項管理 部分，將 Spring AI BOM 新增到您的構建檔案中。

嵌入屬性

字首 spring.ai.vertex.ai.embedding 用作屬性字首，可讓您連線到 VertexAI 嵌入 API。

財產 描述 預設值

spring.ai.vertex.ai.embedding.project-id

Google Cloud Platform 專案 ID

-

spring.ai.vertex.ai.embedding.location

區域

-

spring.ai.vertex.ai.embedding.apiEndpoint

Vertex AI 嵌入 API 端點。

-

嵌入自動配置的啟用和停用現在透過字首為 spring.ai.model.embedding 的頂級屬性進行配置。

要啟用，spring.ai.model.embedding.multimodal=vertexai（預設啟用）

要停用，spring.ai.model.embedding.multimodal=none（或任何不匹配 vertexai 的值）

此更改是為了允許配置多個模型。

字首 spring.ai.vertex.ai.embedding.multimodal 是屬性字首，可讓您配置 VertexAI 多模態嵌入的嵌入模型實現。

財產 描述 預設值

spring.ai.vertex.ai.embedding.multimodal.enabled（已移除且不再有效）

啟用 Vertex AI 嵌入 API 模型。

true

spring.ai.model.embedding.multimodal=vertexai

啟用 Vertex AI 嵌入 API 模型。

vertexai

spring.ai.vertex.ai.embedding.multimodal.options.model

您可以使用以下模型獲取多模態嵌入

multimodalembedding@001

spring.ai.vertex.ai.embedding.multimodal.options.dimensions

指定低維嵌入。預設情況下，嵌入請求會為資料型別返回一個 1408 浮點向量。您還可以為文字和影像資料指定低維嵌入（128、256 或 512 浮點向量）。

1408

spring.ai.vertex.ai.embedding.multimodal.options.video-start-offset-sec

影片片段的起始偏移量（秒）。如果未指定，則透過 max(0, endOffsetSec - 120) 計算。

-

spring.ai.vertex.ai.embedding.multimodal.options.video-end-offset-sec

影片片段的結束偏移量（秒）。如果未指定，則透過 min(影片長度, startOffSec + 120) 計算。如果同時指定了 startOffSec 和 endOffSec，則 endOffsetSec 會調整為 min(startOffsetSec+120, endOffsetSec)。

-

spring.ai.vertex.ai.embedding.multimodal.options.video-interval-sec

將生成嵌入的影片間隔。interval_sec 的最小值為 4。如果間隔小於 4，則返回 InvalidArgumentError。對間隔的最大值沒有限制。但是，如果間隔大於 min(影片長度, 120秒)，則會影響生成的嵌入的質量。預設值：16。

-

手動配置

VertexAiMultimodalEmbeddingModel 實現了 DocumentEmbeddingModel。

將 spring-ai-vertex-ai-embedding 依賴項新增到您的專案的 Maven pom.xml 檔案中

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-vertex-ai-embedding</artifactId>
</dependency>

或新增到您的 Gradle build.gradle 構建檔案中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-vertex-ai-embedding'
}
請參閱 依賴項管理 部分，將 Spring AI BOM 新增到您的構建檔案中。

接下來，建立一個 VertexAiMultimodalEmbeddingModel 並將其用於嵌入生成

VertexAiEmbeddingConnectionDetails connectionDetails =
    VertexAiEmbeddingConnectionDetails.builder()
        .projectId(System.getenv(<VERTEX_AI_GEMINI_PROJECT_ID>))
        .location(System.getenv(<VERTEX_AI_GEMINI_LOCATION>))
        .build();

VertexAiMultimodalEmbeddingOptions options = VertexAiMultimodalEmbeddingOptions.builder()
    .model(VertexAiMultimodalEmbeddingOptions.DEFAULT_MODEL_NAME)
    .build();

var embeddingModel = new VertexAiMultimodalEmbeddingModel(this.connectionDetails, this.options);

Media imageMedial = new Media(MimeTypeUtils.IMAGE_PNG, new ClassPathResource("/test.image.png"));
Media videoMedial = new Media(new MimeType("video", "mp4"), new ClassPathResource("/test.video.mp4"));

var document = new Document("Explain what do you see on this video?", List.of(this.imageMedial, this.videoMedial), Map.of());

EmbeddingResponse embeddingResponse = this.embeddingModel
	.embedForResponse(List.of("Hello World", "World is big and salvation is near"));

DocumentEmbeddingRequest embeddingRequest = new DocumentEmbeddingRequest(List.of(this.document),
        EmbeddingOptions.EMPTY);

EmbeddingResponse embeddingResponse = multiModelEmbeddingModel.call(this.embeddingRequest);

assertThat(embeddingResponse.getResults()).hasSize(3);
© . This site is unofficial and not affiliated with VMware.