AWS 重塑 AI 基礎設施：S3 Vectors 如何改變向量搜尋遊戲規則

Published:
  Lastmod: 2025-07-30
隨手記 > AI
by Ernest Chiang

Post Title Image (圖說：將世界重新使用向量拆解與整合，我們也許得以重新認識新的世界。圖片來源：Photo by James Wainscoat on Unsplash)

✳️ tl;dr 給技術管理者

  • Amazon S3 Vectors 將原生向量搜尋功能直接整合進 S3 物件儲存，目標是簡化架構並降低成本。1
  • 對於 RAG、語意搜尋等 AI 應用，官方宣稱最高可節省 90% 的向量儲存與查詢成本。
  • 這意味著我們不再需要為某些 AI 場景維護一個獨立、昂貴的向量資料庫，大幅降低了維護營運複雜度 (TCO)。2
  • S3 Vectors 提供 subsecond 級查詢效能，適用於對延遲要求非即時 (non-real-time) 的大規模應用。3
  • 核心優勢：實現了向量資料的「存算分離 (Storage and Compute Separation)」，將長期儲存的成本效益發揮到極致。4
  • 透過與 Amazon OpenSearch 的整合，可建立「冷熱」資料分層策略，兼顧成本與高效能查詢需求。5
  • 可與 Amazon Bedrock Knowledge Bases 的無縫整合，讓建立和擴展 RAG 應用的過程變得前所未有的簡單。6
  • S3 Vectors 的出現，可能迫使現有向量資料庫廠商 (如 Pinecone) 重新思考其市場定位與定價策略。
  • 對於技術團隊，現在需要重新評估現有的 AI 技術堆疊，判斷哪些工作負載可以遷移到 S3 Vectors 以實現成本優化。
  • 該功能引入了新的 Vector Bucket，讓向量管理像管理一般 S3 物件一樣簡單。
  • 推測：未來 S3 Vectors 可能會進一步增強其查詢能力，例如支援混合搜尋，以適應更複雜的場景。

✳️ tl;dr 給工程師與開發者

  • Amazon S3 現在原生支援向量儲存與搜尋，新功能 S3 Vectors。1
  • 可以直接在 S3 建立 Vector Bucket 和 Vector Index，然後用 API 存入和查詢 embeddings。
  • 對於許多 RAG 應用，可以省去部署和管理一個獨立 Vector DB 的步驟。7
  • API 支援 k-NN 相似性搜尋，並提供 subsecond 級的回應時間，同時支援 Cosine、Euclidean 等距離度量。
  • 開發亮點：查詢時可以使用 metadata filter，例如 (category = 'ernest-pkm' AND year > 2023)，非常實用。3
  • 與 Amazon Bedrock Knowledge Bases 無縫整合，設定好 S3 data source 後，Bedrock 會自動幫你處理 embedding 和同步。6
  • 如果你的應用需要更低的延遲或更複雜的搜尋 (如 hybrid search) ，可以將熱向量匯出到 Amazon OpenSearch Service。5
  • 對於已經在使用 AWS 的開發者，學習曲線很低，基本上就是多學幾個 S3 API call。
  • 整個服務是 Serverless 的，意味著你不用煩惱 scaling、provisioning 和 aRPU 這些東西，專心處理客戶應用場景。
  • 可以更經濟地為你的 AI Agent 建立一個巨大的長期記憶庫，所有互動紀錄或知識，都能被向量化並儲存在 S3。
  • 對於儲存在 S3 Data Lake 4 中的海量文件或圖片，現在可以直接就地建立索引並進行語意搜尋，無需 ETL 到另一個系統。（Well… 如果你的海量檔案現在還沒放在 S3… 那就呼叫幾個 API calls 吧 XD）

✳️ tl;dr 給行銷人與產品人

  • 想像一下，你公司所有的文件、客服對話、產品圖片、甚至影片，都能用自然語言進行語意搜尋。Amazon S3 Vectors 正在讓這件事變得更便宜、更簡單。1
  • 過去，只有資源雄厚的公司才能負擔得起建立大規模向量搜尋系統。現在，AWS 將這項能力直接內建到 S3，大幅降低了技術門檻和成本。
  • 應用場景：媒體公司可以快速在 PB 級的影片庫中找到相關片段；醫療機構可以在數百萬張醫學影像中識別相似病例。
  • 對於電商，可以用它來建立更精準的語意搜尋引擎，理解用戶「想要」什麼，而不僅僅是他們「輸入」了什麼。
  • 商業價值：這不僅僅是技術升級，更是释放企業內部「非結構化資料」價值的一把鑰匙。4
  • S3 Vectors 讓 RAG (檢索增強生成) 技術變得更加普及，這意味著你的聊天機器人或 AI 客服可以提供相對準確、相對有根據的回答。6
  • 市場趨勢：向量搜尋正在從一個利基技術，轉變為雲端儲存的基礎設施的一部分。
  • 這項創新將加速 AI 在各行各業的落地，因為它解決了最基礎的「資料準備」和「知識儲存」的成本問題。
  • 對產品經理來說，這意味著在規劃 AI 功能時，可以更大膽地構思需要海量知識庫的應用。（將 S3 當作萬能鑰匙，電影 Matrix 裡面的 keymaker。）
  • S3 Vectors 與 Amazon Bedrock Knowledge Bases 的整合，提供了一個一站式的知識庫解決方案。6
  • 推測：未來將會出現更多基於 S3 Vectors 的第三方 SaaS 應用，專注於特定行業的知識管理和語意搜尋。此推測基於 AWS 生態系中 ISV 的發展模式。2
  • 企業現在應該思考：我有哪些沉睡的資料可以被「向量化」，從而創造新的商業價值？先不要顧慮資料格式，你覺得是「資料」就試著先用用看，先從小資料起手。

✳️ 知識圖譜

(更多關於知識圖譜…)

graph LR
    subgraph "Core AI Use Cases"
        RAG["Retrieval-Augmented Generation (RAG)"]
        SemanticSearch["Semantic Search"]
        AIAgentMemory["AI Agent Long-term Memory"]
    end

    subgraph "Vector Data Foundation"
        UnstructuredData["Unstructured Data 
 (text, images, videos)"]
        VectorEmbeddings["Vector Embeddings"]
        SimilaritySearch["Similarity Search 
 (k-NN)"]
        MetadataFiltering["Metadata Filtering"]
    end
    
    subgraph "AWS S3 Vectors Innovation"
        S3["Amazon S3"]
        S3Vectors["Amazon S3 Vectors"]
        VectorBucket["Vector Bucket"]
        VectorIndex["Vector Index"]
        SubSecondQuery["Sub-second Query Performance"]
    end

    subgraph "AWS Ecosystem Integration"
        Bedrock["Amazon Bedrock 
 Knowledge Bases"]
        OpenSearch["Amazon OpenSearch
 Service"]
        SageMaker["Amazon SageMaker"]
        
        HotColdTiering["Hot-Cold Data Tiering"]
        AutoEmbedding["Automated 
 Embedding & Sync"]
    end

    subgraph "Business Benefits"
        CostSaving["90% Cost Reduction 
 vs Traditional Vector DB"]
        ArchitectureSimplification["Simplified Architecture 
 (No separate Vector DB)"]
        ServerlessModel["Serverless Architecture 
 (No Infrastructure Management)"]
        StorageComputeSeparation["Storage-Compute Separation"]
    end

    %% Data Flow
    UnstructuredData --> VectorEmbeddings
    VectorEmbeddings --> SimilaritySearch
    SimilaritySearch --> MetadataFiltering
    
    %% S3 Vectors Core
    S3 --> S3Vectors
    S3Vectors --> VectorBucket
    VectorBucket --> VectorIndex
    VectorIndex --> SubSecondQuery
    VectorEmbeddings --> VectorIndex
    
    %% AI Applications
    RAG --> SimilaritySearch
    SemanticSearch --> SimilaritySearch
    AIAgentMemory --> SimilaritySearch
    
    %% AWS Integration
    S3Vectors --> Bedrock
    S3Vectors --> OpenSearch
    S3Vectors --> SageMaker
    
    Bedrock --> AutoEmbedding
    OpenSearch --> HotColdTiering
    
    %% Benefits Flow
    S3Vectors --> CostSaving
    S3Vectors --> ArchitectureSimplification
    S3Vectors --> ServerlessModel
    S3Vectors --> StorageComputeSeparation
    
    %% Concept Classes (Orange) - Abstract concepts that can have different implementations
    classDef conceptClass fill:#FF8000,stroke:#333,stroke-width:2px,color:#000
    class RAG,SemanticSearch,AIAgentMemory,VectorEmbeddings,SimilaritySearch,MetadataFiltering,HotColdTiering,AutoEmbedding,StorageComputeSeparation conceptClass
    
    %% Instances (Blue) - Concrete implementations or products
    classDef instanceClass fill:#0080FF,stroke:#333,stroke-width:2px,color:#fff
    class S3,S3Vectors,VectorBucket,VectorIndex,Bedrock,OpenSearch,SageMaker,UnstructuredData,SubSecondQuery,CostSaving,ArchitectureSimplification,ServerlessModel instanceClass

✳️ Bottomline

  • 延遲要求：
    • < 50ms 查詢 → 傳統向量資料庫；
    • 100-500ms 可接受 → S3 Vectors
  • 資料規模：
    • 百萬級向量以下 → 專用資料庫更有效率；
    • 千萬億級以上 → S3 Vectors 成本優勢明顯
  • 查詢複雜度：
    • 需要混合搜尋、複雜過濾 → 傳統方案；
    • 簡單 k-NN 相似性搜尋 → S3 Vectors 適合
  • 建議從小規模、非關鍵場景開始測試 S3 Vectors
  • 制定明確的效能基準和成本目標，定期評估
  • 準備 rollback 計劃，確保業務連續性

✳️ 延伸閱讀

  1. Introducing Amazon S3 Vectors - AWS News Blog ↩︎ ↩︎ ↩︎

  2. Amazon S3 Vectors Just Killed the Vector Database Market - Medium ↩︎ ↩︎

  3. AWS Introduces Vector Capabilities on Amazon S3 - InfoQ ↩︎ ↩︎

  4. AWS adds vector buckets to S3 to cut RAG storage costs - Blocks & Files ↩︎ ↩︎ ↩︎

  5. Optimizing vector search using Amazon S3 Vectors and Amazon OpenSearch Service - AWS Big Data Blog ↩︎ ↩︎

  6. Building cost-effective RAG applications with Amazon Bedrock Knowledge Bases and Amazon S3 Vectors - AWS Machine Learning Blog ↩︎ ↩︎ ↩︎ ↩︎

  7. Announcing Amazon S3 Vectors (Preview) - AWS What’s New ↩︎