(圖說：AWS re:Invent 2025 Keynote with CEO Matt Garman。圖片來源：AWS。)
AWS 執行長 Matt Garman 在第 14 屆年度 re:Invent 向超過 60,000 名現場與會者及近 200 萬名線上觀眾發表演講，闡述 AWS 已成長為 1,320 億美元的事業，年增率達 20%。在「Freedom to Invent」的主題下，Garman 闡述五個相互關聯的領域：AI 基礎設施（Trainium3 GA、Trainium4 預覽版、P6e-GB300、AI Factories）、模型與智慧（Nova 2 系列含 Lite/Pro/Sonic/Omni、Nova Forge 開放訓練模型）、大規模 Agents（AgentCore Policy 與 Evaluations）、開發者轉型（AWS Transform Custom、Kiro IDE、三個前沿 agents），以及 25 項核心服務的快速發表，涵蓋運算、Lambda、儲存、EMR、安全性與資料庫。
✳️ tl;dr 重點摘要
一個主題「Freedom to Invent」貫穿全場，分為五大段落：
- AI 基礎設施：AWS 領先 GPU 可靠性，推出 P6e-GB300 與 Nvidia 合作，宣布 Trainium3 GA（AWS Cloud 中首款 3 奈米 AI 晶片），預覽 Trainium4（6 倍 FP4 運算效能），並推出 AWS AI Factories 提供專屬的地端 AI 基礎設施。
- 模型與智慧：Amazon Bedrock 突破 100K 客戶，超過 50 個客戶各自處理超過 1 兆 tokens；新增來自 Mistral、Google、MiniMax、Nvidia 的開放權重模型；Nova 2 系列（Lite、Pro、Sonic、Omni）以最佳化成本提供前沿等級的智慧；Nova Forge 推出開放訓練模型，可建立客製化的 Novellas。
- 大規模 Agents：Amazon Bedrock AgentCore 新增 Policy（基於 Cedar 的確定性控制）和 Evaluations（持續品質檢測，含 13 個預建評估器）；來自 Sony、Adobe 和 Writer 的講者展示企業採用案例。
- 開發者轉型：AWS Transform Custom 支援任何程式碼現代化；Kiro 成為 Amazon 官方 AI IDE；推出三個前沿 agents（frontier agents）：Kiro autonomous agent、AWS Security Agent、AWS DevOps Agent。
- 25 項核心服務發表：快速發表包括新 EC2 執行個體系列（X、C8a、C8ine、M8azn、Mac）、Lambda durable functions、S3 最大物件大小 50TB、S3 Vectors GA、EMR serverless storage、GuardDuty for ECS、Security Hub GA、RDS 256TB 容量，以及資料庫儲蓄方案。
內容大綱
✳️ Structure 演講結構
CEO Matt Garman 這場 2 小時的主題演講乍看之下內容龐大，但實際上圍繞著一個主題和五大段落來組織。演講以開場與結尾串接，中間穿插新創影片和客座執行長現身貫穿全場。
一個主題「Freedom to Invent」貫穿全場，分為五大段落：
- AI 基礎設施
- 模型與智慧
- 大規模 Agents
- 開發者轉型
- 25 項核心服務發表
邏輯脈絡從基礎到應用、從基礎設施到開發者體驗。「AI 基礎設施」建立運算基礎；「模型與智慧」在其上建構推理層；「大規模 Agents」建立自主式系統的平台；「開發者轉型」重塑軟體建構方式；「25 項核心服務發表」展示 AWS 全面創新的廣度。Garman 在整場主題演講中以「Why not?」作為反覆出現的母題，在每個段落轉換時挑戰既有假設：為什麼不支援所有現代化、為什麼不建立客製化前沿模型、為什麼不讓 agents 自主運作數天。
客座講者包括 John Kodera（Sony CDO）討論 kando 與企業 AI 轉型、Shantanu Narayen（Adobe CEO）談創意 AI 工作流程，以及 May Habib（Writer CEO）談企業級 agent 平台。AudioShake、Lila 和 Gradial 的新創影片在各階段展示真實世界的應用案例。
✳️ Highlights 精華摘要
AI 基礎設施
- GPU 可靠性
- AWS 是運行 Nvidia GPU 的最佳場所，擁有超過 15 年的合作經驗
- 業界領先的 GPU 叢集穩定性，透過深入工程細節如除錯 BIOS 以防止 GPU 重新開機
- 對每一個節點故障進行根本原因調查
- P6e-GB300
- 由 Nvidia GB300 NVL72 系統驅動的全新 EC2 執行個體
- 延續硬體與軟體的全端方案，搭配營運嚴謹度
- OpenAI 使用數十萬顆晶片的叢集在 AWS 上運行 ChatGPT 並訓練次世代模型
- Trainium2 動能
- 迄今已部署超過 100 萬顆 Trainium 晶片
- Amazon Bedrock 推論的大部分流量運行在 Trainium 上，包括所有 Claude 流量
- 在 AWS 資料中心的擴展速度比其他任何 AI 晶片快 4 倍
- 目前已是數十億美元規模的事業
- Trainium3 GA
- AWS Cloud 中首款 3 奈米 AI 晶片，現已正式可用
- 相比 Trainium2，提供 4.4 倍運算效能、3.9 倍記憶體頻寬、每兆瓦 5 倍 AI tokens
- 最大的 UltraServers 結合 144 顆 Trainium3 晶片，提供 362 FP8 petaflops
- 單一運算執行個體中超過 700 terabytes/秒的聚合頻寬
- Trainium4 預覽版
- 相比 Trainium3，提供 6 倍 FP4 運算效能、4 倍記憶體頻寬、2 倍高頻寬記憶體容量
- 設計用來支援全球最大規模的模型
- AWS AI Factories
- 部署在客戶自有資料中心的專屬 AI 基礎設施
- 運作方式如同私有 AWS 區域，提供專屬使用
- 可存取 UltraServers、Nvidia GPU、SageMaker 和 Bedrock
- 滿足嚴格的合規性與主權要求
模型與智慧
- Bedrock 動能
- 超過 100,000 家公司使用 Bedrock 進行 AI 推論
- 超過 50 個客戶各自處理超過 1 兆 tokens
- 過去一年可用模型數量近乎翻倍
- 新開放權重模型
- Google Gemma、MiniMax M2、Nvidia Nemotron
- Mistral Large（參數量 5 倍、上下文視窗 2 倍，相比 Large 2）
- Ministral 3（三個模型，適用於邊緣裝置、單一 GPU 及本地運算）
- Nova 2 系列
- Nova 2 Lite：具成本效益的推理模型，在基準測試中與 Claude Haiku 4.5、GPT-5 mini、Gemini Flash 2.5 相當
- Nova 2 Pro：最具智慧的推理模型，在指令遵循和自主式工具使用上優於 GPT 5.1、Gemini 3 Pro、Claude 4.5 Sonnet
- Nova 2 Sonic：次世代語音對語音模型，改善延遲並擴大語言支援
- Nova 2 Omni：業界首款支援文字、圖像、影片、音訊輸入，並可輸出文字和圖像生成的推理模型
- Nova Forge
- 推出開放訓練模型的概念
- 獨家存取每個階段的 Nova 訓練檢查點
- 在預訓練期間將專有資料與 Amazon 精選訓練資料集混合
- 產出的模型稱為「Novellas」，可在 Bedrock 中如同其他模型一樣運行
- Reddit 達成了單靠微調無法實現的準確度與成本效率目標
大規模 Agents
- AgentCore 平台
- 全面且模組化的自主式平台，具備 serverless runtime、memory、gateway、identity、observability
- 開放且模組化：支援 CrewAI、LlamaIndex、LangChain、Strands 及任何模型
- 透過拖放或數行程式碼即可在一分鐘內部署 agents
- SDK 自推出以來已被下載超過 200 萬次
- AgentCore Policy
- 為 agent 與企業工具及資料的互動提供即時確定性控制
- 以自然語言定義策略，轉換為 Cedar 授權語言
- 在 AgentCore Gateway 以毫秒級速度評估，位於 agents 與所有工具/資料之間
- 策略執行位於 agent 應用程式碼之外，提供可預測的控制
- AgentCore Evaluations
- 基於真實世界行為持續檢測 agent 品質
- 13 個預建評估器，涵蓋正確性、有用性、有害性等面向
- 可使用偏好的提示詞和模型進行自訂評分
- 結果顯示在 CloudWatch 中，與 Observability 洞察並列
- 企業採用案例
- Nasdaq：AgentCore 讓他們免於建構 agent 基礎設施
- Bristol-Myers Squibb：在不到一小時內評估超過 10,000 種化合物（之前需 4-6 週）
- Workday：減少 30% 的例行規劃分析，每月節省 100 小時
開發者轉型
- AWS Transform Custom
- 為任何程式碼、API、框架、執行環境或語言建立客製化程式碼轉換 agents
- 甚至支援個別公司專用的專有語言
- 範例：Angular 轉 React、VBA 轉 Python、Bash 轉 Rust
- QAD 將現代化工程從 2 週縮短至 3 天以內
- Kiro IDE
- 採用規格驅動開發的自主式開發環境，用於結構化 AI 程式設計
- 自預覽版發布以來已有數十萬名開發者使用
- Amazon 將 Kiro 標準化為官方內部 AI 開發環境
- 案例分析：原本需要 30 位開發者 18 個月的專案，由 6 人在 76 天內完成
- 符合資格的新創公司可免費使用一年 Kiro（最多 100 個席位）
- 三個前沿 Agents（Frontier Agents）
- Kiro autonomous agent
- 在工作流程旁運行，轉變團隊建構軟體的方式
- 自主處理功能開發、錯誤分類、程式碼覆蓋率改善
- 連接 Jira、GitHub、Slack，並隨時間學習團隊模式
- 可擴展至平行任務，跨 session 維持狀態
- AWS Security Agent
- 主動審查設計文件並掃描程式碼中的弱點
- 與 GitHub pull requests 整合，直接向開發者提供回饋
- 隨需進行的滲透測試取代緩慢且昂貴的人工流程
- 多個 Security Agents 可跨應用程式平行運行
- AWS DevOps Agent
- 解決並主動預防事件
- 從可觀測性解決方案、runbooks、程式碼儲存庫、CI/CD pipelines 學習
- 跨多雲和混合環境關聯遙測資料
- 內建與 Dynatrace 及其他可觀測性工具的整合
- 推薦 CI/CD 護欄以防止重複發生的事件
- Kiro autonomous agent
25 項核心服務發表
- 運算
- 次世代 X 系列大記憶體執行個體（Intel Xeon 6，最多增加 50% 記憶體）
- AMD EPYC 記憶體執行個體（3TB 記憶體）
- C8a 執行個體（AMD EPYC，效能提升 30%）
- C8ine 執行個體（Intel Xeon 6 + Nitro v6，每 vCPU 封包效能提升 2.5 倍）
- M8azn 執行個體（雲端中最快的 CPU 時脈頻率）
- EC2 M3 Ultra Mac 和 M4 Max Mac 執行個體
- Lambda
- Lambda durable functions：管理狀態、建構長時間運行的工作負載，具備錯誤處理與自動恢復
- 儲存
- S3 最大物件大小增加 10 倍至 50 terabytes
- S3 批次操作速度提升 10 倍
- S3 Tables 的 Intelligent-Tiering（最多節省 80% 儲存成本）
- 跨區域 S3 Tables 複寫
- S3 access points 擴展至 FSx for NetApp ONTAP
- S3 Vectors GA（每個 bucket 可存放數兆向量，成本降低 90%）
- OpenSearch 向量索引的 GPU 加速（速度提升 10 倍，成本降至 1/4）
- EMR
- EMR Serverless：消除佈建本地儲存的需求
- 安全性
- GuardDuty 延伸威脅偵測至 ECS（無額外費用）
- Security Hub GA，具備近即時風險分析、趨勢儀表板及新定價
- 統一的 CloudWatch 資料存放區，整合營運、安全性與合規日誌
- 資料庫
- RDS for SQL Server 和 Oracle：儲存從 64TB 增加至 256TB，IOPS 提升 4 倍
- SQL Server vCPU 控制，優化授權成本
- SQL Server Developer Edition 支援（無授權費用）
- 資料庫儲蓄方案（最多節省 35%）
✳️ Watch the Video 觀看影片
內容來自 AWS re:Invent 2025。完整場次：AWS re:Invent 2025 - Keynote with CEO Matt Garman。
✳️ Knowledge Graph 知識圖譜
(更多關於 Knowledge Graph…)
Overview 總覽
From Infrastructure to Agents 從基礎設施到 Agents
25 Core Service Launches 25 項核心服務發表
✳️ Transcripts 逐字稿
1️⃣ AI Infrastructure AI 基礎設施
開場與 AWS 成長
- （明亮活力的音樂）（群眾歡呼）（車輛呼嘯）（明亮活力的音樂漸強）— [旁白] 請歡迎（觀眾鼓掌和歡呼）AWS 執行長 Matt Garman。
- — 歡迎各位來到第 14 屆年度 re:Invent。
- 能在這裡真是太棒了。
- 現場有超過 60,000 人與我們同在，還有將近 200 萬人在線上觀看，包括你們之中一些從《Fortnite》加入我們的朋友。
- 這是我們第一次在那裡直播主題演講。
- 歡迎所有人。
- 感謝各位的加入。
- 走在拉斯維加斯的會場走廊間，能感受到的那股能量真是不可思議，這也與我最近幾個月和你們交談時所感受到的相當一致。
- 這是不可思議的一年。
- AWS 已成長為 1,320 億美元的事業，年增率達 20%。
- 我想稍微把這放在脈絡中看。
- 我們光是去年一年的成長金額就約 220 億美元，過去 12 個月的絕對成長金額超過了《財星》500 強中超過一半企業的年營收，而且這個成長來自整個事業體的各個面向。
- S3 持續成長，客戶儲存超過 500 兆個物件、數百 exabytes 的資料，每天平均每秒處理超過 2 億次請求。
- 連續第三年，AWS Cloud 新增的 CPU 容量中超過一半來自 Graviton。
- 我們有數百萬客戶使用我們的資料庫服務，而 Amazon Bedrock 現在為全球超過 100,000 家公司提供 AI 推論服務。
- 今年，我們為你們提供了首批在企業規模安全地部署和營運高能力 agents 的基礎構件，也就是 Bedrock AgentCore，而且我們看到 AgentCore 有著非常強勁的動能。
- 事實上，自推出僅僅幾個月，AgentCore SDK 就已被下載超過 200 萬次。
- 我們還宣布了 Ocelot，我們的第一個量子運算晶片原型。
- Ocelot 是讓量子運算成為現實的一個突破，將實施量子糾錯的成本降低了超過 90%。
- 現在，所有這一切都始於安全、可用且具韌性的全球規模基礎設施，這在任何地方都是無與倫比的。
- AWS 擁有全球最大、最廣泛部署的 AI 雲端基礎設施。
- 我們的全球資料中心網路橫跨 38 個區域、120 個可用區域，而且我們已經宣布了再增加三個區域的計劃。
- 事實上，光是過去一年，我們就增加了 3.8 gigawatts 的資料中心容量，比世界上任何人都多。
- 我們擁有全球最大的私有網路，在過去 12 個月中增長了 50%，現在超過 900 萬公里的陸地和海底光纜。
- 這足夠從地球到月球來回超過 11 次的光纜長度。
- 但在 Amazon，一切從客戶開始。
- 所以我想先感謝你們所有人。
- 今天，我們有數百萬客戶在運行各種你能想像的使用案例，全球最大的企業橫跨每一個產業和垂直領域都在我們上面運行他們的業務。
- 你們已經改變了像金融服務、醫療保健、媒體娛樂、電信，甚至全球各地的政府機構等產業。
- 而且你們都知道，在 AWS，安全是第一優先。
- 對我們來說，一切都建立在這個基礎之上。
- 這就是為什麼美國情報界在十多年來選擇 AWS 作為他們首選雲端的原因。
- 這就是為什麼像 Nasdaq 這樣的公司已經將他們的交易市場遷移到 AWS，以及 Pfizer 選擇 AWS 作為其數位轉型核心的原因。
- 從一開始，我們就知道合作夥伴對我們的客戶成功有多重要。
- 這就是為什麼我們很自豪擁有如此龐大的合作夥伴網路。
- 他們當中許多人這週都在這裡與我們一起。
- 感謝我們所有的合作夥伴，SaaS 供應商、系統整合商和解決方案供應商，服務我們全球龐大的客戶群。
- 沒有你們，我們做不到。
- 雖然我個人感謝我們所有的客戶，但我要告訴你們，我對我們的新創客戶有著特別的感情。
- 在 AWS 上建立的獨角獸新創公司比其他任何地方都多，而且差距相當大。
- 感謝你們所有人，那些創新者。
- 現在比以往任何時候都多的新創公司，特別是 AI 新創公司，都蜂擁而至 AWS。
- 《Forbes》2025 年 AI 50 中有 85%，CNBC Disruptor 50 中也有 85% 都在 AWS 上運行。
- 這令人驚嘆，我個人對這些創辦人的發明感到佩服，而且我想你們今天可能也想聽聽他們當中一些人的分享。
AudioShake 展示
- 讓我們來聽聽第一位，AudioShake，他們是去年 re:Invent Unicorn Tank 創業競賽的冠軍。
- [Jessica] 讓我們想像一座雨林。
- 或者一個遊樂場。
- 或者不，更好的是，三個在街角的音樂家。
- 好的，如果我們能把音樂單獨分離出來呢？
- 現在，路過的汽車。
- （砂礫嘎吱聲）或者只是背景中人們之間的對話。
- （人們隱約的聊天聲）- [路人] 等等，我們的車在哪裡？
- 在 AudioShake，我們分離聲音，讓人類和機器能以各種新方式存取它、理解它、解讀它。
- 我們的多講者分離器，是世界上第一個能將講者高解析度分離成不同串流的技術。
- 所以它可以在像客服中心這樣的環境中分離個別的聲音。
- 我們也廣泛應用在媒體和娛樂領域。
- 但如果我們想想聽力和語言障礙，聲音分離技術能做很多事來提供幫助。
- 我們和一些在 ALS（漸凍人症）領域工作的非營利組織合作，他們使用患者的舊錄音，分離出聲音，然後就可以克隆出來，讓患者在聲音開始退化之前用自己原本的聲音說話。
- 我們最初創業時，是一個三人團隊。
- 擁有能實際將我們模型交到真實客戶手中的基礎設施，這是沒有 AWS 我們無法做到的事。
- 我們在 AWS 上運行我們整個生產流水線，包括從推論、儲存到工作排程和所有生產環境。
- 我們正邁向一個聲音應該比今天更加可客製化的世界。
- 最終，聲音分離應該能幫助有聽力障礙的人以他們想要的方式聆聽，同時也深入幫助機器理解真實世界。
- （觀眾鼓掌）- 非常酷。
- 感謝 AudioShake 團隊的分享。
開發者致謝與創造的自由
- 現在，我們在 AWS 所做的一切都離不開建構者，特別是開發者。
- AWS 一直對開發者充滿熱情，而這個研討會是，而且坦白說一直都是，一個學習型研討會。
- 它有點不同，而且是獻給你們所有人的。
- 感謝每一位開發者，以及全球數百萬的 AWS 開發者。
- 特別要向我們的 AWS Heroes 致意。
- 我看到你們了。
- 非常感謝。
- 太棒了。
- （觀眾歡呼和鼓掌）也要感謝我們在全球 129 個國家擁有超過百萬成員的使用者社群。
AI Agent 願景
- （觀眾歡呼和鼓掌）那麼我們為什麼做這些？
- 什麼在驅動我們？
- 為什麼我們今天和 20 年前首次推出 AWS 時一樣充滿熱情？
- 每天驅動我們的是給你們所有人創造的自由。
- 這從我們開始 AWS 的最初就是我們的動力。
- 我們想讓每一個在宿舍或車庫裡的開發者或發明家都能存取技術基礎設施和能力，這樣他們就能建構任何他們能想像的東西。
- 20 年前，開發者或建構者根本不可能在不投入大量資金和時間的情況下取得他們需要的伺服器或運算能力。
- 開發者花了太多時間在採購伺服器、管理基礎設施，而沒有足夠的時間在建構上。
- 我們在 Amazon 內部其實也感受到了這一點。
- 我們有一整間公司的建構者，他們有著令人驚嘆的想法，知道如何讓客戶的生活變得更好，但他們無法以他們想要的速度前進。
- 所以我們問自己，為什麼不呢？
- 為什麼開發者不能專注在建構而非基礎設施上？
- 為什麼我們不能把實驗的時間和成本降到零？
- 為什麼不讓每一個想法都成為可能？
- 我們已經花了過去二十年朝著這些目標創新。
- 給你們所有人持續創造的自由，就是我們今天在這裡的原因。
- 而現在，我們正在見證一場 AI 帶來的創新爆發。
- 每一個客戶體驗、每一家公司，坦白說每一個產業，現在都正在被重新發明的過程中，而我們仍處在 AI 即將帶來的一切的早期階段，技術迭代的速度比我們任何人以前見過的都要快。
- 不久前我們還都在測試和嘗試聊天機器人，現在似乎每天都有新的東西出現。
- 但當我和客戶以及你們許多人交談時，你們還沒有看到與 AI 承諾相匹配的回報。
- AI 的真正價值尚未被釋放，但很多事情也在快速變化。
- AI 助手正開始讓位給能為你執行任務和自動化的 AI agents。
- 這是我們開始看到你們的 AI 投資產生實質業務回報的地方。
- 我相信 AI agents 的出現已經讓我們來到了 AI 軌跡上的一個轉折點。
- 它正從一個技術奇蹟轉變為真正為我們帶來價值的東西。
- 這個變化對你的事業的影響將會和網際網路或雲端一樣大。
- 我相信在未來，每家公司內部和每個可以想像的領域都會有數十億個 agents。
- 我們已經看到 agents 在加速醫療保健的發現、改善客戶服務、讓薪資處理更有效率，而且 agents 也開始在某些情況下將人們的影響力放大 10 倍，讓他們有更多時間去創造更多。
- 如果每個人都能看到這種程度的影響，那不是很棒嗎？
- 我們也這麼認為，這就是為什麼我們問這個問題，為什麼不呢？
- 要達到一個擁有數十億 agents 的未來，讓每個組織都能從 AI 中獲得真實世界的價值和成果，我們需要突破基礎設施的可能性極限。
- 我們需要為自主式系統和應用程式發明新的基礎構件。
GPU 可靠性
- 我們想要重新構想每一個流程和我們所有人的工作方式。
- 在 AWS，我們一直在堆疊的每一層進行創新，以給你們所有人創造下一步的自由。
- 我們有很多要分享的。
- 讓我們開始吧。
- 首先，你需要哪些元件來提供真正能為你帶來價值的 agents？
- 一切從擁有最可擴展、最強大的 AI 基礎設施開始，來驅動一切。
- 你需要一個高度可擴展且安全的雲端，為你的 AI 工作負載提供絕對最佳的效能，而且你會希望在模型訓練、客製化和推論方面都以最低成本實現。
- 現在，這說起來很容易，但要實現這一點需要在硬體和軟體的每一層進行最佳化，而這是只有 AWS 才做到的事。
- 事實證明，沒有捷徑。
- 現在，當你想到 AI 基礎設施時，首先想到的是 GPU，而 AWS 絕對是運行 Nvidia GPU 的最佳場所。
- 我們實際上是第一個在雲端中提供 Nvidia GPU 的廠商，而且我們與 Nvidia 合作已超過 15 年。
- 這意味著我們已經學會了如何大規模營運 GPU。
- 事實上，如果你和任何在其他供應商大規模運行 GPU 叢集的人交談，他們會告訴你 AWS 在運行 GPU 叢集方面絕對是最穩定的。
- 我們在避免節點故障方面做得更好，絕對提供了最佳的可靠性。
- 原因是我們在細節上下足功夫。
- 像是除錯 BIOS 以防止 GPU 重新開機這樣的小事。
- 如果你去其他地方，他們只是接受這就是運作的方式，然後你就繼續做你的事。
- 我們不是。
P6e-GB300 與 Nvidia 合作
- 我們會調查每一個問題並找到根本原因。
- 然後我們與 Nvidia 的合作夥伴協作，確保我們在持續改進。
- 對我們來說，沒有任何事情小到不值得關注。
- 這些細節真的很重要，這就是為什麼我們在 GPU 可靠性方面領先業界。
- 要做到這一點需要付出辛勤努力和真正的工程技術。
- 而我們在每一代都在新的維度上持續改進。
- 今年，我們推出了 P6 世代的 EC2 執行個體，搭載 Nvidia Blackwell 處理器，P6e GB 200 UltraServer，與前一代 P5en 相比提供超過 20 倍的運算能力。
- 這些非常適合在處理非常大型 AI 模型的客戶。
- 今天我們再次做到了。
- 我很高興宣布全新的 P6e-GB300。
- 這些由 Nvidia 最新的 GB300 NVL72 系統驅動，我們持續為你們帶來最具要求的 AI 工作負載提供同類最佳的運算。
- 我們對硬體和軟體的全端方案加上營運嚴謹度，為全球最大的組織提供絕對最佳的效能和可靠性。
- 順帶一提，這包括 Nvidia 自己，他們在 AWS 上運行大規模 Gen AI 叢集專案 Ceiba，以及許多像 OpenAI 這樣的公司，他們目前正積極在 AWS 上運行。
- 他們使用數十萬顆晶片的 EC2 UltraServer 叢集，目前是 GB200，很快會是 GB300，而且他們有能力擴展到超過數千萬顆 CPU 來管理他們的自主式工作流程。
- 所有這些都是為了支援他們的 ChatGPT 應用程式，我相信你們很多人都在使用，以及他們次世代模型的訓練。
AI Factories
- 或者以 Humain 為例。
- Humain 是沙烏地阿拉伯新成立的公司，負責推動該地區的 AI 創新。
- 我們最近宣布了一項合作，共同打造這個突破性的沙烏地阿拉伯 AI 區域。
- 這項合作將為客戶帶來高效能基礎設施、模型、像 SageMaker 和 Bedrock 這樣的 AI 服務，同時幫助符合王國在安全、隱私和負責任 AI 方面的標準。
- 這類工作引起了其他人的興趣，大型政府組織和公部門對類似的概念感興趣。
- 所以我們退後一步問自己，「我們能否將這種 AI 區域提供給更廣泛的客戶群，也許甚至可以利用客戶現有的資料中心？」
- 這就是為什麼今天我們很高興宣布 AWS AI Factories。
- 透過這次發布，我們讓客戶能在他們自己的資料中心部署專屬的 AWS AI 基礎設施，專門供他們使用。
- 實際上，AWS AI Factories 運作方式如同一個私有 AWS 區域，讓客戶利用他們已經取得的自有資料中心空間和電力容量。
- 我們也讓他們能存取領先的 AWS AI 基礎設施和服務，包括最新的訓練用 UltraServer 或 Nvidia GPU，以及 SageMaker 和 Bedrock 等服務。
Trainium 晶片
- AI Factories 專屬於每個客戶營運，這有助於隔離，在維持你從 AWS 獲得的安全性和可靠性的同時，也滿足嚴格的合規性和主權要求。
- 我們非常期待看到這些 AI Factories 為客戶釋放出什麼樣的可能性。
- 現在，在 AWS，我們一直以來都重視選擇，如果你想要絕對最佳的 AI 基礎設施，你需要擁有 AI 訓練和推論的最佳運算。
- AWS 憑藉最廣泛的選項正在遙遙領先，包括我們突破性的專用 AI 處理器。
- AWS Trainium 是我們客製化的 AI 晶片，旨在為 AI 工作負載提供最佳的性價比。
- 現在，客戶喜歡 Trainium 在訓練工作負載方面所取得的成果，但我必須在這裡暫停一下，稍微自我批評一下。
- 大家常常在 AWS 的產品命名上給我們一些難堪。
- 不，不，這是真的。
- 嗯，事實證明 Trainium 也不例外。
- 我們把它命名為 Trainium，因為它被設計為 AI 訓練的出色晶片。
- 它確實是，但事實證明，Trainium2 其實是目前全球推論方面最好的系統。
- 客戶常常問我，「我如何最好地利用 Trainium 的優勢？」
- 我告訴他們的是，「你很可能已經在使用它了，只是你不知道。」
- 事實上，如果你看看今天在 Amazon Bedrock 中運行的所有推論，大部分實際上已經由 Trainium 驅動了，而且 Trainium 的效能優勢是非常明顯的。
- 如果你在 Bedrock 中使用任何 Claude 最新一代的模型，所有那些流量都運行在 Trainium 上，提供了比任何其他主要供應商都更好的端到端回應時間。
- 這也是為什麼我們迄今已部署超過 100 萬顆 Trainium 晶片的部分原因。
- 現在，我們以創紀錄的速度達到了一百萬顆晶片，這是因為整個過程我們控制了整個堆疊。
- 我們可以端到端最佳化我們的部署方式，這讓我們能移動得更快。
- 事實上，我們在資料中心中將 Trainium2 的量產速度比我們有史以來部署過的下一個最快的 AI 晶片快了 4 倍，而且我們生產多快就賣多快。
- Trainium 目前已是數十億美元規模的事業，並持續快速成長。
Trainium 晶片系列
- 現在，當所有這些在一個專為 Trainium 打造的系統中整合在一起時，是什麼樣子？
- 不久前人們常說資料中心就是新的電腦。
- 嗯，當你在訓練這些次世代模型時，事實證明資料中心園區才是新的電腦。
- 當今世界上最好的模型之一是 Anthropic 的 Claude。
- 我們想給你們一個幕後的小小窺探，看看像這樣的模型是如何誕生的，這要歸功於 Trainium 和 Project Rainier。
- 讓我們來看看。
- （激昂的戲劇性音樂）看到我們如此迅速地達到 Trainium 如此龐大的規模，真的很酷。
- 那下一步呢？
- 去年，我們宣布已經在努力開發下一款晶片 Trainium3，旨在讓 AI 工作負載更好、更快、更具成本效益。
- 今天，我很高興宣布 Trainium3 UltraServers 現已正式可用。
- 這些 UltraServer 是我們最先進的，包含 AWS Cloud 中第一顆 3 奈米 AI 晶片。
- Trainium3 為大規模 AI 訓練和推論提供了業界最佳的性價比。
- 我們已經談過過去一年 Trainium2 取得的令人驚嘆的成果，但 Trainium3 UltraServers 帶來了又一個巨大的飛躍。
- 4.4 倍的運算效能、3.9 倍的記憶體頻寬，還有這一點非常重要，每兆瓦電力多 5 倍的 AI tokens。
- 作為特別驚喜，今天我有一個 UltraServer 機架就在舞台上。
- 我們最大的 Trn3 UltraServers 結合了 144 顆 Trainium3 晶片，在由客製化 neuron 交換器連接的單一 scale-up 域中協同工作。
- 這提供了 362 FP8 petaflops 的龐大運算力，超過每秒 700 terabytes 的聚合頻寬，全部在單一運算執行個體中。
- 而我們客製化的 EFA 網路支援將這些擴展到數十萬顆晶片的叢集。
- 沒有其他人能為你做到這一點。
- 它需要所有這些系統級的元件協同設計。
- 它需要多種類型的客製化矽晶。
- 它需要 scale-up 和 scale-out 網路。
- 它需要詳細且整合的軟體堆疊，當然還有業界領先的資料中心。
- 在效能如何改善的真實世界範例中，我們運行了一系列已最佳化在 Trainium2 上運行的開放原始碼模型、開放權重模型，我們想看看它們在 Trainium3 上的表現。
- 舉一個例子，這是 OpenAI 的一個熱門開放原始碼 gpt-oss-120b 模型的推論基準測試，我們在 Trainium2 和 Trainium3 上都運行了它。
- 如你所見，使用 Trn3，我們比 Trainium2 獲得了顯著的效率提升。
- 你看到每兆瓦超過 5 倍的輸出 tokens，同時維持相同的每使用者延遲，也就是我們在這張圖表中所稱的互動性。
- 而這只是一個例子。
- 我們在不同模型上運行時看到了類似的結果，這太棒了。
- 我們很期待看到 Trn3 能為客戶釋放出什麼，但我們也不會就此停步。
- 我想給你們一個搶先預覽，看看即將到來的是什麼。
- 這就是為什麼我很高興宣布我們已經在努力開發 Trainium4。
- 我們已經深入設計階段，而且我們對目前看到的成果感到興奮。
- Trainium4 將在每個維度上帶來巨大的飛躍。
- 與 Trainium3 相比，Trainium4 將提供 6 倍的 FP4 運算效能、4 倍的記憶體頻寬、2 倍的高頻寬記憶體容量，以支援世界上最大規模的模型。
Lila 科學 AI
- Trainium 持續突破 AI 基礎設施的可能性邊界，讓你們所有人能自由地突破你們產業的邊界。
- 讓我們來聽聽一家正在使用 AWS 龐大 AI 基礎設施來轉型運算生物學的新創公司。
- 我們正試圖為科學創造一種美麗的心智，一個能跨越材料科學、化學和生命科學的通才，但網際網路和現有資料只能帶你走到這裡。
- 你必須有能力在真實世界中測試。
- Lila 正在建構我們所稱的第一批 AI 科學工廠，這是一種基礎設施，透過它 AI 可以自主地提出假說、設計實驗，然後在真實世界中運行這些實驗，所有成功和失敗的結果都流入無線模型中，在其中變得超級智慧，透過運行科學方法本身。
- 建構科學超級智慧需要大量運算，這不會讓任何人感到驚訝。
- Lila 目前已在數兆 tokens 的科學推理上。
- 我們預期在未來幾年內至少增加 100 倍。
- AWS 是一個令人驚嘆的合作夥伴，因為隨著科學的規模、速度和智慧提升，運算的規模、速度以及該過程的安全性將比以往任何時候都更加重要。
- AWS 在這個組合方面是世界上最好的。
- 對人類而言，這意味著建構一種全新的、非常廣泛的科學心智和基礎設施，能夠可擴展地啟動那個心智去尋找治療方法、新能源技術、新材料等等，我們能夠集體地將一個更好的未來拉入現在。
- 看到這種規模的運算如何讓像 Lila 這樣的客戶能夠達成這些成就，真的令人驚嘆。
- 在基礎設施層面正在發生不可思議的創新。
2️⃣ Models & Intelligence 模型與智慧
Bedrock 平台
- 但我們也知道基礎設施只是故事的一部分。
- 我們看到世界上幾乎每一個應用程式都在被 AI 重新發明，而我們正邁向一個推論成為每個人建構的每一個應用程式中不可或缺一部分的未來。
- 現在，要在那個未來中取得成功，你需要一個安全、可擴展、功能豐富的推論平台供你們所有人建構，這就是為什麼我們開發了 Amazon Bedrock。
- Bedrock 是一個全面的平台，幫助你在從原型進入生產環境時加速你的生成式 AI 應用程式。
- 透過 Bedrock，你可以獲得所有最新模型的廣泛選擇。
- 你有能力根據你的個別使用案例和效能需求來客製化這些模型。
- 你可以獲得將它們整合到你的資料中的工具，以及在需要時添加護欄的能力。
- 所有這些都具備安全性和整合能力，讓你能輕鬆地在 AWS 中已有的應用程式和資料上進行建構。
- 各種規模和各行各業的公司都在全球使用 Bedrock。
- 像 BMW、GoDaddy、Strava 這樣的客戶，這只是其中幾家，在 Bedrock 上建構的客戶數量是去年同期的兩倍以上。
- Bedrock 正經歷前所未有的動能，但不僅僅是使用它的客戶數量，實際上令人驚嘆的是使用量。
- 事實上，一些客戶正在透過 Bedrock 處理大量的請求。
- 今天，世界上一些最大規模的 AI 應用程式都在這個平台上運行。
- 我實際上請團隊幫我查了一下，我們現在有超過 50 個客戶各自透過 Bedrock 處理了超過 1 兆 tokens。
- 令人驚嘆的規模和動能。
模型選擇策略
- 現在，當你們開始建構一個 Gen AI 應用程式時，你很可能首先決定的是要使用哪個模型。
- 哪一個能給你最好的成本、最低的延遲？
- 什麼會給你最好的答案？
- 而且很多時候，正確的答案其實是為你的應用程式或 agents 混合使用不同的模型，這就是為什麼我們認為模型選擇如此關鍵。
- 我們從未相信會有一個模型統治一切，而是會有大量優秀的模型出現，這就是為什麼我們持續在已經很廣泛的模型選擇上快速擴展。
- 我們有開放權重模型和專有模型、通用型或專門型的，我們有非常大的和小型的模型，而且我們在過去一年中將 Bedrock 中提供的模型數量幾乎翻了一倍。
- 今天，我很高興宣布我們正在引入一系列新的開放權重模型。
新開放權重模型
- 這些模型包括像 Google 的 Gemma、MiniMax M2 和 Nvidia 的 Nemotron 等，而今天，我們有幾個全新首次亮相的模型。
- 我很高興宣布今天來自 Mistral AI 並立即在 Bedrock 上可用的兩組新的開放權重模型。
- 第一個是 Mistral Large，這是相比他們的 Large 2 模型的一大飛躍，上下文視窗大小翻倍，模型參數數量大幅增加超過 5 倍。
- 我們今天也推出了 Ministral 3，這是一組很酷的三個模型，為超高效的邊緣裝置、單一 GPU 部署或進階本地運算提供了很棒的部署靈活性。
- 看到你們所有人如何使用這些開放權重模型一定會很有趣。
- 現在，除了在 Bedrock 上提供大量的第三方模型之外，去年我們宣布了 Amazon Nova，這是 Amazon 的基礎模型系列，為許多工作負載提供了業界最佳的性價比。
- 在過去一年中，我們實際上擴展了 Nova 系列以支援更多使用案例，並為你們帶來更多能產生真正價值的可能性。
- 例如，我們用 Amazon 的 Sonic 解鎖了語音對語音的使用案例，而且就在幾週前，我們推出了業界表現最佳的跨多模態嵌入建立模型，也就是 Nova 的 Multimodal Embeddings。
- 動能一直非常出色。
- Nova 現在已被數萬名客戶使用，從行銷巨頭 dentsu 到技術領導者如 Infosys、Blue Origin 或 Robinhood，再到創新新創公司如 Ninja Tech AI。
Nova 2 系列
- 今天，我們讓 Nova 更加強大，宣布 Nova 的新世代 Nova 2。
- Nova 2 提供成本最佳化、低延遲且具前沿級智慧的模型。
- Nova 2 系列包括 Nova 2 Lite，這是我們快速且具成本效益的推理模型，適用於廣泛的工作負載，以及 Nova 2 Pro，這是我們最具智慧的推理模型，適用於高度複雜的工作負載。
- 我們也推出了 Nova 2 Sonic，這是我們次世代的語音對語音模型，為你所有的應用程式提供即時、類人的對話式 AI。
- 現在，Nova 2 Lite 為許多我們實際看到客戶想要在生產環境中提供的工作負載帶來了令人驚嘆的性價比。
- Nova 2 Lite 在業界基準測試中與 Claude Haiku 4.5、GPT-5 mini 和 Gemini Flash 2.5 等模型相比表現得非常出色。
- 特別是，Nova 2 Lite 在指令呼叫、工具呼叫、程式碼生成以及從文件中提取資訊等方面表現優異，經常能匹配或超越這些同等模型的效能，而且具有業界領先的性價比。
- 我們認為 Nova 2 Lite 將會是一匹真正的主力，在你們各種廣泛的使用案例中都會非常受歡迎。
- Nova 2 Pro 是我們最具智慧的推理模型，當你有那些真正複雜的工作負載時，它會很出色。
- 特別是我們看看你需要 agents 表現出色的真正重要的領域，那就是 Nova 2 Pro 真正發光的地方，像是指令遵循和自主式工具使用這些關鍵技能。
Nova 2 Omni
- 事實上，在這些方面，Nova 2 經常名列前茅。
- 如果你看看 artificial analysis 在這些領域的基準測試，Nova 2 Pro 比 GPT 5.1、Gemini 3 Pro 和 Claude 4.5 Sonnet 等領先模型提供了更好的絕對結果。
- 對於需要語音能力的應用程式，Nova 2 Sonic 以出色的性價比提供業界領先的對話品質。
- 具有改善的延遲和大幅擴展的語言支援，我們認為你們會喜歡它的。
- 現在，我還有一個 Nova 模型想要談談，它擁有一組獨特的能力。
- 現在，今天的模型在跨一種模態推理方面其實已經相當擅長。
- 比如它們在看一張圖像、或聽一段音訊、或輸出文字，然後可能以不同的模態輸出，比如它們可能在閱讀文字然後建立一張圖像。
- 但在真實世界中，你必須同時理解多種模態。
- 以這場主題演講為例。
- 如果你想要一個模型來試著理解今天主題演講中發生的所有事情，你會想要捕捉我們所說的一切的細微差異和理解。
Gradial 使用案例
- 這意味著你必須聽我在說什麼，你必須理解所有這些投影片的內容，你必須能夠觀看影片並理解正在發生什麼以及我們在展示什麼。
- 現在，假設你想要用同一個模型為你的銷售團隊產生一份摘要輸出，其中包含我們今天宣布的所有發表的摘要，以及一些圖像和行銷材料。
- 現在，如果你想做到這一點，你可以，對吧？
- 這在今天是可能的，但這意味著要測試各種不同的模型，將它們全部串接在一起，然後試圖達成這個結果，這完全可行但相當困難。
- 如果你有一個單一模型能做到所有這些，那會更容易，這就是為什麼我很高興宣布 Nova 2 Omni。
- 它是一個用於多模態推理和圖像生成的統一模型。
- Nova 2 Omni 是業界首款支援文字、圖像、影片和音訊輸入，並支援文字和圖像生成輸出的推理模型。
- 所以這是來自 Amazon Nova 的四個新的業界領先模型，而且我們才剛開始。
- 接下來，讓我們來聽聽 Gradial 如何用 Nova 和 Bedrock 建構一些很酷的能力。
- （明亮的音樂）— 行銷中最大的瓶頸不是創意。
資料整合與 Nova Forge
- 而是之後發生的一切，而 Gradial 幫助解決了這一點。
- 今天，內容營運的世界相當手動。
- 從創意簡報到上架網站需要四到六週，涉及 20 個不同的步驟，需要設計師、工程師、文案撰稿人和網路策略師。
- 而 Gradial 所做的是我們連接了所有那些不同的系統，這樣我們就能從想法到行動。
- 我們的編排 agent 決定實際使用哪些子 agents，是使用撰寫 agent、Figma agent、Sitecore agent，然後它會結合這些 agents 來實際完成一項任務，對吧，實際上提出你的內容如何更好更快地轉換受眾的建議。
- 我們將永遠生活在一個多模型的世界。
- 沒有一個模型適合所有情況，所以 AWS Bedrock 和 Nova 給了我們在需要效率時使用效率、需要算力時使用算力、需要推理時使用推理的自由。
- 這對我們至關重要。
- AWS 非常投入新創公司的成功，這一點非常明確。
- 我不認為有人是為了做連結交換而進入行銷領域的。
- 我認為人們進入行銷是為了發揮創意。
- 如果你釋放出那些時間，想像一下從現在開始幾年後會創造出什麼。
- 看到 Gradial 用 Bedrock 能做到什麼，真的令人驚嘆。
- 現在，今天可用的模型真的很出色，而且每個人能用它們達成的事情持續讓我印象深刻。
- 但隨著這些模型被用來驅動越來越多的關鍵業務應用程式和你的自主式工作負載，AI 理解你公司資料的能力才是真正開始為你的公司和客戶帶來巨大價值的地方。
- 我在這裡暫停一下，我怎麼強調都不夠，你的資料是獨一無二的。
- 它是讓你與競爭對手區分開來的東西。
- 我一次又一次地看到這一點。
- 如果你的模型對你和你的資料、你的流程有更具體的知識，你就能做更多。
Forge 總覽與 Novellas
- 現在，當你能將模型與你獨特的資料和智慧財產進行深度整合時，神奇的事情就發生了。
- 但要做好這件事，將你的資料放在雲端是至關重要的。
- 那麼讓這些模型存取你的資料的最佳方式是什麼？
- 顯然，第三方模型一開始並不能存取你的資料。
- 它們天生不了解你的業務，而且坦白說，你也不會想要它們了解，因為你不希望你的專有資料嵌入在那些模型中讓其他人都能使用。
- 這就是為什麼我們在 Bedrock 中提供的隔離如此重要，以防止你的資料洩漏回核心模型。
- 現在，我們看到人們成功地將你的資料與模型結合的最常見技術，是利用 RAG 或向量資料在推論時為你選擇的模型提供上下文。
- 這些在幫助你的模型更有效地瀏覽你龐大的資料集並回傳相關結果方面相當有效。
- 但通常我們看到的是這只能走到這裡。
- 幾乎我交談過的每一個客戶都希望他們能以某種方式教會模型真正理解他們的資料，真正理解他們深層的領域知識、專業技能，他們希望模型在做決策時了解他們的專業知識。
- 假設你在一家硬體公司工作，想要加速新產品的研發。
- 你最理想的是有一個模型能理解你過去的產品、你的製造偏好、你的歷史成功和失敗率，以及你可能有的任何流程限制，然後你希望能將所有這些結合起來，為你的設計工程師提供智慧化的指導。
- 而且事實證明，無論你的公司是什麼，你都有這個龐大的智慧財產和資料語料庫，如果將它整合到你使用的模型中，會非常有價值。
- 現在，自然的問題是，為什麼不直接訓練一個客製化模型？
- 事實證明，今天真的只有兩種方式可以做到。
- 你可以從頭建構自己的模型，在其中包含你自己的資料。
Forge 工作流程範例
- 但當然，這超級昂貴，而且坦白說，你可能沒有建構模型中通用智慧所需的所有資料。
- 即使你有，你也可能沒有內部的專業知識來預訓練一個前沿模型。
- 所以這對大多數公司來說可能不太實際。
- 大多數人轉而做的是從一個開放權重模型開始然後修改它。
- 那裡有很多客製化的能力。
- 你可以用像微調、強化學習這樣的技術來調整權重，你可以嘗試建構一些真正專注於你的使用案例的東西。
- 然而，事實證明這種方法的效果也有其限制。
- 要教會一個模型一個它在預訓練時完全不了解的全新領域真的很難，而且事實證明你越客製化模型，你在後訓練階段加入越多資料，這些模型往往會忘記一些它們之前學到的有趣東西，那些核心的推理能力。
- 這有點像人類試圖學習新語言。
- 當你很小的時候開始學，其實相對容易掌握，但當你在成年後嘗試學習新語言時，其實困難得多。
- 模型訓練有點也是這樣的。
- 現在，透過你能調整這些開放權重模型的有限能力，已經有一些很酷的成果，但你只能走到這裡。
- 今天，你還沒有一個好方法來獲得一個深度理解你的資料和領域的前沿模型。
- 但如果這是可能的呢？
- 如果你能在前沿模型訓練的正確時機整合你的資料，然後建立一個只屬於你的專有模型呢？
- 我認為這其實是客戶真正想要的，所以我們問自己，為什麼不呢？
- 今天，我很高興宣布 Amazon Nova Forge。
Forge 使用案例
- （觀眾鼓掌和歡呼）Nova Forge 是一項新服務，引入了開放訓練模型的概念。
- 透過 Nova Forge，你可以獨家存取各種 Nova 訓練檢查點，然後你可以在模型訓練的每個階段將你自己的專有資料與 Amazon 精選訓練資料集混合在一起。
- 這讓你能產出一個深度理解你資訊的模型，同時不會忘記它已被訓練的核心資訊。
- 我們稱這些產出的模型為 Novellas，然後我們讓你能輕鬆上傳你的 Novella 並在 Bedrock 中運行。
- 讓我展示一下這是如何運作的。
- 假設你就是我們之前討論的那家硬體製造商。
- 你有幾百 GB 的資料、數十億個與你過去設計、故障模式、審查筆記等相關的 tokens，而你決定從一個 80% 預訓練的 Nova 2 Lite 檢查點開始。
- 使用我們提供的工具集，你將你所有的資料與 Amazon 精選訓練資料集混合，然後運行提供的配方來完成模型的預訓練，但這次包含了你所有的資料。
- 這引入了你的領域特定知識，同時不會失去模型的重要基礎能力，如推理。
- Nova Forge 也提供使用遠端獎勵函數和強化微調來進一步改善你的模型的能力，讓你將真實世界的環境接入訓練迴圈。
- 而且因為你的基礎模型已經理解你的業務，這些後訓練技術實際上更加有效。
- 當你準備好之後，你將這個模型，你的 Novella，匯入 Bedrock 並像使用任何其他 Bedrock 模型一樣進行推論。
- 現在，你的工業工程師可以問像「設計 A 和設計 B 的優缺點是什麼？」這樣的問題，並獲得針對你公司歷史成果、製造限制和客戶偏好的具體回應。
- 我們已經與一些客戶合作測試 Nova Forge，他們已經從客製化 Nova 的開放訓練模型中看到了變革性的成果。
- 讓我們深入了解一下 Reddit 的例子。
3️⃣ Agents at Scale 大規模 Agents
Sony 合作
- Reddit 使用 Gen AI 來對他們的聊天和搜尋中多個不同的安全維度進行內容審核。
- 微調現有模型並沒有讓他們獲得所需的效能。
- 他們甚至嘗試使用多個不同安全維度的模型，但這非常複雜，即使如此，他們也無法達到社群特定要求的準確度。
- 然而，透過 Forge，Reddit 能夠在預訓練期間整合他們自己的專有領域資料，使模型能夠發展出整合性的表示，自然地將一般語言理解與他們自己的社群特定知識結合起來。
- 他們首次能夠產出一個同時滿足準確度和成本效率目標的模型，同時部署和營運也容易得多。
- 我們認為這個開放訓練模型的概念將完全改變公司能用 AI 發明的東西。
- 現在，為了分享 Sony 如何在 AWS 上轉型和重新發明他們的業務，請歡迎 Sony 集團的首席數位長暨執行役員 John Kodera。
- （戲劇性音樂）（觀眾鼓掌）— 大家早安。
- 今天，我想和你們談談一個對 Sony 有著非常特殊地位的詞，kando。
- kando 直譯成英文是 emotion（情感），但在日文中 kando 的含義遠不止於此。
- 它捕捉的是深層情感連結和體驗的感受，像是觀看電影、聆聽音樂或玩遊戲時的感動。
- 對我們 Sony 來說，kando 是我們在工作的所有層面努力為客戶創造和傳遞的東西。
- Kando 是我們的核心。
- 我們的創辦人在 1946 年創立了 Sony，懷著透過科技的力量豐富人們生活的夢想，一個科技能帶來新體驗、新生活方式和 kando 的世界。
- 在這個願景的驅動下，我們一路上提供了創新的產品，開創了全新的產業和客戶體驗。
- 隨著每一個科技時代，從類比到數位、網際網路、雲端，Sony 一次又一次地重新發明自己。
- 今天，Sony 不僅僅是一家硬體科技公司。
- 我們也是遊戲、音樂、電影、動畫等娛樂領域的領導者。
- 全世界沒有其他公司像 Sony 一樣，擁有如此深厚的業務組合以及與粉絲和創作者的接觸點。
- 今年最引人注目的成功之一是動畫電影《鬼滅之刃：無限城堡》。
- 截至 11 月下旬，這部電影已成為有史以來全球票房最高的日本電影，並在 2025 年所有類別的電影中排名第五。
- 就像我們在《鬼滅之刃》上所做的，我們希望透過將創作者的願景與對粉絲的深度理解相結合，持續傳遞新的 kando，而我們與 AWS 的關係在實現這一目標中發揮著關鍵作用。
- 一個例子始於 2010 年代初期，當時我是 PlayStation 和其他 Sony 裝置的網路服務公司的總裁。
- 我們選擇 AWS 作為我們的供應商，因為它的全球足跡、高標準的可用性和可擴展性。
- 2020 年，在 PlayStation 5 發布時，我們利用 AWS 的基礎構件來建構我們的網路架構。
- 這些服務讓我們能在瞬間擴展，並加速了我們向微服務的轉型，部署量增加了 400%，準備時間縮短到十分之一。
- 今天，我們與 AWS 的關係支持著安全、可靠且高品質的遊戲體驗，讓多達 1.29 億名玩家能夠連線並共同體驗 kando。
- 展望未來，我們看到了巨大的潛力來擴大粉絲社群，將有著相似品味和興趣的粉絲與我們多元的內容 IP 組合連結起來。
Sony AI 與資料策略
- 同時，我們也想更好地服務我們的創作者社群，為他們提供更多工具、連結和對粉絲群的洞察。
- 我們稱之為 Sony 互動平台（Sony Engagement Platform），在體驗內容的粉絲和創作內容的創作者之間建立更深層的理解和連結。
- 而互動平台的基礎構件之一是 Sony Data Ocean。
- 它利用從多個連接的資料湖中產生的資料洞察。
- 使用 AWS 服務建構的它，讓我們能處理來自 Sony 集團超過 500 個資料來源、高達 760 TB 的資料。
- 當然，要最有效地利用我們的資料並為客戶傳遞 kando，我們必須有效地利用 AI 和 agents 的力量來賦能我們的員工並增強我們的業務能力。
- 為了在企業環境中最大化我們的生產力，我們正在積極推廣使用生成式 AI，我們用 Amazon Bedrock 建構的自有企業 LLM，自兩年前推出以來已有超過 57,000 名使用者，每天處理 150,000 個推論請求。
- 而今天，我們正在將新的 agent 能力整合到我們的平台中，以在我們的業務中實現新層次的進階營運效率。
- 透過將 Amazon Bedrock AgentCore 置於我們自主式 AI 系統的核心，我們獲得了輕鬆治理、部署和管理更有用的自主式能力的能力，以加速我們的企業 AI 轉型。
- 而今天，我們很高興分享我們正在採用 Nova Forge 來將最先進的客製化模型應用到我們獨特的業務和營運中。
- 我們微調了一個 Nova 2.0 Lite 模型，在參考一致性和文件基礎等任務上的表現優於基準模型。
- 我們現在的目標是將 Sony 合規審查和評估流程的效率提高 100 倍。
- 除了企業環境外，Sony 完全致力於在創意領域負責任且合乎道德地開發和使用 AI。
- 我們以最高標準要求自己，尊重創作者和表演者的權利。
- 那麼我們接下來要往哪裡走？
- 我們將繼續創造和傳遞 kando，實現粉絲和創作者的願望，在他們之間建立有意義的連結。
- 未來，我們將繼續擴大粉絲與他們最喜愛的內容 IP 在多種娛樂類型中的互動。
- 就像我們在《秘境探險》和《乐後人生》所做的那樣，我們希望在虛擬和實體環境中連結粉絲和創作者，包括場域型娛樂。
- 實現我們的願景將需要與 AWS 以及我們在座的創意和技術合作夥伴進行更大規模、更強有力的合作。
- 我們期待為全球的粉絲創造和傳遞更大的 kando。
- 感謝聆聽。
- 謝謝你。
- （觀眾鼓掌）（歡快的音樂）- 非常感謝 Kodera 先生。
- 真是一個很棒的故事。
- 就像 Sony 所看到的，他們長期成功的關鍵是為創新奠定正確的基礎。
AgentCore 總覽
- Sony 的故事真正讓我興奮的是，因為他們把資料和應用程式放在 AWS 的雲端上，他們處理任何不確定性都變得容易得多。
- 沒有多少公司能像 Sony 一樣成功轉型，從一家電子裝置公司轉變為全球數位媒體企業，如此重大的變化，看到這一點真的很酷。
- 在 AWS 中擁有正確的技術平台幫助了他們走過這段旅程。
- 現在，當你的資料在雲端時，你可以更快速地移動，並且可以因應任何意料之外的變化。
- 現在，世界並沒有慢下來。
- 事實上，如果有一件我們都能確定的事，那就是更多的變化即將到來。
- 現在，將改變所有人業務的最大機會之一是 agents。
- Agents 令人興奮，因為它們可以採取行動、完成任務。
- 它們可以動態推理，而且在不需要你預先程式化的情況下建立工作流程，以最佳方式完成工作。
- 這些 agents 以非確定性的方式工作，這是它們如此強大的部分原因，但這也意味著讓我們走到今天建構軟體的基礎和工具，未必是我們建構 agents 所需要的。
- 這就是為什麼我們推出了 Amazon Bedrock AgentCore，提供最先進的自主式平台，讓你們所有人能在企業規模安全地建構、部署和營運 agents。
- 我們設計 AgentCore 既全面又模組化。
- 它有一個安全的 serverless runtime，可以為 agents 提供完整的 session 隔離。
- AgentCore Memory 讓 agents 能保持上下文，處理短期和長期記憶，讓它們能隨時間學習和變得更好。
- 我們提供 AgentCore Gateway，讓 agents 能輕鬆發現並安全地連接到工具、資料和其他 agents。
- 我們有 AgentCore Identity，為你提供安全認證的方式，並讓你控制你的 agents 可以存取哪些工具和資料。
- AgentCore Observability 讓你即時了解已部署的 agent 工作流程。
- 我們還有各種基礎工具，讓你的 agents 能安全地執行真實世界的工作流程。
- 像是 Code Interpreter，讓你能存取安全的程式碼執行環境，或是我們的 managed browser 服務，提供一個托管環境讓你的 agents 能輕鬆存取網際網路。
- AgentCore 在其所實現的 agent 建構能力方面確實是獨一無二的，與其他任何東西都有顯著的不同。
- 而且我們將 AgentCore 建構為開放且模組化的，所以你可以與各種框架一起使用它，像是 CrewAI、LlamaIndex、LangChain 或 AWS 的 Strands agent。
- 你也可以與任何模型一起使用，無論是 Bedrock 中的各種模型，還是像 OpenAI 的 GPT 或 Gemini 模型。
- 你只需要使用你需要的基礎構件。
- 我們不會強迫你們作為建構者走一條固定的路徑。
- 我們讓你為自己的情況選擇你需要的服務。
- AgentCore 也讓你能輕鬆地在你的 Amazon VPC 內私密且安全地部署 agents，然後允許你擴展到數千個 session 以支援高流量的使用案例。
- 而且部署你的 agents 也非常快速且容易。
- Agents 可以在不到一分鐘內透過拖放或幾行程式碼部署。
- 這也是為什麼我們看到 AgentCore 有如此大動能的部分原因，因為客戶正在快速採用它作為他們自主式應用程式的基礎。
- 我們在各行各業都看到了，從像 Visa、National Australia Bank 或 Rio Tinto 這樣的受監管產業公司。
- 我們在 ISV 如 Lummi 和 ADP，或新創公司如 Cohere Health 和 Snorkel AI 中都看到了。
- 動能真的在加速。
- 我要談談其中幾個。
- Adena Friedman 是 Nasdaq 的執行長，她和她的團隊正在快速建構能在核心業務領域完成真正工作的 agents。
- 在 AgentCore 之前，他們計劃投入一整個團隊來建構可靠營運和建立符合高標準的韌性 agents 所需的基礎設施。
- 然而，AgentCore 現在讓他們免於這些繁重工作，可以專注在建構出色的 agents。
- Bristol-Myers Squibb 建構了一個新的 agent，能在不到一小時內跨多個假設評估超過 10,000 種化合物。
- 這是一個過去需要他們的研究人員四到六週的流程。
- 該公司的藥物發現 agent 使用 AgentCore Runtime 來無縫且動態地擴展，並保持敏感資料的安全和隔離。
- 我們看到像 Workday 這樣的 ISV 在 AgentCore 上建構未來的軟體。
AgentCore Policy 與可觀測性
- AgentCore 的 Code Interpreter 提供了他們所需要的東西，也就是驅動他們規劃 agent 所需的基本功能、安全需求和資料保護。
- 這個能力將例行規劃分析所花費的時間減少了 30%，每月節省將近一百小時的工作。
- 你也不一定要自己建構 agents。
- 許多公司正在使用 AWS marketplace 作為發布和採購預建 agents、工具、解決方案和專業服務的可信任場所，而這就是 AWS 合作夥伴可以幫助你們更快前進的地方。
- 我們對客戶用 AgentCore 所做到的事感到非常興奮，但我們還遠未完成。
- 在建構 agents 時我們看到的一大挑戰是，你如何讓它們可預測地行為並符合你的意圖？
- 讓 agents 強大的是它們自主推理和行動的能力。
- 但這也讓你很難完全有信心你的 agents 不會大幅偏離軌道。
- 這有點像養育青少年。
- 我自己家裡目前有兩個很棒的青少年。
- 現在，隨著你的孩子長大，你必須開始給他們更多的自主權和自由，讓他們學習，或者用他們喜歡說的話叫做「成為大人」。
- 但你也想要設定一些基本規則以避免重大問題。
- 想想你的孩子開始學開車的時候。
- 這就是我目前所處的狀況。
- 突然間，孩子們有了所有這些自主權。
- 有很多事情他們可以自己去做，但你仍然想要有那些護欄，像是你必須在某個時間前到家，或者你不想超速超過五英里之類的。
- 建立對 agents 信任的一種方式是確保它們有正確的權限來存取你的工具和資料。
- AgentCore Identity 今天提供了一個很好的方式來做到這一點，但雖然對你的 agents 可以存取的工具設定權限是一個好的開始，你真正想要能控制的是你的 agents 可以或不可以對那些工具採取的具體行動。
- 你有像是，agent 要對那些工具做什麼？它們如何使用它們？那些工具是給誰的？
- 而今天，客戶在這方面掙扎。
- 你可以直接在 agent 的程式碼中嵌入策略，但因為 agents 會即時產生和執行自己的程式碼，這些保護措施真的只是盡力而為，只能提供弱保證，而且很難稽核。
- 實際上，這意味著今天你無法確定地控制你的 agent 做什麼或不做什麼，同時又給它自主權去完成這些工作流程。
- 結果，大多數客戶覺得他們被阻擋了，無法將 agents 部署到最有價值的關鍵使用案例。
- 這就是為什麼今天我們宣布 AgentCore 中的 Policy。
- Policy 為你的 agents 與企業工具和資料的互動提供即時確定性控制。
- 現在，你可以設定這些策略來定義你的 agents 可以存取哪些工具，但也定義它們如何存取，無論是 API、Lambda functions 或 MCP 伺服器，還是像 Salesforce 或 Slack 這樣的熱門第三方服務。
- 你也可以定義它們可以執行什麼行動以及在什麼條件下執行。
- 那麼 AgentCore 所做的就是在授予存取你的工具或資料之前，評估每一個 agent 行動是否符合這個策略。
- 我們來看一個簡單的例子。
- 假設你在 AgentCore Policy 中，只需要使用自然語言定義一個策略。
- 比如說像，「我要你在退款金額超過 1,000 美元時阻止所有客戶的退款。」
- 然後在底層，你的提示詞被轉換為 Cedar，這是一種流行的開放原始碼語言，由我們在 AWS 內部的自動推理工作驅動，涵蓋授權和可驗證系統。
- 一旦建立，這些策略就會被部署到你的 AgentCore Gateway，並在毫秒內進行評估，確保所有你的行動都被即時且一致地檢查，讓你的 agent 工作流程保持快速和回應性。
- 而它所在的設計位置其實非常重要。
- 因為這個策略執行位於你的 agent 應用程式碼之外，策略評估實際上坐落在你的 agent 與你所有的資料、API 和工具之間，所以你可以可預測地控制它們的行為。
- 回到我們退款策略的例子，如果每個 agent 行動在 agent 能存取工具之前都會對照你的策略進行檢查，那麼假設發生了退款超過你定義的限額的情況，agent 就會被阻止發放該筆退款。
- 現在你有了這些清晰的策略，組織可以更深入地信任他們正在建構和部署的 agents，知道它們會待在你定義的邊界內。
- 當然，你需要 agents 做的不僅僅是遵循你定義的明確規則。
- 你必須知道它們的行為是正確的。
- 信任但驗證是我們在 Amazon 作為大規模管理的心智模型而借用的一句話。
- 在 AWS，我們給予團隊驚人的自主權。
- 我信任我們的團隊去為客戶發明並執行這個使命。
- 但我也有機制讓我能深入檢視事情是否在正軌上。
- 我想檢查我們已確認的策略性計畫是否確實按照我們預期的方式被執行。
- 如果我再次回到我們的青少年比喻，我一般相信他們在遵守規則，但我仍然可以查看我的 Ring 攝影機確保他們準時到家，而且我隨時可以查看 Life360 應用程式的狀態，確保他們在我預期的範圍內。
- 同樣的事情適用於 agents。
- 為了建立信心，你想要了解它們如何行動。
- 現在，客戶非常喜歡他們從 AgentCore Observability 獲得的東西。
- 你可以即時了解所有你的營運指標，你可以看到你的 agent 回應時間、正在使用的運算能力、你的錯誤率以及哪些工具和函數正在被存取。
- 這些都很好。
- 但除了 agents 在營運層面的表現，還有其他你真正想知道的事情。
- 你想知道像是，你的 agents 是否在做出正確的決策？它們是否在使用最適合工作的工具？它們的答案是否正確且適當？它們甚至是否符合品牌？
- 這些是非常難以衡量的事情。
- 今天，通常需要你有一個資料科學家。
- 資料科學家會建構一些複雜的資料管線。
AgentCore Evaluations
- 他們會選擇一個模型來嘗試判斷 agents 的輸出。
- 他們必須建構基礎設施來提供這些評估，然後管理配額和節流。
- 而且每次你想推出新的 agent 或升級到你正在使用的新版本模型時，你都必須重新做所有這些工作。
- 但與傳統軟體不同，實際上在預發布環境中的測試即使如此也很困難。
- 你只有在將它們放到真實世界中時，才能知道你的 agents 會如何反應和回應。
- 這意味著你必須持續即時監控和評估你的 agent 行為，然後在看到它們做你不喜歡的事情時快速反應。
- 我們認為我們可以讓這變得好很多。今天，我很高興宣布 AgentCore Evaluations。
- Evaluations 是一項新的 AgentCore 服務，幫助開發者根據真實世界的行為持續檢視 agents 的品質。
- Evaluations 可以幫助你分析 agent 行為的特定標準，像是我提到的正確性、有用性、有害性，而且附帶 13 個預建的品質維度評估器。
- 當然，你隨時可以用你偏好的提示詞和模型建立自己的客製化評分系統。
- 而且你可以在測試階段輕鬆評估 agents，在廣泛部署之前糾正任何問題。
- 所以現在，假設你要升級到較新版本的模型，你可以運行 Evaluations 來評估你的 agent，確保它維持與你目前版本相同水準的有用性。
- 你也可以在生產環境中使用 evaluations 來快速發現任何難以定義的品質下降。
- 你會在 CloudWatch 中看到結果，就在 AgentCore Observability 洞察的旁邊。
- AgentCore Evaluations 將過去需要專業知識和大量基礎設施繁重工作的事情自動化為所有人都能使用的東西，讓你能持續改善 agents 的品質。
- 我們對此相當興奮。
- 好的，這就是 AgentCore，驅動下一波 agents 的自主式平台。
AgentCore 總結
- 我們幫助你快速將 agents 投入生產，而不需要妥協或做出任何犧牲，這就是我們的核心理念。
- 我們希望你能快速行動，擁有最廣泛的能力集來為你自己的客戶建構。
- 今天，我們非常興奮地新增了 Policy 和 Evaluations 這兩個強大的新能力，我真的很期待看到這如何釋放一些真正強大的生產使用案例。
Adobe 合作
- 現在，為了告訴我們更多關於他們如何建構自己的 agents 來轉型業務，以及如何使用 AWS 作為自主式轉型的關鍵部分，請歡迎 Adobe 執行長暨董事長 Shantanu Narayen。
- （歌手吟唱）- 謝謝你 Matt。
- 大家早安。
- （觀眾鼓掌）大家好。
- 我很高興在這個變革性的時刻加入你們。
- 我們顯然正在見證一個創意的黃金時代，AI 正在放大人類的巧思，讓人們能將想像力變為現實。
- Adobe 一直站在這場革命的前沿。
- 從發明桌面出版到數位文件的起源，再到在成像和影片方面的突破性進展，我們不斷推動可能性的邊界。
- 事實上，十多年前我們向雲端訂閱模式的轉型標誌著我們與 AWS 關係的開始，因為正是像 Amazon 的 EC2 和 S3 這樣的服務為 Adobe 的創新提供了可擴展且安全的基礎。
- 隨著我們進入 AI 時代，AWS 正幫助我們用核心服務更快地創新，如 Matt 所說，用來訓練模型以及部署 agents。
- 這讓我們能專注在 Adobe 最擅長的事情上，在我們的業務中為數位體驗釋放創意，涵蓋商業專業人士、消費者、創作者、創意專業人士，以及行銷和 IT 專業人士。
- 當談到創意方面的 AI，我們正在為每個技能水準的人重新構想流程的每個階段。
- 我們這樣做的前提是，超過 90% 的創作者目前正在積極使用以創意為焦點的生成式 AI。
- 為了支援他們，我們正在將 AI 注入 Adobe Firefly，我們由 AI 驅動的創意工作流程一站式目的地，注入我們的旗艦 Creative Cloud 應用程式如 Photoshop，以及 Adobe Express，這個快速簡便的品牌內容建立應用程式。
- 舉個例子。
- 我們驅動草圖轉圖像、文字轉影片、生成式填充和生成式重新著色等功能的 Adobe Firefly 模型，實際上是使用 P5 和 P6 執行個體進行訓練的，所有資料都儲存在 S3 和 FSx for Lustre 中。
- 這些模型實際上已被用來生成超過 290 億個素材，讓創作者能以無與倫比的創意控制力建立內容。
- 而我們在 Adobe Express 中的 AI 助手現在幫助使用者用對話式編輯重新定義整個創意流程。
- 這些自主式體驗現在由我們的 AI 平台驅動，而我們與 AWS 的關係幫助確保這些 agents 高效且更重要的是安全地運作。
- 談到生產力，PDF 仍然是人們消費資訊的方式。
- 超過 400 億個 PDF 已用 Adobe Acrobat 開啟和分享，每年全球有超過 180 億個 PDF 檔案被我們的客戶建立和編輯。
- 今天，我們正在透過 AI 能力，包括 AI 助手，為數十億商業專業人士和消費者整合生產力。
- 今年八月，我們宣布了 Adobe Acrobat Studio，這是一個前所未有的平台，將 Acrobat、Adobe Express 和 AI agents 整合在一起，讓像你們這樣的使用者能更有效率地處理結構化和非結構化資訊。
- 我們與 AWS 的合作在這裡絕對是關鍵，因為 Acrobat Studio 使用 Amazon SageMaker 以及 Amazon Bedrock 來存取我們和第三方的模型，幫助數百萬使用者更快地進行研究、策略制定、分析和協作。
- Adobe PDF 也是一個新的產品，幫助消費者和商業專業人士透過個人化 AI 輔助支援的對話式知識中心進行協作。
- 最後，在 AI 時代，我們都知道行銷人員的角色已演變為為消費者和客戶編排引人入勝的客戶體驗，透過統一客戶互動的關鍵元素，也就是內容供應鏈以及品牌能見度來支援他們。
- Adobe Experience Platform 是驅動客戶互動的核心基礎，整合 AI 驅動的應用程式和 agents 來推動互動和忠誠度。
- 它以每天超過 35 兆次的受眾區隔評估和超過 700 億次的個人檔案啟動規模運行。
- Experience Platform 使用 AWS 的基礎構件以及創新的蜂巢式架構運行。
- 我們的共同客戶現在可以從像 Redshift 這樣的來源將資料導入 Adobe Experience Platform 來建立這些個人檔案、灌注資料，並在 Adobe 的即時客戶資料平台中使用這些受眾。
- 我認為客戶互動的關鍵是建立符合品牌的內容，在正確的時間、正確的通路、恰好在正確的時刻傳遞，因為行銷人員預期未來兩年內容需求將增長 5 倍，每家企業都需要一個內容供應鏈來管理這些。
- Adobe GenStudio 是我們端到端解決這個問題的方案。
- 而 Amazon Ads 在這裡也是一個關鍵合作，將我們的創意和客戶體驗與創意人員和行銷人員如何將所有想法推向市場進行整合。
- 最後，品牌能見度顯然是行銷長們最關心的事情，因為我們都轉向這些 LLM 來獲取資訊、推薦和購買決策。
- 我們實際上觀察到截至 9 月，AI 流量到美國零售網站的年增率增加了 1100%。
- 透過像 Adobe Experience Manager 以及新推出的 Adobe LLM Optimizer 和 Adobe Brand Concierge 等產品，我們幫助品牌在 AI 搜尋中保持領先。
- 我們對 AgentCore 和 Kiro 幫助我們加速部署所有這些新的自主式能力的前景感到非常興奮。
- 我們已經完成了許多成功的 AgentCore 概念驗證。
- 例如，我們的 Adobe commerce 團隊能夠使用 AgentCore 運行原型遷移評估，幫助客戶在遷移到這個 SaaS 產品時識別和解決相容性挑戰。
- Adobe 已將 AI 融入我們的工具超過 15 年，提供了數百項提升效率和協作的進展。
- 99% 的《財星》100 強公司都在應用程式中使用了 Adobe AI。
- 在所有這些類別中，AWS 幫助我們更快地創新、更有效率地營運，並大規模部署新技術。
- 無論是在我們訓練類別領先的 Adobe Firefly 基礎模型的資料層，還是如 Matt 所說確保我們在 AI 模型方面提供選擇以便我們能持續在創意類別中創新，透過我們增強這個生態系統的 agent 編排，以及最終將 AI 整合到我們所有的應用程式中，讓各種類型的客戶都能輕鬆採用並在他們今天工作的地方實現價值。
- 站在人機互動的交會點上，這是一個非常激動人心的時刻，我相信 Adobe 和 AWS 共同推動的 AI 轉型將為全球數十億人重新定義數位體驗，而且我們非常興奮能與你們所有人合作。
AWS Quick 與 Connect
- 太好了 Shantanu。
- 非常感謝。
- 看到 Adobe 如何在 AWS 之上開創數位體驗真的很令人興奮。
- 現在，透過我們提供的工具和服務，我們知道客戶和合作夥伴會建構大量令人驚嘆的有影響力的 agents，但你也可以預期一些最有能力、最強大的自主式解決方案將直接來自 AWS。
AWS 自主式服務
- 讓我們深入了解其中幾個。
- 當我們在思考應該建構什麼 agents、可以重新構想哪些體驗時，我們專注在我們認為能為客戶帶來差異化專業知識的領域。
- 例如，Amazon 擁有一支非常龐大、多元的全球員工隊伍，我們理解將所有企業資料和系統聯繫在一起以賦能員工的重要性和複雜性。
- 我們著手建構一些能賦能 Amazon 和我們客戶群中的企業員工的東西，這就是為什麼我們建構了 Amazon Quick。
- 透過 Quick，我們的目標是給每個員工一個他們已經擁抱的消費者 AI 體驗，但具有你們完成工作所需的上下文、資料和安全性。
- 就在今天稍早，我談到了當你試圖做出關鍵決策時，深度存取公司資料是多麼重要，而這正是讓 Quick 獨特且強大的因素之一。
- 它將你所有的資料來源彙集在一起，你的結構化資料如 BI 資料、資料庫和資料倉儲，你來自像 Microsoft 365、Jira、ServiceNow、HubSpot 或 Salesforce 等應用程式的資料，以及你所有的非結構化資料，像是你的文件或你在 SharePoint、Google Drive 或 Box 中的檔案，所有你做出好決策所需的資料，我們讓它們能被一套強大的 agents 存取。
- 透過 Quick，你可以獲得豐富的 BI 能力，讓任何人都能輕鬆從所有結構化和非結構化資料來源中發現洞察。
- 你可以進行深度研究。
- 這其實是我個人最喜歡的功能之一。
- 它讓 Quick 能調查複雜的主題，然後可以從你的內部資料儲存庫以及網際網路上的外部資料來源提取資訊，彙整成一份周全、詳細的研究報告，並附帶來源引用，這樣你就能確切知道資訊從何而來。
- 而且你可以建立 Quick Flows，讓你能建立這些小型個人 agents，為你的日常重複性任務自動化流程，為你個人提高效率。
- 這可以幫助你公司的團隊在工作中更有效率和生產力。
- 幾個月前，我們在 Amazon 內部發布了 Quick，今天我們在公司內部已有數十萬名使用者。
- 我們自己的員工從 Quick 獲得的價值坦白說讓我們震驚。
- 團隊告訴我們，他們以過去十分之一的時間完成任務。
- 舉一個例子，我聽到我們內部的 Amazon 稅務團隊建構了一個 Quick agent，幫助他們整合所有的稅務資料來源，無論是來自稽核的專案還是網際網路上的細節，它對任何可能的稅法變更或政策調整進行深度研究，並將所有這些稅務資訊從所有資料來源以單一視圖呈現給他們。
- 然後他們使用 Quick 來視覺化這些資訊，讓他們能即時追蹤法規變更。
- 這些人不是開發者，他們是稅務人員，而且他們不用寫任何程式碼或手動拉取任何報告就能做到這些。
- 現在，當新稅法出現時，每個人都能迅速因應。
- 它消除了這些孤島式的系統，讓團隊能保持合規且主動而非被動。
- 我們一次又一次在公司各處聽到這樣的故事。
- 我們使用 agents 來轉變可能性的另一個地方是客戶服務。
- 這也是 Amazon 非常了解的一個領域。
- Amazon Connect 是領先的雲端聯絡中心解決方案，為各種規模的組織轉變客戶體驗。
- Connect 是將 AI 帶入聯絡中心的先驅。
- 透過 AI 驅動的自助服務，它讓你能智慧地自動解決問題，但它也結合了 AI 驅動的建議來指導你的人類客服。
- Connect 給你這個能力，為你所有的客戶提供個人化、卓越的體驗。
- 看到 Connect 如何快速成長並引領從這些傳統地端環境到雲端、AI 和 agent 驅動的聯絡中心的轉型，真的令人印象深刻。
- 它為 Toyota、State Farm、Capital One 和 National Australia Bank 等全球企業，以及數百家新創公司完成了這項工作。
- 客戶看到了遷移到雲端的影響，而且我們看到這股動能真的在加速業務。
- 事實上，今年早些時候的業績結果中可以看出，Connect 的業務已突破 10 億美元的年度營運規模，同時幫助數萬名客戶更快地發展業務。
- 感謝你們所有使用 Connect 的人。
- Quick 和 Connect 只是 AWS 為客戶提供有影響力的自主式解決方案的兩個例子。
- 接下來，我們要聽到一家快速成長的新創公司如何幫助企業完成更多工作。
Writer 合作
- 為了分享他們如何用 agents 轉變企業中的可能性，請歡迎 Writer 執行長 May Habib。
- 如果 Mars，全球最大的消費品公司之一，能在幾秒鐘內讓每張廣告圖片通過合規審查，在檢查即時完成的同時節省數千小時呢？
- 如果 AstraZeneca，一些最具創新性藥物的製造商，能自動化讓全球各地的治療獲得批准所需的書面作業，節省數月的辛苦手工作業，讓拯救生命的治療更快到達人們手中呢？
- 如果 Qualcomm，全球科技領導者，能即時找出行銷支出最有效率的投放位置，大幅提升活動績效同時在過程中節省數百萬呢？
- 這不僅僅是 AI 的承諾，這一切都在今天、此時此刻發生，透過 Writer 的自主式 AI。
- 我是 May Habib，Writer 的共同創辦人暨執行長。
- 在過去五年中，我們與全球最大的公司在監管最嚴格的產業合作，建構了一個自主式工作平台。
- 早期，我們看到了這些 LLM 出色能力與企業對可靠性、安全性和控制的要求之間的差距。
- 我們做了一個大膽的決定，成為一個全端平台，一個具備企業所需的精確性和合規性的平台。
- 它由我們自己的企業級 Palmyra LLM 驅動，提供能處理最棘手企業工作流程的 agents。
- 為了真正擴展我們的全端願景，我們需要一個具韌性、安全且為企業工程打造的基礎設施供應商。
- 大多數《財星》500 強都運行在 AWS 上，包括我們的許多客戶。
- 所以與 AWS 合作是不需要考慮的事。
- AWS 是唯一一個能讓我們既訓練前沿模型又能安全地將整個平台部署給企業客戶的雲端供應商。
- 我們與 AWS 的合作始於兩年前的模型層。
- 我們剛推出了最新的 Palmyra LLM，在排行榜上取得了頂尖分數。
- 但隨著模型變得更大，訓練和推論所需的運算能力不斷增長，這就是 AWS 堆疊的深度成為策略優勢的地方。
- 我們的基礎建立在 SageMaker HyperPod 上，它為我們提供了大規模模型訓練的強大服務。
- 我們使用 P5 執行個體，很快會用 P6 執行個體來處理繁重的 GPU 工作負載，它們透過 Elastic Fabric Adapter 連接，這就是讓節點間高速通訊成為可能的技術，使我們的訓練運行保持快速和同步。
- 我們還將 HyperPod 與 Amazon FSx for Lustre 配對，這樣我們就能以模型需要的速度獲取資料，同時控制成本。
- 成果是巨大的。
- 我們能夠將運行時間縮短到三分之一，從六週降到兩週，而且我們的訓練管線可靠性提升了 90%。
- 所有這些工作給了我們建構最新前沿模型的算力和穩定性，Palmyra X5 就是在 HyperPod 上訓練的。
- X5 提供了卓越的自適應推理、100 萬 token 的超大上下文視窗，以及從最複雜、大量資料中提取商業洞察的近乎完美的準確度。
- 而且它以令人驚嘆的速度實現這一切。
- 100 萬 token 的提示詞只需 22 秒，多輪函數呼叫只需 300 毫秒，以四分之一的成本超越其他前沿模型。
- 但我們與 AWS 的關係從來不僅僅是建立快速、強大的模型。
- 它一直是關於建構一個能改變企業運作方式的突破性 AI 平台。
- 以 Palmyra X5 作為引擎，我們正在實現這個願景。
- 透過 Writer，Mars、AstraZeneca 和 Qualcomm 等公司的企業團隊透過將 agents 連接到資料、上下文和業務知識來更聰明地工作，轉變關鍵流程，而且商業使用者完全不需要寫一行程式碼。
- Playbooks 是 Writer 的核心。
- 它們讓團隊一次性捕捉一個流程，連結他們依賴的工具、資料和系統，並將它們轉變為可重複的智慧 agents。
- 一個 playbook 成為一個活的、動態的藍圖，指導優秀工作如何完成。
- 而且因為它們在團隊間共享，影響力最大的 playbooks 可以在組織間即時擴展。
- 而且很快，在 AWS 的幫助下，Writer 將引入我們的下一代自我進化 LLM，能夠學習組織如何運作並即時預測需求。
- 它們將成為世界上第一批使用越多就越進步的 agents。
- 但有一個問題懸在這一切之上，對於在座的 IT、安全和合規領導者，那些在出問題時被究責的人，我們如何讓商業團隊能創新但又安全可靠地做到？
- Writer 必須首先是一個可互通的平台，一個能用你已經信任的工具和保護措施在規模上觀察、控制和連接你的 agents 的平台。
- 今天，我們透過推出一套專為企業打造的強大監督工具，將這個範式帶入 Writer。
- 我們讓組織對整個 agent 生命週期有完整的能見度和控制。
- 每個 session 被追蹤、每個輸出合規、每個資料連接器都即時被治理。
- 真正的互通性意味著連接到你信任的系統。
- 所以我們的平台與你已經使用的可觀測性、護欄和系統整合。
- 從今天開始，我們非常高興宣布 Amazon Bedrock Guardrails 現在直接與我們的平台整合。
- （觀眾鼓掌）謝謝你們。
- 這意味著如果你已經在 Bedrock 中設定了你的策略和安全規則，你可以將那些完全相同的護欄應用到 Writer 中使用。
- 你不需要重建任何東西，而且你可以在整個 AI 堆疊中獲得一個一致的合規控制層。
- 我們也知道模型選擇對企業非常重要。
- 所以同樣從今天開始，Amazon Bedrock 的模型可以直接在 Writer 平台內使用。
- 這意味著 AWS 和 Writer 的客戶現在可以在 Writer 上使用不同模型目錄來建構 agents，從我們自己的 Palmyra 系列到你剛才聽到的出色的 Nova 模型以及更多，全部在單一的治理環境中。
- 這是不妥協安全性的終極靈活性。
- 對於像 Vanguard 這樣的組織，Writer 和 AWS 的長期客戶，在信任不可妥協的地方，Writer 和 Bedrock 的整合給了他們在規模上負責任地創新所需的控制。
- 信任是公司從幾個零散的 POC 走向真正治理的、企業範圍的、有影響力的 AI 策略的方式。
- 你無法擴展你不信任的東西。
- 在 Writer，我們的願景是賦能人們轉變工作，而且我們非常自豪能與 AWS 一起做到。
- 非常感謝 May。
- 我們非常高興能幫助像 Writer 這樣的客戶讓 AI 和 agents 為他們的客戶成為現實。
4️⃣ Developer Transformation 開發者轉型
AWS Transform
- 好的，有一類終端使用者我們還沒怎麼談到，那就是開發者。
- 這恰好是 AWS 和 Amazon 擁有非常深厚專業知識的領域。
- 我們知道，對於試圖快速現代化應用程式的開發團隊來說，目前最大的痛點之一就是處理技術債。
- Accenture 估計技術債僅在美國每年就讓企業付出了合計 2.4 兆美元的代價。
- Gartner 說今天 70% 的 IT 預算都被用於維護舊有系統。
- 我們知道這是 AI 可以幫忙的領域。
- 這就是為什麼我們建構了 AWS Transform，幫助客戶擺脫舊有平台，像是 VMware、大型主機和 Windows .NET。
- 以大型主機現代化為例，我們的客戶已經使用 Transform 分析了超過 10 億行大型主機程式碼，將這些大型主機應用程式遷移到雲端。
- Thomson Reuters 每月用 Transform 現代化超過 150 萬行程式碼，從 Windows 遷移到 Linux。
- 我們知道幫助你們更快現代化會非常受歡迎，但天啊，事實證明你們真的非常討厭舊有平台。
- 昨天在拉斯維加斯這裡的慶典場地，你們中一些人可能看到了，很多人觀看並歡呼，我們用起重機懸吊一個已退役的伺服器機架然後將它炸毀，作為用 AWS Transform 粉碎技術債的致敬。
- 這很有趣，但還有很多舊有平台需要去對付。
- 還有很多。
- 在去年推出 Transform 後，我們很快就坐下來開始確定下一步應該處理哪些轉換的優先順序。
- 我們有大量的想法，Lambda 函數升級、Python 升級、也許 Postgres 版本升級，或者也許有人想從 C 遷移到 Rust。
- 但然後我們想到，那專有應用程式和函式庫的更新呢？
- 清單幾乎是無限的。
- 所以我們問自己，為什麼不支援所有現代化？
- 就在昨天，我們推出了 AWS Transform Custom，它給你能力— 那些人對 AWS Custom 很興奮。
- 它給你建立客製化程式碼轉換 agents 的能力，來現代化任何程式碼、API、框架、執行環境或語言翻譯，甚至只有你的公司使用的程式語言或框架，而且客戶已經蜂擁而至。
- 我們已經看到客戶在做 Angular 到 React 的遷移、將嵌入 Excel 表格中的 VBA 腳本轉換為 Python、將 Bash shell 腳本轉換為 Rust。
- 一個很好的客戶範例是 QAD，一家基於雲端的 ERP 解決方案和供應鏈的供應商。
- 他們的客戶在從 Progress Software 專有的進階商業語言的客製化舊版本現代化到他們的 QAD adaptive ERP 平台方面非常困難。
- QAD 轉向了 AWS Transform。
- 他們的這些專案最少需要兩週來現代化，但突然之間，他們在三天內就完成了。
- 我們非常期待看到你們能用什麼方式轉換你們的舊有程式碼。
- 現在，讓所有這些轉換變得更容易的一個好處是，它留下了更多時間讓開發者去發明，這就是讓我們感到興奮的事情。
- 而且事實證明，今天的開發者比以往任何時候都建構得更快。
- AI 軟體工具在過去一年經歷了快速的變化。
- 我們已經從做行內 tab 自動完成的東西，進化到撰寫程式碼區塊，到實際完成簡單的多步驟任務。
- 我們真的看到了整個開發者體驗以及坦白說軟體建構方式被完全重新構想的潛力。
- 我們將 AI 驅動軟體開發中令人興奮的東西，加入了我們認為有機會為它增加結構的想法，使其準備好被企業採用，並被高速協同開發團隊更有效地使用。
- 這就是為什麼我們推出了 Kiro，用於結構化 AI 程式設計的自主式開發環境。
- Kiro 幫助開發者利用 AI 程式設計的速度，但帶有更多結構，讓他們在每一步都坐在駕駛座上。
- Kiro 推廣了規格驅動開發的概念。
- 從簡單到複雜的專案，Kiro 與開發者和團隊並肩工作，將提示詞轉換為詳細的規格，然後透過其進階 agents 轉化為可運作的程式碼。
- 所以你得到和建構出來的就是你想要和期望的。
- Kiro 理解你的提示詞背後的意圖，幫助你和你的團隊在大型程式碼庫中以更少的步驟實作非常複雜的功能。
- Kiro 的反應坦白說是壓倒性的。
- 自幾個月前預覽版推出以來，已有數十萬名開發者使用了 Kiro。
Kiro IDE 與使用者故事
- 讓我們直接從他們口中聽聽 Kiro 對他們的工作有多大的變革。
- 我在幾乎所有的開發工作中都使用 Kiro。
- 我用它提問、用它建立規格。
- 有了 Kiro，在過去五個月中我交付的程式碼比過去十年還多。
- 有了 Kiro，我能和一個夥伴一起工作，感覺像是我們在一起協作專案。
- 它的運作方式就像我的大腦在解決問題時運作的方式。
- 我可以說，「嘿 Kiro，記得我們設計的那個功能嗎？你也能寫一個測試嗎？」- 一旦我把問題拆解開來，我就可以放手讓 Kiro 為我交付。
- 我覺得我的世界剛剛向完全不同的視角打開了。
- 現在一切都感覺是可能的。
- 你可以從零到 POC 快 10 倍。
- Kiro 讓我想建構更多。
- 說真的，Kiro 就是（嗶）太棒了。
- （歡快的音樂）- 我們認為你們都會喜歡 Kiro 如何改變你們的開發工作。
- 因此，我很高興今天宣布，對於任何符合資格的新創公司，如果你在下個月內申請，我們將免費提供一年的 Kiro，最多一百個席位。
- 我們對 Kiro 每天都在讓開發者的生活變得更好的影響感到非常興奮。
- 而且我坦白說對這種開發速度在 Amazon 內部所看到的影響感到驚嘆。
- 事實上，我們是如此震撼，以至於上週，整個 Amazon 決定將 Kiro 標準化為我們的官方內部 AI 開發環境。
- 我們審視了市場上所有的工具，並認定讓我們開發者更快更有生產力的最佳方式就是加倍投入 Kiro。
- 而且你們很多人也在快速做同樣的事。
- 現在，我想花一點時間深入探討我們在影片中聽到的其中一個故事，因為我認為細節非常令人大開眼界。
- 這是來自 Anthony 的引述，他是我們的一位傑出工程師。
- Anthony 正在進行一個重大的重新架構專案，他和團隊最初認為需要約 30 名開發者工作 18 個月才能完成這項工作。
- Anthony 和團隊對自主式 AI 的潛力以及它真正提升產出的可能性很感興趣。
- 所以他們決定要充分利用 Kiro 來交付專案。
- 結果是當團隊開始真正深入並看到自主式工具的全部潛力時，比他們預期的還要好。
- 他們看到透過充分利用自主式開發，一個小得多的團隊實際上可以交付令人驚嘆的成果。
- 不需要 30 名開發者 18 個月完成專案，他們用 Kiro 以 6 個人在 76 天內交付了整個重新架構。
- 這不僅僅是第一代 AI 程式設計工具所看到的 10% 到 20% 的效率提升。
- 這是數量級的效率提升。
- 我認為這是一個非常強大的故事，在過去一個月左右我向幾位客戶分享過，而且他們總是會問，「他們是怎麼做到的？」
- 嗯，一開始團隊確實花了一些時間來完全理解如何最佳地利用自主式工具。
- 他們當然很快就開始看到一些效率提升。
- 但這些坦白說比起變革性更偏向漸進式。
- 但幾週後，他們有了一個頓悟的時刻。
- 他們意識到不能繼續以他們一直以來的方式運作。
- 他們意識到要從 agents 中獲得最大收益意味著改變他們的工作流程，他們想要傾向 agents 的優勢，然後他們必須質疑一些他們一直以來對如何寫軟體的假設。
- 團隊在過程中學到了大量的東西，並且能發現一整系列 agents 如何讓團隊更快交付的新機會。
- 他們的第一個學習是他們如何與 Kiro agents 互動，一開始他們會給工具小型任務以確保能得到可靠的結果，然後不斷地和工具來回溝通。
- 但當他們了解到 agents 擅長什麼、不擅長什麼時，出現了一個轉折點，他們從照看個別任務轉變為指導廣泛的、以目標驅動的成果。
- 而這就是他們看到功能交付速度快速加速的時候。
- 第二，他們想著如何移動得更快，並認識到他們在分配任務給 agent 時思考得太線性了。
- 他們意識到團隊的速度取決於能同時運行多少個自主式任務。
- 如果他們能讓 agent 做更多平行的工作，他們就能更快。
- 所以他們不斷尋找擴展工作負載的方式。
- 最後，團隊觀察到隨著他們擴展，他們自己成了瓶頸。
- 他們必須不斷為 agents 解除阻擋，因為 agents 回來時需要人類的介入或指示。
- 事實證明，讓這些 agents 能獨立工作的時間越長，效果越好。
- 一個明確的例子其實是當他們看自己的 commit 圖表時，毫不意外地，他們看到進度在每個人睡覺時停止了。
- 他們假設如果 agents 能利用那段時間清理積壓工作，團隊早上醒來就會有更多程式碼可以審查，並能持續更快前進。
- 所以我們退後一步反思這些學習，並問自己，「為什麼我們不能擁有能做到所有這些事情的 agents？」
前沿 Agents 總覽
- 這就是為什麼今天我們推出前沿 agents（frontier agents）。
- 前沿 agents 是一個新類別的 agents，比我們今天擁有的能力有著階躍式的提升。
- 我們一般認為有三個因素區分前沿 agents。
- 第一，它們是自主的。
- 你把它們指向一個目標，它們自己想出如何達成。
- 第二，它們必須是大規模可擴展的。
- 當然，個別來說它們可以執行多個同時進行的任務，但你必須能跨同一類型 agent 的多個實例分配工作。
- 第三，這些 agents 需要是長時間運行的。
- 它們可能工作數小時，甚至數天，追求雄心勃勃、有時坦白說模糊的目標，而不需要人類的介入或指示。
- 讓我介紹今天我們要推出的第一個前沿 agent，那就是 Kiro autonomous agent。
Kiro Autonomous Agent
- Kiro agent 是一個改變開發者和團隊建構軟體方式的 agent，大幅提升你的開發團隊的創造力。
- Kiro autonomous agent 在你的工作流程旁運行，維持上下文並自動化開發任務，讓你的團隊永遠不會失去動力。
- 你只需要從待辦清單中指派一個複雜的任務，它就會獨立地想出如何完成那項工作。
- Kiro 現在可以自主處理開發者可能需要的一系列任務，從交付新功能到分類錯誤，甚至改善程式碼覆蓋率。
- 而所有這些都在背景中進行，讓你的工程師能保持在他們的心流狀態，專注於大的想法。
- Kiro autonomous agent 與你已經使用的工具連接，像是 Jira、GitHub 和 Slack，透過這些來建立對你的團隊和工作的共同理解。
- 其中一個超酷的事情是 Kiro agent 就像你團隊的另一個成員。
- 它實際上會學習你喜歡的工作方式，並隨著時間持續加深對你的程式碼、產品和團隊遵循的標準的理解。
- 它將你做的所有事情編織在一起，每一份規格、每一次討論、每一個 pull request，建構這種集體記憶來推動更聰明的開發。
- 讓我們舉一個例子。
- 假設你需要升級一個被 15 個不同微服務使用的關鍵函式庫。
- 現在，如果你用今天的 Kiro 來做這件事，你首先要打開一個 repo，提示它更新函式庫，然後你會審查那些變更，修復它遺漏的任何東西，運行你的測試，並建立一個 pull request。
- 然後你會移到第二個 repo 並重新開始，重新解釋你的上下文，重新提示類似的變更，然後你再做 14 次。
- 每次你都必須批准變更，如果你暫停或回家或類似的事情，你必須在重新開始時提醒 Kiro 所有的上下文，因為它不會在 session 之間維持狀態。
- 讓我們看看用新的 Kiro autonomous agent 這看起來是什麼樣子。
- 首先，你會在 kiro.dev 開始並啟動一個與你的 GitHub repo 關聯的任務。
- 你描述你試圖解決的問題，然後 agent 利用它的推理能力和從先前實作中獲得的知識，在嘗試規劃任務時提出它不理解的澄清問題。
- 憑藉對你整個程式碼庫的深入了解，它會快速識別在所有選定的 repo 中它需要更新函式庫的地方。
- Agent 識別你所有受影響的 repo，分析你每個服務如何使用函式庫，並按照你的模式更新程式碼。
- 它運行完整的測試套件，然後開啟 15 個經過測試、可合併的 pull requests。
- 所有這些都在背景中進行，而你在做其他事情。
- 而且為了更快，它擴展到更多平行任務，每個都有自己的上下文，這樣當 Kiro 在那邊實作你的新函式庫時，你也可以讓它修復你昨晚發現的一個 bug。
- 而且這個 agent 不是基於 session 的。
- 它不會忘記。
- 當你在一個 pull request 中給它關於錯誤處理的回饋時，它會將那個學習應用到接下來的 14 個。
- 當它看到過去類似的架構決策時，它會參考你之前做過的工作。
- 你不用每次都重新解釋你的程式碼庫。
- 它已經知道你如何工作，而且每執行一個任務都會變得更好。
- 我們認為這會幫助你們更快地移動，而且它會完全改變你們對寫程式碼的思考方式。
- 這就是 Kiro autonomous agent，我們對它如何讓你更快地交付更多程式碼感到非常興奮。
- 但另一件我們的團隊在開始寫大量程式碼後迅速發現的事情是，你不能只加速寫程式碼本身。
- 這只是開始。
- 你必須確保軟體開發生命週期的每一個階段都能以相同的速度擴展和加速。
- 否則，你只是在建立新的瓶頸。
- 我們意識到我們學到的同樣教訓，指導結果、擴展、延長 agent 自主權，適用於開發生命週期的幾乎每一個層面。
- 正如我們說過一次也會說一千次的，安全一直是我們在 AWS 的第一優先，而且我們近二十年來一直與你們所有客戶合作，幫助你們在雲端中保護你們的產品。
AWS Security Agent
- 所以我們自然地接下來思考安全前沿 agent 會是什麼樣子。
- 我們知道每個客戶都希望他們的產品是安全的，但你有取捨。
- 你把時間花在哪裡？
- 你是優先改善現有功能的安全性，還是優先把時間花在交付新功能上？
- 在 Amazon 和 AWS，安全是如此深深地嵌入在我們的開發文化和實踐中的一切。
- 我們進行程式碼審查、執行系統架構的安全審查、由大量團隊組成的內部和外部專家進行大量滲透測試，在任何程式碼到達生產環境之前尋找弱點。
- 但事實證明，大多數客戶負擔不起持續這樣做。
- 所以最後要嘛你不做所有這些，要嘛你只是一年做幾次。
- 而現在當開發被 AI 如此加速時，這可能意味著在你的程式碼被嚴格評估安全風險之前，就有多個版本被釋出。
- 我們堅定地相信，要做好安全，你必須從基礎開始將它建構到你做的每一件事中。
- 因此，我非常興奮地宣布推出 AWS Security Agent。
- 這個 agent 將幫助你從一開始就建構安全的應用程式。
- AWS Security Agent 幫助你以更多信心交付。
- 它將安全專業知識嵌入上游，並讓你更頻繁地保護你的系統。
- 它主動審查你的設計文件，也掃描你的程式碼中的弱點。
- 由於 Security Agent 直接與你的 GitHub pull requests 整合，它直接在開發者的工作流程中提供回饋。
- Security Agent 也幫助滲透測試。
- 它把滲透測試從一個緩慢且昂貴的流程轉變為一個隨需的實踐。
- 它讓你能持續驗證你的應用程式安全態勢。
- 我快速展示一下它如何運作。
- 假設你的公司有一個核准的儲存和處理信用卡資訊的方式。
- 但假設你有一個開發者不小心使用了錯誤的方法。
- 這可能意味著大量的返工，在開發流程的後期，它可能意味著丟棄幾個月的工作。
- 然而，AWS Security Agent 可以及早捕捉這些問題。
- 它甚至可以在你寫一行程式碼之前，從你的設計文件中捕捉到，透過持續確保你遵循團隊的最佳實踐。
- 然後當確實要提交程式碼時，AWS Security Agent 可以對照那些相同的要求審查你的 pull request，並標記任何問題，為它發現的任何問題提供簡潔的修復步驟。
- 當你的程式碼完成後，你只需啟動一個滲透測試，agent 會立即投入工作，讓你即時了解它的進度。
- 完成後，你實際上會獲得經過驗證的發現，並附帶建議的修復程式碼來修復它找到的任何問題。
- 不再需要等待資源，不需要昂貴的外部顧問。
- 假設你有多個應用程式準備好部署到生產環境。
- 你可以平行啟動多個 Security Agent，這樣你就可以測試所有的應用程式而不會被瓶頸。
- 現在，你寫程式碼更快了，而且你部署得同樣快，因為你知道它是安全的。
- 當然，你知道接下來是什麼。
- 你必須營運那些程式碼。
- 我們都知道隨著系統成長，你營運的範圍也會成長。
- 而這意味著更多的 DevOps 工作。
- 這是我們 Amazon 內部團隊有大量經驗的事情。
- 在 Amazon，我們一直相信建立卓越客戶體驗的最佳方式是讓開發者營運自己的程式碼。
- 我們已經實踐 DevOps 多年了，而我們學到的是，坦白說隨著你的服務擴展，營運可以佔用你越來越多的時間。
- 我們認為這是另一個我們可以將專業知識交到你們手中的領域。
AWS DevOps Agent
- 介紹 AWS DevOps Agent。
- 這個 agent 是一個前沿 agent，能解決並主動預防事件，持續改善你的可靠性和效能。
- AWS DevOps Agent 調查事件並識別營運改善，就像你經驗豐富的 DevOps 工程師會做的那樣。
- 它從你的資源、它們的關係中學習，包括你現有的可觀測性解決方案、runbooks、程式碼儲存庫和 CI/CD pipelines。
- 然後它關聯所有那些來源的遙測、程式碼和部署資料，讓它們理解你的應用程式資源之間的關係，順帶一提，包括多雲和混合環境中的應用程式。
- 讓我展示這如何改變事件回應。
- 假設發生了一個事件，警報響了。
- 在你的值班工程師還沒來得及登入之前，AWS DevOps Agent 就已經立即回應，診斷出它發現了一個 Lambda 函數嘗試連接資料庫時認證錯誤率升高的問題。
- 它利用你的應用程式拓撲知識以及所有不同元件之間的關係，獨立地從警報回溯找到問題的根本原因。
- 在這個例子中，假設你使用 Dynatrace 作為你的可觀測性解決方案。
- AWS DevOps Agent 使用它與 Dynatrace 的內建整合來為事件提供更多上下文。
- 它理解你所有的依賴關係，也知道建立每一個資源的部署堆疊。
- 當它找到問題時，假設在這個案例中是對你的 Lambda 函數 IAM 策略做了一個變更，它然後告訴你是什麼引入了那個變更。
- 事實證明這是你 CDK 程式碼部署中的一個簡單錯誤。
- 當你的值班工程師登入時，DevOps 前沿 agent 已經找到了問題、建議了一個修正，而且準備好讓你的值班人員審查變更並批准修復。
- 更好的是，它讓你能透過建議一些 CI/CD 護欄來捕捉這類策略變更在部署之前就被攔截，從而防止這類事件在未來再次發生。
- 就是這樣。
- DevOps Agent 永遠在值班，快速且準確，讓即時回應和營運工作變得容易。
- 這三個前沿 agents 合在一起，Kiro autonomous agent、AWS Security Agent 和 AWS DevOps Agent，將完全改變你的團隊建構、保護和營運軟體的方式。
- 讓我們快速看一下你的未來可能是什麼樣子。
前沿 Agents 短劇
- （員工們隱約的聊天聲）（鍵盤敲擊聲）- 嘿，你跑了滲透測試嗎？
- 滲透測試？
- 我還在處理這些單元測試。
- （笑）你真有趣。
- 好像我們有時間做滲透測試似的。
- （活力的音樂）（通知聲此起彼落）（鍵盤敲擊聲）（文字提示音）為什麼升級一個套件會破壞其他五個？
- （嘆氣）- 奇怪。
- 在我這邊正常。
- 太好了。
- 早安。
- 你看起來不錯。
- 凌晨 4 點被叫醒了。
- 我感覺糟透了。
- 乾杯。
- （通知聲此起彼落）- 「你用了最新的 pull request 格式嗎？」（嘆氣）經典。
- （薯片嘎吱聲）（滑鼠點擊聲）- 我們全面綠燈。
- 太棒了！
- 天啊。
- （笑）- 哇！
- 我們做到了。
- 看看那個。
- （笑）- 天啊。
- （文字提示音）（員工嘆氣）（腳步聲）（觀眾鼓掌）- 今天，我很興奮地宣布下一個飛躍。
- 我們正在推出三個新的前沿 agents。
- 這些 agents 可以大幅減少花在這些真正重要但重複、耗時且坦白說不令人滿足的任務上的時間。
- 這把過去需要數月的工作縮短為數小時。
- 哇。
- [Matt] 它們將改變你和你的團隊建構、保護和營運軟體的方式。
- 昨晚有什麼火燒屁股的事嗎？
- 沒有。
- 自動解決了。
- 批准了然後幾分鐘後就回去睡了。
- — 看看你。
- — 謝謝。
- — 好的，我們走吧。
- 我有一些超棒的想法要告訴你們。
- — 哦，酷。
- — 現在還加上滲透測試。
- — 我們認為前沿 agents 只是一個開始，而且我們非常期待看到你們用它們達成什麼。
- — 系統自動平衡充電站之間的負載。
- — 太棒了。
- — [員工] 做得好。
- — 我想我們都能同意這是一個我們會為之興奮的未來。
- 今天是釋放 AI 價值旅程中的一大飛躍。
- 我們為你們帶來了堆疊每一層的強大創新。
- 今天在 AI 和 agents 方面發生的創新確實令人驚嘆。
- 但事實證明，不僅僅是我們的 AI 和自主式服務在本週 re:Invent 上推出大量新創新。
- AWS 還有一堆非常令人興奮的發表。
- 而且因為 AWS 如此廣泛，我知道你們當中許多人也希望聽到我們核心非 AI 服務的精彩新增功能。
- 事實證明這實際上是規劃和進行 re:Invent 主題演講最困難的事情之一。
- 你從演講中刪掉什麼？
- 你如何把所有內容都塞進去？
- 嗯，團隊問我們，當我們的團隊在交付時，他們說，「我會保持創新的步伐。」
- 我說，「嗯，我不知道如何把它塞進一場主題演講裡。」
- 但我說，「你知道，為什麼不試試呢？」
- 所以我說，「如果我們的 AWS 團隊能以如此快的速度交付，我也能提升我的主題演講水準。」
- 我會試試，我們看看。
- 所以如果大家能再跟我幾分鐘，我們還沒結束。
- 我有 25 個令人興奮的新產品發表，橫跨我們的核心 AWS 服務要揭曉，而且我要給自己只有 10 分鐘來完成。
5️⃣ 25 Core Service Launches 25 項核心服務發表
主題演講倒數
- 為了讓我保持誠實，團隊正在推出一個計時器，你們都可以追蹤。
- 好的。
- 好的。
- （觀眾歡呼和鼓掌）好的。
- 好的。
- 各位繫好安全帶。
- 讓我們開始吧。
- 讓我們從運算產品開始。
運算產品
- 我們知道你們喜歡的事情之一是 AWS 持續提供最廣泛的執行個體選擇。
- 所以你總是有最適合你應用程式的執行個體。
- 現在，你們很多人運行記憶體密集的應用程式，像是 SAP HANA、SQL Server 或 EDA。
- 所以今天，我很高興宣布我們次世代的 X 系列大記憶體執行個體。
- 它們由客製化的 Intel Xeon 6 處理器驅動，這些執行個體可以提供最多增加 50% 的記憶體。
- 我也很高興宣布次世代的 AMD EPYC 記憶體處理器，提供 3 TB 的記憶體。
- 你們也告訴我們，你們有很多真正要求嚴苛的 CPU 密集應用程式，像是批次處理和遊戲。
- 所以今天，我們推出 C8a 執行個體，基於最新的 AMD EPYC 處理器，提供 30% 更高的效能。
- 你們很多人也運行需要大量運算和超快網路的安全或網路應用程式的 EC2 執行個體。
- 針對這些，我們宣布 C8ine 執行個體，由客製化 Intel Xeon 6 處理器搭配最新的 Nitro v6 卡驅動。
- 這些執行個體提供每 vCPU 2.5 倍更高的封包效能。
- 那需要真正超快單執行緒頻率運算的應用程式呢？
- 你也有了。
- 推出我們的 M8azn 執行個體，擁有雲端中任何地方可用的絕對最快 CPU 時脈頻率。
- 這些執行個體非常適合多人遊戲、高頻交易和即時資料分析等應用程式。
- 今天，AWS 仍然是唯一提供 Apple Mac 型執行個體的供應商，而且它們非常受歡迎。
- 所以今天，我很高興宣布由最新 Apple 硬體驅動的兩個新執行個體，宣布 EC2 M3 Ultra Mac 和 EC2 M4 Max Mac 執行個體。
- 開發者現在可以在 AWS 中使用最新的 Apple 硬體來建構、測試和簽署 Apple 應用程式。
- 好的，客戶喜歡使用 Lambda 來快速建構函數並大規模運行程式碼。
Lambda Durable Functions
- Lambda 在你想快速執行程式碼時運作得很好，但有時候你有一個使用案例，你的 Lambda 函數需要等待回應，像是等待一個在背景工作數小時甚至數天的 agent。
- 我們想讓你能輕鬆地在 Lambda 函數中直接程式化等待時間。
- 所以今天，我們宣布 Lambda durable functions。
- Durable functions 讓你輕鬆管理狀態、建構長時間運行的工作負載，並內建錯誤處理和自動恢復。
儲存
- 好的，我們做得怎樣？
- 好的，大約三分鐘內八個發表。
- 好的。
- 我最好加快速度。
- 好的，讓我們繼續儲存。
S3 容量和效能
- 我們知道你們喜歡 S3。
- 我之前提到 S3 儲存了超過 500 兆個物件、數百 exabytes 的資料。
- 這是非常多的資料。
- 當我們在 2006 年推出 S3 時，我們有 5 GB 的最大物件大小。
- 然後幾年後，我們將它增加到 5 TB，而且過去十年這一直是足夠大的。
- 但在過去幾年中，資料變得大了很多。
- 「今天能滿足你所有需求的物件大小是多少？我們應該把它加倍？三倍？還是 10 倍？」
- 今天我很高興宣布，我們將 S3 的最大物件大小增加 10 倍至 50 TB。
S3 Tables 和複寫
- 但不僅僅是更大。
- 我們知道你們也想讓 S3 的批次操作更快。
- 所以從今天開始，我們改善了批次操作的效能，大型批次工作現在運行快 10 倍。
- 去年在 re:Invent，我宣布了 S3 Tables，這是一種為 Iceberg 表格最佳化的新 bucket 類型。
- 它非常受歡迎，但隨著表格資料的量開始快速增加，你們要求我們幫你們省錢的方法。
- 所以今天，我們宣布 S3 Tables 的 Intelligent-Tiering。
- 這可以為你的 S3 表格 bucket 中的資料自動節省最多 80% 的儲存成本。
- 你們也要求我們讓跨區域複寫這些表格變得更容易，這樣你就能從任何地方獲得一致的查詢效能。
- 所以從今天開始，你現在可以自動跨 AWS 區域和帳戶複寫你的 S3 表格。
S3 Access Points 擴展
- 今年早些時候，我們推出了 FSx for OpenZFS 的 S3 access points。
- 這讓你能像存取 S3 中的資料一樣存取你的 ZFS 檔案系統資訊。
- 而今天，我們讓你能以這種方式存取更多的檔案資料，將 S3 access points 擴展到 FSx，新增支援 NetApp ONTAP。
- 現在，ONTAP 的客戶也可以無縫存取他們的資料，就像它在 S3 中一樣。
S3 Vectors 和 OpenSearch GPU 加速
- 現在，你們增長最快的資料類型之一是向量嵌入，它被用來讓你的 AI 模型更容易搜尋和理解你的資料。
- 今年早些時候，我們宣布了 S3 Vectors 的預覽版，這是第一個原生支援儲存和查詢向量的雲端物件儲存。
- 今天，我很高興宣布 S3 Vectors 正式可用。
- 你現在可以在單一 S3 bucket 中儲存數兆個向量，並將儲存和查詢它們的成本降低 90%。
- 現在，我預期你們很多人會將 S3 Vectors 與高效能向量資料庫搭配使用。
- 今天，對向量嵌入進行低延遲搜尋最流行的方式是使用 Amazon OpenSearch 中的索引。
- 但你們很多人問我們，「有沒有辦法加速為我所有資料建立索引的過程？」
- 所以今天，我們很高興宣布 Amazon OpenSearch 中向量索引的 GPU 加速。
- 透過使用 GPU 來建立索引，你現在可以以四分之一的成本快 10 倍地建立索引。
- 還剩四分鐘？
EMR Serverless
- 太好了。
- 好的，15 個發表，還剩幾分鐘。
- 讓我們繼續。
- 讓我們繼續到 EMR，我們受歡迎的大數據處理服務。
安全性服務
- 我們在四年前推出了 EMR Serverless，客戶喜歡它因為它消除了運行 PB 級處理的大量繁瑣工作，但事實證明今天它並非完全無繁瑣。
- 客戶仍然需要佈建和管理他們的 EMR 儲存。
- 但不再需要了。
- 從今天開始，我們消除了你為 EMR serverless 叢集佈建本地儲存的需求。
- 好的，讓我們繼續到安全性。
GuardDuty 和 ECS 整合
- 今天，你們數萬人依賴 GuardDuty 來監控和保護你們的帳戶、應用程式和資料免受威脅。
- 今年夏天，我們將 GuardDuty 的延伸威脅偵測新增到 Amazon EKS，而且我們對看到的動能感到滿意。
- 所以當然，我們不會就此停下。
- 今天，我們將這個能力新增到 ECS。
- 現在，你可以對你所有的容器和所有的 EC2 執行個體使用 AWS 最先進的威脅偵測能力。
- 這些對所有 GuardDuty 客戶都是免費啟用的，無額外費用。
- 每個客戶都想快速找到並修復安全問題。
- 越快越容易越好。
- 這就是為什麼我們有 Security Hub，它彙總來自 AWS 和第三方來源的安全資料，幫助你識別潛在的安全問題。
- 今年早些時候，我們預覽了增強版的 Security Hub，而今天，我很高興宣布 Security Hub 正式可用。
Security Hub GA 和功能
- 今天，我們也宣布了幾項新能力，包括近即時風險分析、趨勢儀表板和新的精簡定價模式。
- 營運團隊靠日誌資料生活，但日誌資料到處都是。
- 它們在 CloudTrail 日誌、VPC flow 日誌、WAF 日誌，以及來自 Okta 和 CrowdStrike 等第三方的日誌中。
- 我們認為我們可以讓這變得更好。
- CloudWatch 中新的統一資料存放區，用於你所有的營運安全性和合規資料。
統一 CloudWatch 資料存放區
- 它自動化從 AWS 和第三方收集日誌資料，並將它們儲存在 S3 資料中，或在 S3 Tables 中，讓找到問題和釋放新洞察變得更容易更快。
- 好的，大家跟住我。
- 我們快到了。
資料庫服務
- 我們在最後的衝刺了。
- 讓我們繼續到資料庫。
- 我不會讓你們舉手，別擔心。
- 但我知道你們當中許多人仍然在支援一些舊有的 SQL Server 和 Oracle 資料庫。
- 要脫離它們很難，但至少 AWS 讓管理它們變得更容易。
- 我們看到了你們，別擔心，我們來幫忙。
RDS 容量和授權增強
- 我從你們許多人那裡聽到的一件事是，你們的舊有資料庫隨著時間成長得非常大。
- 它們實際上比我們在 RDS 中支援的還要大。
- 所以我很高興宣布，我們將 RDS for SQL Server 和 Oracle 的儲存容量從 64 TB 增加到 256 TB。
- 這也帶來了 4 倍的 IOPS 和 I/O 頻寬改善。
- 這將讓從地端遷移現有工作負載並在 AWS 上擴展變得容易得多。
- 我們也想為你們提供更多控制來幫助你們最佳化 SQL Server 授權和管理成本。
- 所以我們做了幾件事。
- 從今天開始，你可以指定為你的 SQL Server 資料庫執行個體啟用的 vCPU 數量。
- 這幫助你減少從 Microsoft 獲得的 CPU 授權成本。
- 而今天，我們也新增了對 SQL Server Developer Edition 的支援，這樣你可以在沒有授權費用的情況下建構和測試你的應用程式。
運算儲蓄方案延伸
- 哦，循環音樂響起來了。
- 好的，這意味著我只剩下幾秒鐘了，但還有最後一件我認為你們都會喜歡的事。
- 幾年前，我們推出了運算儲蓄方案，作為簡化跨我們整個運算產品承諾的方式。
- 從那天起，我就經常被問到，「什麼時候我能獲得統一的資料庫儲蓄方案？」
- 就在這裡。
- 從今天開始，我們推出資料庫儲蓄方案。
結語
- 這些可以為你在資料庫服務的所有使用上節省最多 35%。
- （蜂鳴器響）（觀眾鼓掌和歡呼）呼。
- 好的，搞定了。
- 在不到 10 分鐘內為你們所有人帶來了完整的第二場主題演講份量的新能力。
- 現在，你們有整整四天的時間可以去學習。
- 深入研究細節並開始發明。
- （籃球彈跳聲）感謝各位來到 re:Invent。
- 好好享受。
✳️ Reference 參考資料
- AWS re:Invent 2025 - Keynote with CEO Matt Garman - YouTube 完整主題演講影片
- Amazon Bedrock - 基礎模型和 agent 能力
- Amazon Bedrock AgentCore - 建構、部署和營運 agents 的平台
- Amazon Nova - Amazon 的前沿 AI 模型
- Amazon Kiro - 規格驅動開發的自主式 IDE
- AWS Transform - 程式碼轉換和現代化服務
- Amazon Connect - AI 原生客戶服務平台
- Amazon Q - AI 驅動的商業和開發者助手