(圖說：AWS re:Invent 2025 Keynote with Dr. Swami Sivasubramanian。圖片來源：AWS。)
AWS Agentic AI（自主式 AI）副總裁 Dr. Swami Sivasubramanian 在 re:Invent 2025 發表以開發者為核心的主題演講，展示 AI agents 如何改變我們建構軟體的方式。從 Blue Origin 運用自主式 AI 將月球基礎設施設計速度提升 75%，到 Vercel 以自駕式基礎設施服務 1,100 萬名客戶，這場主題演講證明了 Agentic AI（自主式 AI）agents 的時代已經到來。Nova Act 以 90% 的可靠度支援企業工作流程的發布，標誌著生產環境自動化的重要轉捩點。
✳️ tl;dr 重點摘要
一個主題「Agentic AI（自主式 AI）」貫穿全場，分為五大段落：
- 理解 Agents：Agents 能感知環境、將目標轉化為可執行步驟，並持續學習；不同於提供建議的聊天機器人，agents 會主動調查並啟動解決方案。
- 建構 Agents：Strands Agent SDK（超過 500 萬次下載）與 Amazon Bedrock AgentCore 提供模型驅動開發，具備 Identity、Policy、Evals 及 Episodic Memory 等能力。
- 客製化模型：Amazon Bedrock 中的 Reinforcement Fine-Tuning 可帶來 66% 的準確度提升；Nova Forge 透過在中期訓練階段混入專有資料來建立客製化前沿模型。
- 確保信任：Amazon Nova Act 透過結合自動推理與 LLMs 的神經符號式 AI，達到 90% 的可靠度；Cedar 策略語言提供確定性控制。
- 重新想像工作方式：Kiro autonomous agent、AWS Security Agent、AWS DevOps Agent，加上 Amazon Connect 的 8 項新自主式功能與 Nova Sonic 整合。
內容大綱
✳️ Structure 演講結構
Dr. Swami Sivasubramanian 這場 100 分鐘的主題演講乍看之下內容龐大，但實際上圍繞著一個主題和五大段落來組織。演講以開場與結尾串接，中間穿插客戶案例影片貫穿全場。
一個主題「Agentic AI（自主式 AI）」貫穿全場，分為五大段落：
- 理解 Agents
- 建構 Agents
- 客製化模型
- 確保信任
- 重新想像工作方式
邏輯脈絡由淺入深、由內而外。「理解 Agents」說明 agents 是什麼；「建構 Agents」提供快速開發的工具；「客製化模型」透過客製化提升效率；「確保信任」解決生產環境的可靠性問題；「重新想像工作方式」則展望 agents 如何改變未來的工作模式。這個結構反映了 AWS「解決客戶真實問題」的承諾，每個段落都有真實的客戶故事作為佐證。
✳️ Highlights 精華摘要
理解 Agents
- Agent 與 Chatbot 的差異
- 聊天機器人告訴你該調查什麼；agents 會主動調查、診斷問題，並啟動解決方案
- Agents 能感知數位環境並與之互動，將高層次目標轉化為可執行步驟，並持續學習與改進
- Agent 的三個組成元素
- 模型（Model）：負責推理、規劃與執行的大腦
- 程式碼（Code）：定義 agent 的身份、建立能力範圍，並引導決策
- 工具（Tools）：透過後端 API、知識庫、程式碼直譯器或網頁瀏覽器賦予 agents 實際行動力
建構 Agents
- Strands Agent SDK
- AWS 開源其內部 agent 開發框架，採用模型驅動方式
- 現代 LLMs 能自主處理各種情境，無需預定義工作流程或複雜的編排程式碼
- 自五月預覽版以來已超過 500 萬次下載
- 現已支援 TypeScript 及邊緣裝置，適用於汽車、遊戲與機器人應用
- Amazon Bedrock AgentCore
- 最先進的 agent 平台，具備模組化、可自由組合的元件
- 支援任何框架與任何模型
- 主要功能：
- AgentCore Identity：只需幾行程式碼即可在 AWS 與第三方應用（Slack、Zoom）之間實現無縫 IAM
- AgentCore Policy：使用 Cedar 授權語言搭配自動推理，提供即時確定性控制
- AgentCore Evals：在上線前透過數千種模擬情境測試 agents
- Episodic Memory：Agents 記住過往經驗並從中學習，適應不同情境
- Blue Origin
- 運用 Agentic AI（自主式 AI）加速太空探索
- TEAREX 月球熱電池由 AI agents 設計，開發速度提升 75%，質量改善 40%
- 超過 2,700 個 agents 在生產環境運行，驅動 350 萬次互動，員工採用率達 70%
- Cox Automotive
- FleetMate agent 將車輛估價時間從 2 天縮短至 30 分鐘以內
- PGA Tour
- 基於 AgentCore 建構的多 agent 內容生成系統
- 寫作速度提升 1,000%，成本降低 95%
客製化模型
- Reinforcement Fine-Tuning（RFT）
- 現已在 Amazon Bedrock 中提供，讓進階強化學習不再需要博士級專業知識
- 只需選擇基礎模型、指向 Bedrock 日誌、選擇獎勵函數即可
- 相較基礎模型平均帶來 66% 的準確度提升
- SageMaker AI Serverless Model Customization
- 支援 Amazon Nova、Qwen、Llama、Deepseek，可直接部署至 Bedrock 或 SageMaker
- 同時提供自助式與 agent 驅動的自然語言互動體驗
- Nova Forge
- 首創的客製化前沿模型建構方案
- 在中期訓練階段混入專有資料與 Amazon 精選資料
- 無需承擔完整訓練生命週期的成本與工程投入
- SageMaker HyperPod Checkpointless Training
- 訓練韌性的革命性方法
- 在分散式叢集中持續保存模型狀態
- 即使跨越數十萬個加速器，也能在數分鐘內恢復，完全無需人工介入
- Vercel
- 以自駕式基礎設施服務 1,100 萬名客戶
- AI SDK 每週下載量達 500 萬次
- Thomson Reuters 僅用 3 名開發者在 2 個月內建構稅務諮詢 agent，服務 1,300 家會計事務所
確保信任
- Automated Reasoning（自動推理）
- Byron Cook（AWS 傑出科學家）說明神經符號式 AI 如何將形式化數學邏輯與 LLMs 結合
- 應用於 Kiro IDE 的規格驅動開發
- 搭配 Cedar 用於 AgentCore Policy，提供可稽核的控制機制
- Amazon Nova Act（GA）
- 用於建構與管理 agent 叢集的新服務，支援生產環境 UI 工作流程自動化
- 在企業工作流程場景中達到 90% 可靠度
- 緊密的垂直整合：模型 + 編排器 + 執行器 + SDK 共同訓練
- 在數百個模擬企業環境（CRM、HR 系統、問題追蹤器）的「健身房」中進行強化學習
- 在 REAL Bench 和 ScreenSpot 基準測試中表現優於或持平最佳模型
重新想像工作方式
- 三個全新自主式 agents
- Kiro autonomous agent：解決待辦事項、分類錯誤、提升程式碼覆蓋率
- AWS Security Agent：設計審查與弱點掃描
- AWS DevOps Agent：可觀測性與待命支援
- Amazon Connect Agentic AI（自主式 AI）功能
- 八項新功能
- 整合 Nova Sonic 支援自然語音對話
- 即時建議
- AI 驅動的預測性洞察，結合點擊流資料與客戶檔案
✳️ Watch the Video 觀看影片
內容來自 AWS re:Invent 2025。完整場次：AWS re:Invent 2025 - Keynote with Dr. Swami Sivasubramanian。
✳️ Knowledge Graph 知識圖譜
(更多關於 Knowledge Graph…)
Overview 總覽
Agent Lifecycles 生命週期
Model Customization 模型客製化
✳️ Transcripts 逐字稿
1️⃣ Understanding Agents 理解 Agents
開場敘事
- （明亮的音樂）[Presenter] 人類的故事，由那些被驅動去創造、願意被誤解的人所建構，是那些挑戰極限的人。
- 如果遠見者擁有一種不僅僅是回應的技術呢？
- 如果它能做出決策呢？
- 並且超越想像地交付成果？
- 如果它能賦予科學家一千間實驗室的力量呢？
- 或者透過深化人類協作來擴大整個工作團隊？
- 或者以光速裝備工程師探索未知之外的工具。
- 這就是 Agentic AI（自主式 AI）。
- 這個故事現在由你來建構。
- 你會重新發明什麼？
- 請歡迎 AWS Agentic AI（自主式 AI）副總裁 Dr. Swami Sivasubramanian。
- （觀眾鼓掌）好的，大家好，特別是我那些留在學校看我演講的孩子們。
- 嗨 Anika。
- 嗨 Anta，不過現在回去上課吧。
- 好的。
個人故事
- 好的。
- 到目前為止 re:Invent 真是一段令人難以置信的旅程。
- 我很期待與大家分享今天我們為你準備的內容，不過現在讓我們試試不一樣的事情。
- 我希望你閉上眼睛一下。
- 我希望你回想一下你第一次成功建構出你第一個程式的時候。
- 你還記得那種成就感和自由感嗎？
- 你可以創造任何你想要的東西。
- 那種你剛解鎖了一個全新可能性世界的興奮感？
- 現在，張開你的眼睛。
- 對我來說，那是我第一次為科學計算機寫程式的時候。
- 回到我高中的早期，你可能會想說，這是什麼奇怪的選擇。
- 你為什麼選那個？
- 因為我沒有科學計算機。
- 我有一個簡單的那種，但我花了好幾次才弄對，因為我在成長過程中家裡沒有電腦，而我的高中只有一台電腦是大家共用的，所以我每週大概只能用 10 到 20 分鐘。
- 所以每次輪到我用的時候，我必須打字打得很快然後嘗試。
AI Agent 的能力
- 當然我第一次並沒有做對，因為我沒有處理好所有字串解析和各種東西的邊界情況，對吧？
- 但當我終於做對的時候，我非常自豪，因為我建構了一個我以前沒有的東西。
- 突然間我心中的那個孩子覺得我可以解決極其困難的問題，建構我沒有的東西。
- 最終，我可以自由地想像和創造。
- 今天，全世界的建構者正在 AI agents 的幫助下體驗同樣的自由感。
- 但是什麼讓這個時刻如此特別，成為科技產業、科技歷史上的遊戲規則改變者呢？有兩件事。
- 第一，誰能建構正在快速改變。
- 我們不再受限於對程式語言語法的熟悉程度，或者必須記住數百個 API 呼叫和參數等等。
- 第二，你能多快建構也在改變。
- 過去需要數年的現在只要數月，過去需要數月的現在只要數週甚至數天。
- 我們正生活在巨大變革的時代。
- 有史以來第一次。
- 我們可以用自然語言描述我們想完成的事情，agents 就能產生計劃。
- 它們編寫目標、呼叫必要的工具並執行完整的解決方案。
- Agents 賦予你無限制建構的自由，大幅加速你從想法到產生影響的速度。
真實世界案例
- 以 Ocean Cleanup 為例。
- 他們正在解決一個非常重要的全球性問題，從我們的海洋和河流中清除塑膠碎片。
- 他們利用 AI 的力量來保護海洋生物和生態系統，同時也防止微塑膠進入我們的食物鏈。
- 他們的 AI 系統能夠優化塑膠偵測模型、預測碎片移動模式，並最大化清理行動的效率，以便他們能夠在全球最具影響力的地點進行作業。
- 或者 Allen Institute，他們正在開發先進的神經網路模型，用於分析單細胞多模態腦細胞資料，希望能解鎖突破性的新療法。
- 但現實是，建構和擴展這些驚人的 agent 系統比它們試圖解決的問題更加困難。
- 所以讓我們先來看看那些讓你能夠端到端地建構可靠、準確且可擴展的 agent 系統的工具、協定和框架。
- 但首先，讓我們來看看什麼是 agent。
- Agents 是那些能夠感知並與數位環境互動的存在，它們能將高層次的目標轉換為一系列可執行的步驟，並且持續學習和提升效率。
- 但你們當中許多人可能想知道，agent 和生成式 AI 聊天機器人有什麼不同？
- 現在想像一下，在過去幾天裡，你的網站流量下降了 40%。
- 如果你問一個聊天機器人說，為什麼我的流量下降了？
- 它會回覆類似這樣的東西：這真的很令人擔心。
- 你應該檢查你的分析工具看看哪些頁面受到影響，當然也要檢查最近的變更並查看你的伺服器日誌等等。
- 非常好的、有幫助的建議，但完全沒有用。
- 但另一方面，agent 會拉取分析資料來識別受影響的頁面。
- 它們查詢你的部署系統以了解最近的程式碼變更。
- 它們掃描伺服器錯誤日誌，一旦識別出問題，它就會建立一個包含問題和受影響程式碼的 bug ticket，甚至提供修復方案讓工程團隊審查和部署。
- 實際上，聊天機器人告訴你要調查什麼，而 agent 會調查、診斷問題並啟動解決方案。
- 今天，agents 正在轉變各個產業。
- 從軟體開發到藥物研究，從精準農業到建築設計。
- 它們能夠像我們人類一樣使用和操作介面的能力，正在從根本上改變我們建構應用程式的方式，大幅降低建立強大有用解決方案的技術門檻。
- 現在在其核心，每個 agent 都由三個重要元件建構而成。
- 第一個是模型，它作為 agent 的大腦，負責推理、規劃和執行。
- 第二個是程式碼，它識別或定義 agent 的身份，建立其能力並引導決策過程。
- 然後第三個是工具。
- 這些是讓 agents 活起來的東西，無論是後端 API 或者是存取知識庫和資料庫、程式碼解譯器或網頁瀏覽器，這些都能實現真實世界的行動。
- 真正的力量在於你如何將所有這些元件編排在一起。
- 歷史上，將這些 AI 元件串接在一起是一個非常勞力密集且脆弱的過程。
- 是的，框架有所幫助，但它們仍然需要深厚的專業知識。
Agent 的組成元件
- 開發者發現自己在硬寫出複雜的決策樹程式。
- 這些是為每個可想像的場景設計的複雜狀態機，帶有僵化的預定義工作流程。
- 這產生了大量的樣板程式碼，不僅難以維護，而且在動態世界中幾乎不可能調整，因為模型無法可靠地推理下一步。
- 開發者必須手動編排每一個工具呼叫和狀態轉換。
- 當意外發生時（而且總是會發生），agents 經常會失敗。
- 但隨著模型變得更加精密，並獲得了真正的推理能力，一切都改變了。
- 當錯誤發生或存在模糊性時。
- 模型不是僅僅失敗，它能夠透過推理找到替代方案。
- 我們不再需要靜態編排了。
- 在這個新世界中，我們相信建構 agents 的方式應該非常簡單。
- 讓 agent 自主規劃其行動，創造性地串連所有工具，並即時適應意外情況。
- 而開發者只需定義這些元件：模型、程式碼和工具。
- 這就是啟發我們團隊建構 Strands Agent SDK 的原因。
- 當我們的團隊開始為自己的產品建構 agents 時，我們退後一步重新思考未來的 agent SDK 應該是什麼樣子。
- 一個能讓開發者用最少的程式碼建立 agents 的 SDK。
- Strands 採用模型驅動的方法，讓現代 LLM 能自主處理 agent 可能面臨的任何場景。
- 這消除了對所有這些預定義工作流程和複雜編排程式碼的需求，同時也提升了 agent 的準確性和程式碼維護性。
- 而且 Strands 真的做到了。
- 我們在所有 agentic 系統中消除了數千行程式碼，同時提升了 agent 準確性和程式碼維護性。
- 認識到其潛力後，我們將 Strands 開源，以賦能每位開發者建構自己的 agents。
- 自從五月的預覽版發布以來，我們與社群不懈地合作，新增了新功能和能力。
- 我們有數百個社群貢獻，幫助新增了新的模型提供者、A2A 支援、多 agent 分支等功能。
- 讓你能建構更強健且可擴展的 agents。
- 而在本週，今天我們新增了兩項令人興奮的新能力。
- 第一個是支援 TypeScript，將 Strands 擴展到世界上最受歡迎的程式語言之一。
- 第二個是支援邊緣裝置。
- 你應該去看看那個很酷的機器人展示，他們在汽車、遊戲和機器人領域解鎖了新的 agentic 能力，讓自主式 AI agents 能在邊緣端運行。
- 現在各產業的開發者都愛上了 Strands agent 的簡潔性和可擴展性。
- 所以在短短幾個月內，Strands 已被下載超過 500 萬次，這一點也不令人意外。
- 而今天我們生活在一個幾乎每個開發者都開始在他們的筆記型電腦上實驗和建構 AI agents 的世界。
2️⃣ Building Agents 建構 Agents
挑戰與生產環境需求
- 在如此多的活動進行中，如此多的概念驗證正在發生的情況下，現在領導者們在問，為什麼他們看不到這些驚人的 agents 在生產環境中運行。
- 問題在於大多數實驗和概念驗證並非為了生產環境就緒而設計。
- 我們需要縮短這個差距，突破概念驗證的牢籠。
- 要更快進入生產環境，你需要的第一件事是能夠大規模快速部署 agents 的能力。
- 這意味著擁有能從零快速擴展到數千個並行會話的基礎設施，以及能夠支援所有這些長時間運行的 agents 並具備正確的會話隔離功能，防止敏感資料在不同 agents 之間共享。
- 接下來，你的 agents 必須處理大量的資料和邊界情況。
- 要進入生產環境，你的 agents 需要精密的記憶系統，能夠管理對話和互動中的上下文，並跨會話記住使用者偏好。
- 然後是身份和存取管理的挑戰。
- 如果沒有適當的安全控制，agents 可能會不經意地存取或暴露它們不應該接觸的敏感資料。
- 在生產環境中，你需要堅如磐石的身份和存取管理來驗證使用者身份，授權 agents 可以代表使用者存取哪些工具，並跨 AWS 和第三方服務管理這些憑證。
- 當然，當你進入生產環境時，你的 agent 不會孤立存在。
- 它會是更大系統的一部分，一個不能因為某個整合中斷就崩潰的系統。
- 所以你需要無縫的工具連接性，讓 agents 能安全地與你的應用程式需要的 API、資料庫和服務整合。
- 最後，你需要能夠在問題出現時觀察和快速除錯的能力。
- 因為你根本無法修復你看不到的東西。
Amazon Bedrock AgentCore 總覽
- POC 從來不是基於這些需求來設計的，而且大多數現成的解決方案都無法有效處理所有這些變化。
- 它們是僵化的，缺乏模組化。
- 所以你最終只能建構自訂邏輯，用膠帶把所有這些解決方案黏在一起，增加不必要的複雜性，把你真的很酷的原型變成一個拖慢創新速度的維護噩夢。
- 這就是為什麼我們建構了 Amazon Bedrock AgentCore。它是最先進的 agent 平台，用於安全地大規模建構、部署和營運 agents。
- 就像擁有一個工具箱，裡面每個工具都是為你在建構和營運 agents 時會遇到的問題而設計的。
- 人們喜歡它是因為它能與任何 agentic 框架和任何模型搭配使用。
- 讓你自由選擇最適合你使用案例的工具。
- 而且它是模組化的，所以你可以混搭，只使用你的解決方案需要的部分。
- AgentCore 承擔繁重的工作，讓你能專注於最重要的事情：建立那些解決真實世界商業問題的突破性體驗。
- 現在讓我展示這在實踐中帶來的不同。
- 以身份和存取管理為例，這是那些臭名昭著的時間黑洞之一，能夠讓任何專案脫軌。
- 透過 AgentCore Identity，你只需幾行程式碼就能獲得跨 AWS 應用程式和第三方應用程式（如 Slack 和 Zoom）的無縫身份存取管理。
- 現在想像從頭建構同樣的能力，想想數週的認證流程、安全協定、API 整合、無盡的邊界情況。
- 你寧願寫和維護哪一個？
- 使用 AgentCore 和 Strands 帶來的 agent 建構便利性已經在幫助客戶轉變他們的業務。
Cox Automotive 案例研究
- 就像 Cox Automotive，他們重新發明了在整個組織中建構和部署 agents 的方式。
- 現在讓我們來看他們的故事。
- 如果你想想經營一家經銷商或汽車製造商，那些都有後台流程。
- 很多時候這些都是手動的、繁瑣的。
- 在 Cox Automotive，我們全速推進，積極朝向顛覆性的正向價值邁進，改變遊戲規則，改變你買車的方式。
- 改變你賣車的方式，改變你維修車輛的方式，並幫助我們的客戶以他們從未想過的方式提升自身營運水準。
- 我們也將一個內部使用案例用 agentic 解決方案來處理，我們稱之為 FleetMate。
- 所以原本每位估算師需要兩天才能完成的事情，我們把它縮短到每輛車不到 30 分鐘。
- AWS 真的以真正的合作夥伴身份出現。
- AgentCore 讓我們能夠快速行動，建構 agents，讓 agents 與其他 agents 協作。
- 他們讓我們能夠參與產品路線圖，幫助塑造我們需要的東西，以便按照客戶期望的速度進行創新。
- 讓 agents 活起來，讓我們能夠跨越不同的業務領域工作，找到我們可以將 agentic 思維帶入工作流程並創造價值的機會。
- 我們 agentic 故事中最令人興奮的事情之一，是看到一位工程師使用像 AgentCore、Strands 和 Bedrock 這樣的工具來建構 agentic 解決方案。
- 他們的思維被徹底顛覆了。
- 他們可以從不認識工具、不知道怎麼用，到在幾天、有時幾小時內產出成果，這些都是他們從未想過可能的事情。
如果你也對建構新世代後台流程系統、或是 New ERP 有興趣，
歡迎找 Kyklosify Consulting 聊聊。
亦可延伸閱讀 2025 年度回顧：慢下來，才能更快。
Cox Automotive 成功案例
- 看到這些真的非常令人興奮。
- 哇，看到 Cox 的轉型如何開啟一個充滿可能性的世界，真的很令人興奮。
- 正是這樣的故事驅動著我們的創新引擎。
- 就在昨天，Matt 發布了兩項直接來自你們回饋的新能力。
- AgentCore Policy，它提供對 agent 互動和行為的控制，同時給予 agents 推理和採取最佳行動來完成請求的自由，讓你能建構可信賴的 agent 能力。
- 還有 AgentCore Evals（agent co-evals），它能在 agents 接觸你的客戶之前，在數千個模擬場景中評估和測試 agents。
- 所以你不再需要在發布 agent 時雙手合十祈求好運了。
- 但今天我想探索一些觸及 agents 真正智慧核心的東西：記憶。
- 想想你在最喜歡的當地餐廳的體驗。
- 什麼讓它如此卓越？
- 因為他們記得你。
- 他們知道你的名字，知道你的座位偏好，知道你最喜歡的餐點。
- 在 agentic 世界中，我們有短期記憶處理，即當前對話的流程。
- 還有長期記憶，擷取跨會話的洞察，但有些東西缺失了，就是使用者行為背後的時間和原因。
- 例如，想像一下這個場景，你正趕著搭飛機出差。
- 作為一個獨自旅行者，我一個人旅行時只帶隨身行李，而且我喜歡最後一個上飛機。
- 這意味著我的 agentic 旅行 agent 會在出發前 45 分鐘為我預訂航班，包含我所有的 TSA Pre 和 Clear 以及其他一切。
- 我會以完美的時間點做到這一切，但快轉三個月後。
- 這次我要帶著一個 4 歲和一個 10 歲的孩子。
- 再加上我太太和我帶的足以裝備一小支軍隊的行李。
- 我的 agents 需要記住去年夏天那次混亂的家庭旅行。
- 它需要識別這個模式，自動預訂我的交通工具，至少提前兩小時到達機場。
- 因為帶孩子旅行會改變一切。
- 所以你需要的不只是過去的記憶，還有當前互動的脈絡。
- 這就是為什麼我們推出了 Episodic Memory，這是 AgentCore 長期記憶的新功能，讓 agents 能夠記住並從過去的經驗中學習。
- 這項新功能讓你能夠建構真正理解使用者行為的 agents，它們透過識別模式和跨越相似情境自動適應，並主動提供有效的解決方案。
- 它讓 agents 能夠儲存和回憶特定的經驗或互動作為離散的情節，類似於我們記住生活中特定事件的方式。
- 你的 agents 經歷越多，它們就越聰明。
- 現在讓我們來看客戶如何用 AgentCore 解鎖創新的自由。
- Heroku 透過其 AI 即平台服務，幫助企業在雲端建構和部署應用程式。
Blue Origin 與太空探索
- 他們使用 AgentCore 建構 Heroku bots，讓任何人都能使用自然語言建構和執行完整的 web 應用程式。
- 透過 AgentCore runtime，他們能夠加速開發速度，僅用五週就從概念驗證走到上線。
- 還有 PGA Tour，體育界的先驅和創新領導者，他們建構了一個多 agent 內容生成系統來為數位平台建立文章。
- 這個建構在 AgentCore 上的新解決方案，讓 PGA Tour 能夠為球場上的每位球員提供全面報導，將內容寫作速度提高了 1,000%。
- 同時也實現了 95% 的成本降低。
- 最後是 Caylent，一家新世代雲端服務公司，幫助企業建構和擴展他們的雲端旅程。透過在 AgentCore 上重建，Caylent 刪除了數千行客戶編排程式碼。
- 路由和記憶功能都被替換為一個開箱即用的受管理無伺服器 agent 平台。
- 現在他們在幾天而非幾週內就能交付新的整合，營運開銷減少了 70%，並解鎖了像是八小時工作流程和多輪 agent 推理等在自建系統上根本不可能實現的新能力。
- 接下來，我想邀請 Blue Origin 技術轉型副總裁 William Brennan，來說明他們如何利用 AWS 進行 AI 驅動的太空探索。
- （明亮的音樂）（觀眾鼓掌）大家早安。
- 在 Blue Origin，我們正在為地球的利益建造通往太空的道路。
- 在流行文化中，太空探索者一直都有 AI 夥伴。
- 想想你童年那些著名的探索者吧。
- 那個農場男孩和他的機器人，星艦艦長和他的聲控電腦。
- 是的，還有那位 AI 失控的任務指揮官。
- 我們長久以來夢想著一個人工智慧和太空探索並行的世界。
- 從火箭到 AI，在 Blue Origin，我們不再夢想未來，我們正在建造它。
- 這對我們來說並不新鮮。
- 我們的 New Shepherd 火箭成為第一艘自主垂直發射和著陸的太空船。
- 讓自動化和可重複使用性成為安全可靠的夥伴。
- 從那以後，86 位人類在 15 次飛行中將生命託付給了 New Shepherd 的自動化系統。
- 體驗了他們一直夢想的地球景觀。
- 通往太空的道路隨著上個月 New Glenn 軌道火箭的成功發射和著陸而變得更加顯著和強大。
- 下一個前沿，包括增加發射頻率、月球登陸器、在月球上的永久存在，都建構在那個自動化之上，並使用最新的 AI 創新來擴展它。
- 我們降低太空存取成本的使命透過 Agentic AI（自主式 AI）來加速，它能學習、適應、做出決策，能推理、規劃並解釋其思考過程。
- 這就是為什麼坦白說，我覺得我確實擁有世界上最酷的工作。
- 我們要重返月球，這次是要長期駐留，而 Agentic AI（自主式 AI）是幫助我們更快更便宜地到達那裡的新隊友之一。
- 在整個 Blue Origin，通往太空的道路正由令人難以置信的有才華和創造力的人們建造。
- 工程、製造、軟體、供應鏈。
- 作為一家垂直整合的公司，我們從概念到營運，執行太空任務的完整生命週期。
效率挑戰
- 建造和發射火箭需要來自數十個學科的巨大專業化能力。
- 而這些實踐知識在通用大型語言模型中找不到。
- 它們埋藏在我們的系統、資料庫和部落知識中。
- Agentic AI（自主式 AI）建立擁有特定知識和客製化工具存取權的領域專家 agent 團隊的能力，已完全轉變了 AI 在 Blue Origin 的應用。
- 採取民主化的 AI 方法，Blue Origin 的每個人都被期望建構和與 AI agents 協作，以更好更快地完成工作。
- 透過為我們的團隊配備有知識和能力的 agents，我們能夠大幅加速產品生命週期、提高生產率，最重要的是降低太空存取成本。
- 我們的建構者和創造者的起點是我們的內部生成式 AI 平台，我們稱之為 BlueGPT。
- 來了。
- BlueGPT 團隊。
- 它是一個安全的 LLM 和 MCP 閘道器、agent 市場和多 agent 編排系統，建構在核心 AWS 元件上，包括 Bedrock、Strands agents、EKS、OpenSearch、RDS、Lambda，讓我們的 agents 能存取所有領先模型、客製化知識庫和數十種工具。
- Agentic AI（自主式 AI）在 Blue Origin 透過有機的顛覆性採用而爆發式成長。
- 超過 2,700 個 agents 已被建立並在 agentic 市場中用於生產環境，在過去一個月中驅動了超過 350 萬次互動，涵蓋 70% 的員工。
- 關於 Team Blue 如何使用 agents 更好更快地工作，我可以舉出太多例子。
- 95% 的軟體工程師正在使用 agents 來寫程式碼。
- New Glenn 正在使用 agents 來加速發射審批，供應鏈和製造部門使用 agents 來處理設計變更和工作訂單。
- 但我真正想談的是 TEAREXs。
- 不，不是太空恐龍，而是 Blue Origin 的一個創新專案。
- TEAREX 代表 Thermal Energy Advanced Regular Extraction（熱能先進規律提取），這是一個由我們的太空探索系統小組開發的全新能力，用於解決月球最嚴峻的挑戰之一：在相當於 14 個地球日的冰凍黑暗中度過月夜。
- 我這裡就帶了它的一部分，這東西真的很驚人。
- 正如你在影片中看到的，這個電池，TEAREX 從月球表面取得月球風化層或月塵，讓它在這個腔體中循環，然後透過輕量級熱交換器提取熱量，再讓它通過這個圓柱體，以保護機器的其餘部分免受敏感和磨蝕性岩石的影響。
- 設計為可運行數年，這個熱循環在月晝期間會反轉，為風化層重新充能以供下一個月夜使用。
- 將月塵變成電池。
- 雖然 TEAREX 很驚人。
- 但更驚人的是幫助建造它的 AI agent 團隊。
- 一個 BlueGPT agent 幫助我們處理了詳細需求。
- 另一個 agent 幫助我們建立了系統架構。
- 不過我最喜歡的 agent 之一是我們的模擬和分析 agent，我們能夠自動化迭代設計循環以快速改進產品。
- 配合客製化知識庫並連接到 AI 原生工具，如 nTop 用於質量和效能優化。
- 在 STARI digital 中進行確定性驗證和產出物管理。
- 這些 agents 執行複雜的物理模擬，根據結果迭代設計，直到滿足需求為止。
3️⃣ Customizing Models 客製化模型
模型客製化技術
- 全部都在 GPU 加速的 EC2 上運行。
- TEAREX 是我們認為 Blue Origin 工程團隊未來樣貌的絕佳範例。
- 小型專家團隊與大型 AI agent 團隊合作，以十倍的效率交付成果。
- 而且速度比以前快了數個量級。
- 效益是巨大的。使用 agents，我們的工程師能夠比傳統方法快 75% 以上交付高效能產品，質量比原始設計改善了 40%。
- 我理解，你們大多數人不是在建造火箭或月球基礎設施，但你們確實在處理專業知識和客製化工具，我認為你們可以從我們使用 agents 的一些經驗中受益。
- 第一，我建議你把 AI 的採用視為每個人的工作，而不僅僅是技術團隊的工作。
- 民主化 agent 的建立和使用。
- 一個簡單且使用者友善的介面讓公司 70% 的人採用了。
- 第二，我鼓勵你讓創新的過程保持混亂，但讓發現變得容易。
- 一個公開的市場或 agent 應用程式商店，在這方面真的幫助了我們很多。
- 提供易於使用的評估工具，讓你的團隊能夠測試和發現他們的 agents。
- 第三，讓 AWS 處理 LLM agent 原語和擴展，專注於使用這些工具為你自己和你的客戶解決問題。
- 透過 Agentic AI（自主式 AI），我們相信未來就是現在，只是尚未均勻分布。
- 我們還沒有用 AI 開發所有產品，但我們會的。
- 未來將有數百萬人在太空中生活和工作。
- 我們相信一個可以用 agentic 方式設計整支火箭的世界，一個人就能發射 100 支火箭，而不是 100 個人發射一支火箭。
- 我們與 AWS 的合作沒有放緩。
- 我們正在 AgentCore 上建構企業知識圖譜，轉變我們所有資料的 AI 可存取性，我們也很期待在月球上用我們的自主月球探測車測試一些在 AWS GPU 上訓練的自建模型。
- 我們才華橫溢的 Blue Origin 員工和 AI agents 團隊將繼續成為這項快速創新的燃料，建造通往太空的道路。非常感謝。
監督式微調
- 謝謝 William。
- 看到客戶甚至在太空探索中利用 agents，真的非常迷人。
- 現在隨著 agents 變得更容易建構，下一個大問題出現了：我們如何讓它們更有效率？
- 今天現成的模型擁有廣泛的智慧。
- 它們可以處理複雜的工具使用、多步驟推理和意外情況，但它們並不總是最有效率的。
- 而這個效率不僅僅是關於成本，它關於延遲。
- 你的 agent 能多快回應？
- 它關於規模。
- 它能處理尖峰需求嗎？
- 它關於靈活性。
- 你能快速迭代和改進嗎？
- 這些是大規模部署 AI 的實際現實。
- 那麼我們如何應對這些挑戰？
- 大多數 agents 大部分時間花在例行操作上。
- 這些像是寫程式碼、分析搜尋結果、建立內容和執行預定義的工作流程。
- 如果我們事先知道這些任務，我們可以專門為它們客製化模型。
- 模型客製化讓我們能建構出在大規模部署時具有效率同時達到正確效能的 agents。
- 所以問題不是你是否應該客製化你的模型，而是你能多快開始？
- 所以現在讓我們來探索可用的技術，以及我們如何幫助你將這個願景變為現實。
- 我們要看的第一個技術是監督式微調。
- 把它想成是教你的 AI agent 成為專家而不是通才。
- 就像把一位家庭醫生變成一位專注於你確切需要的心臟科醫生。
- 這是大多數團隊開始的地方。
- 而且理由非常充分，它很實用。
- 你不需要龐大的運算預算或機器學習博士學位就能開始。
模型蒸餾
- 你從一個預訓練模型開始，在精心策劃的 agent 特定資料集上訓練它，包含工具使用模式、多步驟推理軌跡和成功的任務完成記錄。
- 這會建立永久性的行為變化，它們不需要冗長的提示詞，並且可以在基礎模型表現不佳的特定任務上大幅提升效能。
- 但問題來了。
- 由於過度訓練，你的模型可能會過於專注於特定任務，以至於失去那些讓你當初選擇大模型的驚人能力。
- 所以這裡成功的關鍵是質量勝過數量。
- 一個包含 10,000 個精心策劃的 agent 互動的資料集，會勝過數百萬個通用範例。
- 這樣想吧，你寧願從 10,000 段世界級外科醫生執行你確切手術的錄影中學習手術，還是從數百萬個隨機 YouTube 影片中學習？
- 選擇是顯而易見的。
- 下一個技術是模型蒸餾。
- 當你有部署限制（如記憶體限制）需要部署一個更小更快的模型時，你應該使用模型蒸餾。
- 把這個方法想成是建立一個聰明的學徒，從大師工匠那裡學習，但他們可以用一半的工具以兩倍的速度工作。
- 所以你拿一個大型強大的教師模型，訓練一個小得多的學生模型，不僅模仿答案，還模仿它們如何思考和推理。
- 學生學習它們的信心水準、決策模式，甚至辨識策略。
- 在這裡我們經常看到高達 10 倍的速度提升，同時保留教師 95% 到 98% 的效能。
- 這就是客戶來電三秒延遲與獲得幾乎即時回應之間的差別。
Agent 客製化技術
- 代價是你需要那個高效能的教師模型，而蒸餾需要大量的運算資源。
- 但一旦你得到了那個高效的蒸餾模型，每次部署都會帶來回報。
- 然後是強化學習。
- 模型透過獲得好結果的獎勵和壞結果的懲罰，從行動的結果中學習。
- 有兩種類型的 RL：來自人類回饋的 RL 和來自 AI 回饋的 RL。
- 在人類回饋中，你向人們展示同一客戶查詢的多個 AI 回應，請他們從最好到最差進行排名。
- 然後我們使用這些排名來訓練一個獎勵模型，它學會像這些人類評估者一樣思考，成為你的自動化品質評分器。
- 以下是它的運作方式。
- 你的 agent 執行一個行動，然後獎勵模型給它一個金星或者說「太糟了，再試一次」。
- Agent 透過試錯來學習，就像我們在很多情況下做的一樣。
- 當結果無法以程式化方式定義時，這個方法特別出色。
- 你如何用程式寫出「聽起來有同理心但又專業」？
- 你就是做不到，但人類看到就知道。
- 現在你的模型也能學會辨識它。
- 在用 AI 回饋取代人類排名的強化學習中，我們使用強大的 LLM 來評估和排名這些回應。
- 這比人類快得多、便宜得多，而且更一致。
- 它非常適合有明確對錯答案的結果，讓我們能擴展到數百萬個範例。
- 它也獎勵好的過程，不僅僅是答案。
- 模型學會一步一步地策略性思考，這正是 agents 需要的。
- 想想看，當一個 agent 在排除一個複雜問題時，你不只是想要最終答案，你想要邏輯性的診斷步驟、正確的釐清問題和有條理的問題解決方式。
- 那就是策略性思考，那就是 RL 所教導的。
- 雖然 RL 非常強大，但 RL 技術的實施可能是一個挑戰。
- 你需要博士級的獎勵建模、策略優化和整合回饋的專業知識。
- 然後還有設定複雜的分散式基礎設施，花數月開發卻不保證它會成功。
- 還有成本。
- 我們在談的是 6 到 12 個月的專案，在高階運算資源上運行，大多數公司根本負擔不起。
- 所以你必須妥協。
- 你要麼接受效能不佳的通用模型，要麼花數百萬美元用強化學習客製化模型。
- 然後當你的工作負載模式改變時，你又要重新開始這整個昂貴的過程。
- 所以我們想，如果我們能移除所有複雜性和成本，同時仍讓你能存取這些先進的訓練技術呢？
- 這就是為什麼今天我們在 Amazon Bedrock 中提供 Reinforcement Fine-Tuning（RFT）。
- RFT 幫助客戶在不需要深厚機器學習專業知識或大量標記資料的情況下提升模型準確性。
- Bedrock 自動化整個 RFT 工作流程。
- 讓這項先進的模型客製化技術對日常開發者也能使用。
- 你今天就可以從 Amazon Nova 開始，我們很快也會開始支援開放模型。
- 運作方式非常簡單。
- 你首先選擇要修改的基礎模型，將其指向你的 Bedrock 日誌並選擇一個獎勵函數，其中最簡單的是基於 LLM 的評判。
- 就這樣。
- 在幕後，Bedrock 處理強化學習實施的所有複雜性，為大多數使用案例達成客製化和易用性之間的正確平衡。
- 它平均在基礎模型之上提供 66% 的準確性提升。
- 這就是這些技術有多強大。
- 雖然 Bedrock 提供了一個簡單且強大的模型微調方式，但有更多客戶想要完全控制他們的客製化技術並利用自己的資料。
- 想想看，一家法律事務所的競爭優勢是它累積的知識庫和推理模式。
- 在這裡，從頭訓練模型確保了這些專有的專業知識保持機密，同時也給予他們競爭優勢。
- 一家醫療保健提供者需要在特定病患結果上訓練的模型，而不僅僅是通用的醫療資料。
- 這正是我們建構 Amazon SageMaker AI 的原因。
- SageMaker 給你建構、訓練和部署你獨有的 AI 模型所需的一切，無論規模大小。
- 它支援知識蒸餾、監督式微調和直接偏好優化。
- 你可以做全權重訓練或參數高效微調。
- 無論你的使用案例需要什麼。
- 透過 SageMaker 的 ID 和 ML ops 能力。
- 你可以在數週而非數月內從想法到生產。
- 像 Dhan 這樣的客戶，他們建構了一個深度理解印度金融市場複雜性的大型語言模型。
- 他們從 Mistral 7B 作為基礎模型開始。
- 他們建構了 Arthur M，一個專門的 7B 參數模型，使用持續預訓練、微調和知識蒸餾等訓練方法的組合。
- 他們的解決方案使用 Amazon SageMaker 進行模型建構和訓練，使用 Bedrock 進行教師模型支援。
- 新的客製化模型在單一 GPU 基礎設施上運行，88% 的情況下優於最先進的模型，同時以極低的營運成本提供更好的效能。
- 然而，讓 SageMaker AI 如此強大的靈活性也意味著你必須在眾多決策和技術障礙中找到方向來實現你的目標。
- 想想當你想用你的資料客製化模型時，你實際上在承諾什麼。
- 首先你要定義目標和選擇評估標準。
- 你在優化準確性還是延遲還是成本？
- 然後你要選擇微調、RAG 還是也許從頭預訓練。
- 然後是有趣的部分。
- 資料準備。
- 你在清理資料集、檢查偏差、確保一切格式正確，任何做過這個的人都知道，它從來不會像你希望的那樣乾淨。
- 然後你在啟動基礎設施、設定訓練工作、看著這些損失曲線並調整所有超參數。
- 當凌晨兩點東西壞了，猜猜誰會收到那個警報？
- 最後，經過數週的工作，你有了一個模型，但等等，現在你需要評估它、為生產優化它，並確保它符合你公司的 AI 治理標準。
- 然後結果是，一個本應非常令人興奮的 AI 專案變成了數月的艱辛挑戰性工作，才能看到任何商業價值。
- 如果我們能把這段旅程從數月壓縮到短短幾天呢？
SageMaker 無伺服器客製化
- 這就是為什麼今天我很高興宣布在 SageMaker AI 中發布新的無伺服器模型客製化能力。
- 透過這個版本，你可以客製化熱門模型，如 Amazon Nova、Qwen、Llama、Deepseek，並只需幾個步驟就能直接部署在 Bedrock 或 SageMaker 上。
- 這帶來兩種體驗。
- 你可以根據你的舒適程度選擇正確的方法。
- 一種是喜歡自己掌控的人的自助式方法，另一種是使用 AI 專家的 agent 驅動體驗，適合喜歡在車上開啟自動駕駛的人。
- 每個部分都讓你存取新的技術，如 RL、RFT 和 DPO，並基於最適合的模型，無論是你的選擇還是 agent 的選擇。
- 現在預覽中推出的 agent AI 體驗移除了繁重的工作，讓你能專注於結果。
- 你使用自然語言來說明你的使用案例，AI agent 會引導你完成完整的客製化工作流程。
- 它首先分析你的場景以推薦正確的微調技術。
- 然後如果需要，它會為你的模型客製化生成合成資料集。
- 然後它設定整個無伺服器環境來訓練模型，無需任何手動介入。
- 最後，它將訓練後的模型與基礎模型進行評估，以確定客製化是否成功。
- 所以現在過去需要許多 ML 工程師和數月的試錯過程，現在只需幾天就能完成，全部由一個了解最佳實踐並為你承擔繁重工作的 agent 引導。
- 雖然這些模型客製化技術讓你能建構出大規模部署時具有效率的 agents，但與客戶密切合作幫助我們識別了另一個關鍵差距。
- 傳統技術無法提供具競爭力的應用程式所需的領域特定智慧、準確性和性價比。
- 特別是當你需要深度理解你的產業資料和工作流程的模型時。
- 例如，一家藥物探索公司需要一個深度理解分子結構、蛋白質交互作用和其治療領域特定臨床資料的 AI 模型。
- 通用模型缺乏那種專業知識，微調根本無法嵌入對其專有研究的基礎理解。
- 現在，你們很多人可能會問，Swami，為什麼你不能使用我們之前談到的任何客製化技術？
- 簡單的答案是，這些技術是在一個不是為該領域設計的模型之上添加知識。
- 這就像教一個通用翻譯者一些醫學術語，和從一開始就訓練一個醫學翻譯者之間的差別。
- 這意味著今天，如果你想要一個真正客製化的基礎模型，你最終要從頭開始。
- 你需要數百萬美元的運算資源、數月的訓練時間和專業的 ML 專家。
- 你必須管理大規模的基礎設施，而且你從零開始，沒有經過驗證的基準線，也不保證成功。
- 這就是為什麼客製化基礎模型一直是資金充裕的組織和 AI 新創公司的專屬領域。
- 但現在有了 Matt 昨天發布的 Nova Forge，你擁有一個首創的計劃，提供你用 Amazon Nova 建構自己的前沿模型的最簡單且最具成本效益的方式。
- 你可以存取中間檢查點，並在訓練中期混入你的專有資料和 Amazon 策劃的資料，無需擔心完整模型訓練所需的運算、資料和時間。
- 結果是一個針對你的產業和使用案例量身打造的前沿智慧模型。
- 同時保留 Nova 的基礎知識、安全性和可靠性，全部無需完整訓練生命週期的成本和工作量。
- 現在我們非常專注的另一個領域是幫助你建構和運行具成本效益和效能的 agents，那就是基礎設施。
- 這就是 SageMaker HyperPod 登場的地方。
- HyperPod 將傳統上複雜且耗時的管理訓練和部署模型基礎設施的過程轉變為一個完全受管理的服務。
- 它移除了無差異化的繁重工作，跨數千個 AI 加速器進行擴展，具備自動工作負載優先排序，並將模型開發成本降低高達 40%。
- 最關鍵的是，它讓你完全可見和控制不同任務如何被排列優先順序，以及運算資源如何分配給每個任務，讓你能最大化利用這些昂貴的資源。
- 然而，當你在建構或訓練模型時，出現故障並不罕見。
- 而隨著你的模型變得更大，需要更大的訓練叢集，故障變得更頻繁且需要更長時間來解決。
- 為了處理這些意外故障，HyperPod 自動儲存模型快照或檢查點，當故障發生時，從先前儲存的檢查點恢復。
- 但這種傳統的基於檢查點的恢復並不總是容易的。
- 你必須暫停整個叢集，然後診斷問題，然後從安全的檢查點恢復。
- 在這整個過程中，昂貴的 AI 資源閒置數小時，讓你的財務長徹夜難眠。
- 所以我們想，如果我們能找到一種方法來提升訓練韌性並減少停機時間呢？
- 這就是為什麼今天我們宣布在 SageMaker HyperPod 上推出 Checkpointless Training。
- 透過這項新功能，我們大幅減少了恢復開銷。
- 因為這個過程不再需要回滾部分訓練，最多只需回滾一個部分訓練步驟。
- 這是模型訓練的一個典範轉移，能在數分鐘內自動從基礎設施故障中恢復，零手動介入，即使叢集跨越數十萬個 AI 加速器。
- 我們實現這一點的方式是持續在分散式叢集中保存模型狀態。
- 所以當出了問題時，不需要恐慌並回滾到某個舊的檢查點。
- 相反地，它平順地替換故障硬體，並使用點對點傳輸從附近健康的加速器抓取確切的模型狀態。
- 所以現在你獲得更快的恢復和模型訓練中顯著的成本節省。
- 而現在透過我們今天宣布的所有這些發布，我們很興奮能給你建構高效模型所需的工具。
Vercel AI Cloud
- 現在讓我們聽聽 Vercel 的 CEO 和創辦人 Guillermo Rauch 怎麼說。
- 他已將這些原則付諸實踐，利用 AWS 建構高效且可擴展的工具，為今天數百萬開發者帶來真正的價值。
- 大家好。
- 很高興能和大家一起在雲端。
- 當我在阿根廷長大的時候，我在家用電腦上解構網站，透過 FTP 把檔案傳到伺服器上並與朋友分享連結，將我自己的想法帶到生活中。
- 那是最棒的感覺，我可以就這樣建構。
- 而且我從未停止建構。
- 我用每一種工具和每一個框架來建構，這最終讓我建立了自己的框架，就像大家都會做的那樣：Next.js。
- 透過 Next.js，我們讓建構高品質應用程式對任何人都變得可及。
- 從地球上最大的企業到只有一個想法就起步的獨立開發者。
- 問題是，即使有了 Next.js，我花幾個小時就能建構一個應用程式，然後卻要花數週設定基礎設施才能讓它上線。
- 而且我不只是想要簡單，我想要大規模的頂尖效能，而且我現在就要。
- 這個想法引領我建構了 Vercel。
- 10 年後，Vercel 現在賦能超過 1,100 萬客戶建構、擴展和保護全球 web 應用程式，無需管理基礎設施。
- 每月服務超過 1 兆個請求。
- 現在 AI 正在改變我們建構什麼以及如何建構。
- 介面正在變成對話，工作流程正在變得自主。
- 我們正在見證從網頁到 AI agents 的轉變。
- 這可能是我們作為開發者和技術人員在職業生涯中看到的最重要的轉變。
- 這就是 Vercel AI Cloud 誕生的原因。
- 為 AI 時代重新定義完全受管理的基礎設施。
- 我們稱之為自動駕駛基礎設施。
- 你寫一個應用程式，你推送程式碼，最佳的基礎設施就自動為你配置、編排和優化。
- Vercel 作為一個持續運行的系統，觀察每一個輸入，從你寫的程式碼、你發布的程式碼，到你的使用者產生的流量，並將這些資料轉化為即時的洞察和優化。
- 你可以專注於你的業務、你的產品、你的客戶。
- 我們知道這行得通。
- 因為我們每天都在大規模地與客戶一起證明這一點，但也因為我們自己建構了 Vercel。
- 猜怎麼著？
- Vercel 上的 Vercel，而 Vercel 由 AWS 驅動。
- 這意味著只需一次 Git push，你就能享受完全自動駕駛的 AWS 基礎設施的好處。
- 所以讓我們來看看實際運作。
- 首先是 v0。
- v0 是那個最初夢想的實現。
- 當我在阿根廷拼湊我的網站時，我希望存在的東西。
- 你說出你的想法，幾秒鐘後你就有了一個可運作的應用程式。
- 自推出以來，v0 每天服務數百萬個請求。
- 這之所以可能是因為在底層，v0 運行在 Vercel 上，而 Vercel 運行在 AWS 上，模型推論由 Amazon Bedrock 提供。
- 當我們在建構 v0 時，我們的工程師只需寫程式碼、部署到 Vercel 並擴展，無需配置 AWS 原語。
- 這就釋放了團隊的時間。
- v0 團隊的時間可以專注於新穎的 AI 挑戰，每週都有新模型、新想法和新技術出現。
- 為了跟上並以 AI 的速度前進，我們建構了 AI SDK。
- 把它想成 Next.js，Next.js 為建構頁面做了什麼，AI SDK 就為建構 agents 做了什麼。
- 當然我們先為自己建構了它，然後讓它可供所有人使用。
- 它讓 AI 變得簡單、模型無關且可擴展。
- 今天 AI SDK 每週被下載大約 500 萬次。
- 透過 AI SDK，任何人都能用 AI 建構，無論是你的第一個 AI 應用程式還是你已經在大規模運營。
- 像 Thomson Reuters，他們的 co-counsel AI 助理服務律師、會計師、審計團隊。
- 他們使用 AI SDK 和 Vercel，一個只有三名開發者的團隊在短短兩個月內建構了他們的稅務諮詢 agent。
- 而且已經被 1,300 家會計事務所使用。
- 現在他們正在將整個程式碼庫遷移到 AI SDK，淘汰跨 10 個提供者的數千行程式碼，將一切整合到一個可組合且可擴展的系統中。
- 三名開發者、兩個月、數千家事務所。
- 可以是你們當中的任何人。
- 所以當我們從頁面轉向 agents，從像素轉向 token 時，重新運用過去的經驗是有幫助的。
- 網路之所以能擴展是靠 CDN，CDN 提升了速度和可靠性，這就是為什麼我們建構了 AI gateway。
- 把它想成 token 的 CDN。
- 它自動路由推論。
- 它增加故障轉移和關鍵控制。
- AI Gateway 建構在同一個全球網路上，在 20 個區域為我們所有客戶服務，靠近你的使用者和你的 AWS 資料。
- 這個網路運行在經過實戰驗證的 AWS 基礎設施上，包括 Global Accelerator、Shield、S3、EC2 等。
- 但這裡有下一個挑戰。
- AI 正在改變我們工作負載的特性。
- 傳統應用程式需要在毫秒內載入，但 agents 可以思考數分鐘甚至數小時，很快就會是數天。
- 所以 serverless 在按需擴展方面一直很好，對吧？
- 這也是 agents 需要的，但它在我們所謂的閒置時間方面並不那麼好。
- 這就是我們建構 Fluid compute 的原因。
- 它是為 AI 優化的運算。
- 由 AWS 驅動，Fluid 適應每一種工作負載，無論是頁面還是 agents，你的函數按需擴展。
- 但關鍵的是，你只需為實際使用的活躍 CPU 時間付費，這是完全自動駕駛的運算基礎設施。
- 我們的 AI cloud 超越了 Vercel 自身的服務，提供對更多 AWS 解決方案的無縫存取，如 AgentCore、Heroku 和 RDS。
- 我們建構網路的方式正在改變。
- 你將與 v0 和 Kiro 這樣的 agents 一起工作。
- 這些 agents 將使用 Next.js 和 AI SDK 等框架來寫程式碼。
- 而它們將部署到自動駕駛基礎設施上。
- 這是由 Vercel 驅動、AWS 支撐的網路未來。
- 謝謝。
- 謝謝 Guil。
- Vercel 是一個很好的例子，展示了 agents 能多快地幫助一個企業成長和繁榮。
- 他們不僅在幫助終端使用者建構和運行智慧型 agents，還在幫助 Vercel 的建構者啟動全新的開發者生態系統。
- 現在，當我們將更多任務交給 AI agents 並要求它們代表我們自主行動時，我們需要能夠信任它們會按預期執行任務。
- 雖然我們大多數人花了整個職業生涯建構準確且可靠的系統，agents 引入了一套全新的挑戰，需要全新的方法。
- 在 AWS，我們幾年前建構的第一批 agents 之一是現在 Kiro CLI 的早期原型。
- 我們發現雖然它運作得很好，但在某些情況下 LLM 會產生幻覺 API 呼叫。
- 當然我們不能總是說，嘿，產生幻覺沒關係。
- 然後我們聚在一起，帶來了一群我們的科學家、機器學習科學家，我們也聯繫了自動推理團隊，看看我們是否能用現在我們稱之為神經符號 AI 的方法來解決這個問題。
- 實際上，我們正在為 LLM 建立所謂的陰陽互補。
- 所以今天我們為你準備了一個特別的驚喜。
- 我們帶來了 Byron Cook，AWS 傑出科學家，自動推理領域的最高權威，來解釋我們如何在 AWS 中利用自動推理來幫助我們的 agents 更值得信賴。
- 嘿，Swami。
- 好的，讓我們從一個問題開始。
- 你今天有多信任 agents？
- 例如，你信任它們會把錢匯到正確的地方嗎？
- 或者你信任它們在代表你行動時會遵守當地法律嗎？
- 讓一個 agent 存取你的信用卡，就像讓一個青少年拿你的信用卡在網路上使用一樣。
- 當然，他們可能會代表你完成很多事情，但你可能最終會擁有一匹小馬或一倉庫的糖果。
- 所以挑戰在於 agents 是基於大型語言模型的，而大型語言模型會產生幻覺，對吧？
- 它們在面對複雜規則或邏輯時會犯錯。
- 它們的推理包含邏輯錯誤。
- 所以想像一個 agent 在解讀退票政策時犯了錯誤。
- 現在我們在不該給錢的地方給了錢。
- 這不是那種我們會在生產環境中保留很久的 agent。
4️⃣ Ensuring Trust 確保信任
信任與自動推理
- 更糟糕的是，LLM 可以被欺騙，對吧？
- 惡意行為者可以精心製作輸入來欺騙 LLM。
- 今天這其實不難做到。
- 這是因為大多數 agentic 系統使用統計方法（如 LLM 作為評判者）來執行其準則。
- 在涉及信任、金錢或人命等敏感事務的情況下，這永遠行不通。
- 所以當我們不信任 agents 時，我們傾向於過度補償，對吧？
- 我們在每一步都引入額外的人工監督，對吧？
- 我們硬寫程式它們將採取的步驟。
- 這兩種技術都降低了 agents 的創造力和自主性，而這恰恰是我們一開始對 agents 感到興奮的原因。
- 所以我們想要的是一種在一開始就輕鬆指定我們對 agents 約束的方式，對吧？
- 給予 agents 盡可能多的自由，同時定義它們可以安全運作的範圍。
- 然後我們想要確保它們會遵循這些約束，即使約束是微妙或複雜的。
- 好消息是，我們已經擁有了為此目的所需的大部分技術。
- 這就是為什麼 Swami 請我今天上台來告訴你們我的科學學科：自動推理 (automated reasoning)，以及我們如何將它應用於 Agentic AI（自主式 AI）。
- 自動推理是對數學邏輯中證明的搜尋，以及非常詳細的驗證。
- 這和古希臘時代 Euclid 等人執行的推理類型相同。
- 在我們的脈絡中，我們可以推理一個電腦程式的所有可能執行路徑，就像 Euclid 在證明畢達哥拉斯定理時推理所有可能的直角三角形一樣。
- 所以在某種意義上我們兜了一圈，對吧？
- 我們取用 2,000 年前的想法，將它們應用於當今科技領域最棘手的挑戰之一。
- 考慮一個我們想要確認資料在儲存前已被加密的系統。
- 我們可以將該屬性寫程式為一個邏輯公式，即時態邏輯，然後使用數學邏輯的技術來證明該屬性確實始終為真。
- 此外，我們使用符號技術、符號邏輯，這讓我們能確認我們正在推理系統的所有可能輸入以及系統在執行期間可能達到的所有可能配置。
- 在 AWS 內部，我們實際上已經使用這項技術超過十年了。
- 我們一直在對我們內部的 AWS 系統進行推理。
- 例如，我們的虛擬化堆疊、加密堆疊、身份系統、網路系統，而在外部，客戶可以直接存取這個學科的工具。
- IAM Access Analyzer、VPC Reachability Analyzer 和 S3 Block Public Access 都是基於這項技術。
- 而在 AWS 之外，我們看到人們在關鍵任務系統中使用這個領域。
- 關鍵任務的場景，像是航太、鐵路轉轍和工業控制系統。
- 基本上任何失敗不可接受的地方。
- 現在我們將同樣的技術帶入 Agentic AI（自主式 AI）的世界。
- 這種融合，正如 Swami 提到的，形式推理和大型語言模型的融合通常被稱為神經符號 AI，其中神經代表我們使用的統計方法，符號代表我們在底層使用的符號公式或符號邏輯。
- 那麼我們如何將自動推理與 LLM 搭配使用？
- 一種方法是使用自動推理來驗證輸出。
- 輸出可能是程式、可能是給 agents 的指令，或可能是問答配對。
- 如果自動推理工具認可了大型語言模型的答案，我們就沒問題了，對吧？
- 但如果我們發現問題，我們可以推回給語言模型讓它再試一次。
- 這建立了一個給予我們證明的回饋循環。
- 另一種方法是反過來，在自動推理的輸出上訓練語言模型。
- 例如，今天許多模型提供者使用 Lean 定理證明器來建立無限量的邏輯嚴密且可靠的訓練資料。
- Deepseek 就是一個使用 Lean 定理進行訓練的模型提供者範例。
- 然後第三種方法是在 LLM 推論基礎設施深處嵌入一個自動推理驗證器。
- 這方面的一個範例叫做受限寫程式。
- 想像一個 LLM 正在回答「法國的首都是什麼？」這樣的問題。
- 它正要回答一個像 B 的 token，對吧？
- 如果我們在語言模型旁邊掛載一個形式推理表示，我們不需要讓語言模型完全回答。
- 我們可以做的是在推論狀態中請求該表示根據形式推理模型檢查答案。
- 然後我們可以引導語言模型不回答字母 B，而是回答字母 P 代表 Paris。
- 所以在某種意義上，我們正在將推理左移到推論基礎設施中。
- 今年夏天我們推出了 Kiro，Amazon 的新 agentic IDE。
- 透過 Kiro，開發者可以使用自然語言功能來定義完整的應用程式或應用程式中的功能。
- 讓 Kiro 與眾不同的是它的規格驅動軟體開發方法。
- 規格在我心中有非常特殊的位置。
- 它們確實是自動推理的基礎。
- 規格是我們定義想要證明或反證系統行為屬性的方式。
- 受到自動推理和規格在 AWS 中成功應用的啟發，Kiro 團隊將規格的概念帶入了 Kiro 本身。
- 想像你正在建構一個計算機應用程式，它需要處理許多不同的場景以及潛在的錯誤狀態。
- 在設計階段，Kiro 可能會分析應用程式並識別一組驗收標準。
- 例如，它可能聲明當錯誤發生時，應用程式最終應在顯示區域顯示清楚的錯誤訊息。
- Kiro 然後可以將這些標準轉換為規格。
- 然後我們可以用它做很多事情，對吧？
- 我們可以使用規格來引導語言模型在嘗試找到實作應用程式的程式碼時的方向。
- 今天在 Kiro 中，你也可以使用該規格來生成測試，使用規格的結構將應用程式驅動到有趣的空間。
- 幫助我們提升程式正確實作規格的保證，但也幫助我們壓力測試它將運作的環境。
- 我們對那個環境的假設。
- 我們也注意到我們可以使用自動推理來證明程式相對於規格的正確性。
- agentic 開發領域的另一個挑戰是跟上我們生成的程式碼所對應的 API。
- 以 AWS 為例，AWS 的演進速度比模型提供者更新模型的速度更快。
- 解決這個問題的一種方式是開發和維護 API 的形式模型，然後推理 agent 工具合成的程式以及它們如何遵循 API，這樣我們就能保持更新。
- 最後，昨天 Matt 提到了 AgentCore 中的策略功能。
- 透過策略，你可以獲得對 agents 如何與外部工具和資料互動的即時確定性且可稽核的控制。
Kiro & 策略整合
- 你可以用自然語言描述你想允許的行動，然後我們將它們翻譯成一種叫做 Cedar 的形式表示。
- Cedar 是我們兩年前實際推出的東西。
- 它是一種開源授權語言。
- 它的語意在 Lean 定理證明器中被形式化。
- 我們最近還新增了基於自動推理的分析，讓你能推理你的策略語意。
- 讓我們看一個例子。
- 想像我們正在建構一個 agent 來幫助我們排除生產環境中的問題。
- 我們想要的是讓 agent 存取生產資料並執行診斷，幫助我們找出如何解決問題。
- 但我們不想要的是讓 agent 在我們同意變更內容之前就去修改生產環境，對吧？
- 所以我們可以用自然語言寫出以下策略：阻止任何 agent 對 AWS 生產帳戶中的資源執行更新操作。
- 在底層，這種類型的約束可以自動轉換為 Cedar 策略，我們可以透過例如自動推理來驗證它是否符合我們的各種需求。
- 那些可能來自主權、隱私、可用性、耐久性、安全性等。
- 這種將可靠的形式推理能力與 Agentic AI（自主式 AI）結合的方式，代表了建立可信賴 agents 的遊戲規則改變者。
- 我們對這項工作非常興奮，對正在進行的專案非常興奮，它們將幫助你建構不僅強大，而且在任何規模下都值得信賴且安全的 agentic 系統。
- 嘿，謝謝 Byron。
- 我希望我女兒不會學會使用這些 AI agents 來訂購一匹小馬。
- 不管怎樣，雖然自動推理幫助我們建構準確的 agents，我們也需要它們在日常使用中是可靠的。
- 可靠性，如果你把它看作是一個任務在多次 agent 運行中被完成的確定程度。
- 當涉及到 agents 時，企業在自動化工作流程時需要高可靠性。
- 今天我們看到 agents 能正確完成一次任務，但當你要求它們再做一次時就會掙扎，更不用說反覆做了。
- 當我們回想 2000 年代初期的自動化，自動化的挑戰是由機器人流程自動化（RPA）來處理的。
- 它們被設計為透過模仿人類工作者來填補舊系統和現代業務需求之間的差距。
- 這些產品可以登入應用程式和處理資料輸入，但它們的靈活性有限，遇到 UI 變化或複雜工作流程時就會壞掉。
- 然後 LLM 來了。
- 它們能比 RPA 更好地處理 UI 變化和適應複雜性。
- 它們可以導覽瀏覽器，透過推理來成功自動化跨不同介面的工作流程。
- 但問題是編排這些模型如此複雜，你需要建構狹義的處理和回溯功能，因為不像傳統腳本你確切知道什麼失敗了，LLM 可能會在失敗的路徑上繼續點擊好幾次才辨識到錯誤。
- 所以對許多企業來說，使用這些大型語言模型進行大規模電腦使用自動化太耗資源且容易出錯，不切實際。
- 企業真正需要的是簡單且可靠的自動化。
- 所以我們問自己，我們如何讓這變得更容易？
Nova Act 發布
- 答案不僅僅是訓練一個更好的模型，當然我們需要更好的模型，但那需要成為端到端自動化服務的一部分。
- 緊密整合 Amazon Nova、Bedrock、AgentCore。
- 這正是我們建構的東西。
- 今天我很高興宣布 Amazon Nova Act 正式上線。
- Nova Act 是一項新服務，用於建構和管理 agent 車隊，以高可靠性、易於實施和最快的價值實現時間，在任何規模下自動化生產 UI 工作流程。
- 它在其訓練執行的企業工作流程設定中達到 90% 的可靠性。
- 那麼是什麼讓 Nova Act 與眾不同？
- 因為它由緊密整合的元件組成，這些元件協同工作來實現這一目標。
- 模型被優化以為工作流程自動化提供最佳成果。
- 我們從 2.0 light 模型開始，然後進行後訓練以針對常見的企業工作流程。
- 編排器將你的瀏覽器截圖傳送給模型，然後將點擊和輸入等指令路由到執行器。
- 這讓 Act 能像人一樣使用瀏覽器。
- 最後，SDK 是你進入 Nova Act 的入口。
- 它讓你能使用簡單的語言指令建構瀏覽器自動化 agents，並讓將高度複雜的工作流程分解為直接的任務變得容易。
- 這種跨編排器、模型、執行器、工具以及 SDK 的緊密垂直整合，讓 Act 比現成的模型和框架更加可靠。
- 因為今天的問題之一是許多模型與規劃和執行這些行動的元件是分開訓練的，這會對可靠性產生負面影響。
- 例如，想像你正在建構一個控制機器人的 agent。
- 將模型與編排器和執行器分開訓練。
- 就像在罐子裡培養機器人的大腦，然後事後才把它放入機器人中。
- 在這裡我們是將大腦和手臂和腿一起訓練，這樣它出廠時就知道如何走路。
- 要讓這個運作，需要我們重新思考如何訓練 agents。
- Agent 訓練的整個堆疊在訓練和生產中都是一致的。
- 讓我們能執行端到端的後訓練，考慮到 agents 將互動的一切。
- 但僅此還不夠。
- 你如何訓練真的很重要。
- 歷史上，agents 是用我們稱為模仿學習的方式訓練的，agent 透過觀察甚至模仿專家行為來學習。
- 這也是我們開始的方式，但模仿學習的缺點是 agent 永遠不會學會理解其行動的成本和效果。
- 所以這就是為什麼我們訓練 Nova Act 時，轉向了強化學習。
- 我之前談到的客製化技術之一。
- 我們將訓練集中在企業經常遇到的工作流程上，例如完成硬體請求、自動化 HR 工作流程、更新 CRM 中的客戶記錄。
- 但強化學習的基礎是讓 agents 在一個環境中嘗試工作流程，使它們能從行動的結果中學習。
- 為此我們建立了強化學習訓練場，讓這些模型能在其中訓練和改進。
- 就像你去健身房鍛鍊一樣，我們建立的 RL 訓練場複製了真實的企業環境，agents 可以在其中採取行動並從結果中學習，而不會干擾生產環境。
- 在企業中，任何你使用的有瀏覽器或 UI 介面的東西都可以是一個訓練場。
- 例如，你的 CRM、你的 HR 系統或任務追蹤器或問題管理系統。
- 在訓練場中，agent 被分配一個任務或工作流程來解決，透過試錯來學習解決它。
- 所以我們建構了數百個訓練場，讓 agents 在每個訓練場上並行執行數千個工作流程，每次成功完成任務，Nova Act 都會獲得獎勵。
- 每次失敗都會獲得懲罰。
- 透過數十萬次這樣的互動，這些訓練場幫助 Nova Act 學習模式，使其能可靠地解決真實世界的企業使用案例。
- 所有這些使我們能夠建立一個更好的服務和一個更有智慧的模型。
5️⃣ Reimagining Work 重新想像工作方式
Agentic AI（自主式 AI）的未來
- 在 REAL Bench 和 ScreenSpot 等關鍵基準測試中，我們看到 Nova Act 表現得非常好，與這個領域中一些最好的模型一樣好甚至更好。
- 我們已經看到客戶透過 Nova Act 的高可靠性來轉變他們的業務和工作流程。
- 如果你有興趣看看它在實際中的表現，可以查看 Nova Act playground 或在 Kiro、VS Code 或 Cursor 中安裝 Nova Act IDE 擴充套件。
- 現在 Agentic AI（自主式 AI）的未來不是能做任何事的 agents。
- 而是我們能依賴來做所有事的 agents。
- 我真心相信 AI agents 標誌著我們時代最具變革性的一步，而 AWS 是建構和運行這些 agents 的最佳場所。
- 我們為你提供最好的工具和 SDK，讓你能快速且毫不費力地從想法走到生產。
- 透過 AgentCore、Strands，我們提供用 Bedrock、SageMaker 和 Nova Forge 客製化和微調模型的最簡便途徑，讓你能最大化這些 agents 的效率，並深入投資於自動推理和強化學習等創新技術。
- 讓你能滿足這些現代工作流程所需的高準確性和可靠性。
- 我們不僅僅止於此。
- 當所有這些東西結合在一起時，我們的工作方式正在改變。
- 我們正從個別任務的自動化轉向加速整個產業的協作。
- 讓我們來看一些例子。
- 昨天 Matt 宣布了三個強大的新前沿 agents。
- 這些 agents 是自主的、大規模可擴展的，而且是持久的。
- 能夠工作數小時或數天追求其目標，無需介入或指導。
- 每一個都是專門為與人類團隊並肩工作而建構的。
- 首先是 Kiro autonomous agent，與開發者並肩工作來解決待辦事項、分類 bug 和提升程式碼覆蓋率。
- 然後我們有 AWS Security Agent，幫助你從一開始就建構安全的應用程式。
- 它帶來深厚的安全專業知識來審查設計文件、掃描程式碼漏洞、加速滲透測試，並根據你公司獨特的安全策略提供量身打造的指導。
- 然後我們有 AWS DevOps Agent，它與 CloudWatch、Dynatrace、Datadog、New Relic、Splunk 等觀測工具整合。
- 它與你的 Runbook、程式碼儲存庫和 CI/CD pipeline 整合，成為你的值班助手來分類問題，也透過主動預防來防止問題發生。
- 這些前沿 agents 以更高水準的自主性和持久性工作，因此能夠與我們並肩工作。
- 這些 agentic 隊友的另一個例子是 Amazon QuickSight。
- AI agents 與商業使用者並肩工作，代表你進行研究、發現商業洞察，並透過 quick flows 自動化例行任務。
- 建立多 agent 工作流程，完全不需要寫一行程式碼。
- 我們對未來工作的願景是，組織中的每個人都有智慧型 agent 隊友來放大他們的能力，消除所有繁瑣的任務，讓他們能專注於最熱愛的工作，並解鎖推動真正業務轉型的洞察。
- 為了分享更多我們在這個領域所做的事情，我很高興歡迎我們的應用 AI 解決方案 SVP Colleen Aubrey。
- 謝謝 Swami。
- 我相信在未來幾年，agentic 隊友將成為每個團隊不可或缺的一部分。
- 像坐在你旁邊的人一樣不可或缺，它們將從根本上轉變企業如何為客戶建構和交付。
- 這個轉型的核心是 AI，融入日常營運中，嵌入每個工作流程中，就像早上查看手機一樣自然。
- 但我們什麼時候啟動？
- 你要等到關於 AI 的每個問題都被回答、每個風險都被繪製出來、每個未知都被消除嗎？
- 這就是陷阱，不是嗎？
- 我們說服自己清晰等於信心，可預測性等於效率。
- 但幸運的是，以下是我在 Amazon 建構中學到的：轉型和敏捷性不是對立面，它們實際上是夥伴。
- 真正的效率不是靜態的。
- 它是活的，它會適應。
- 現在，做出有意義的改變也不只是關於自動化。
自主式團隊與客戶體驗
- 自動化假設當前的方法是最佳的，最終的獎勵是減少工作量，但很多時候現狀並不是最佳的。
- AI 的真正獎勵是新產品、新服務、更好的客戶體驗和新的商業模式。
- 不是減少工作量，但要到達那裡有一段旅程，我們都知道這段旅程正在加速。
- 最大的變革限制可能不是技術限制，而是我們自己重新想像我們如何工作、如何協作、如何讓 AI 成為團隊一員的能力。
- 那麼有一個 agentic 隊友是什麼樣子的？
- 我們最先讓 agents 作為隊友工作的地方之一是 Amazon Connect。
- Connect 是一個易於使用、雲端的全通路、AI 原生客戶服務應用程式。
- 它基於我們在 Amazon 內部驅動自身客戶服務的同一技術。
- 它在全球被用來驅動數十億次客戶對話。
- 像 DXC Technology 這樣的客戶，他們是 IT 和諮詢服務的全球提供者，幫助企業現代化其系統。
- 他們使用 Connect 來智慧地決定哪些互動路由給哪些人，然後賦能那些人即時協助，從內部知識庫中擷取資訊，同時遵守存取和安全控制。
- 這使 DXC 能夠在每個通路上提供非常個人化的情境感知支援。
- 我們在許多客戶中看到的是，客戶體驗的重心是相同的。
- 它從客服中心開始，但讓我們說清楚，客服中心已經擴展到不僅僅是互動。
- 今天它們是客戶關係的營運骨幹，而 Amazon Connect 的 agentic 能力就在那裡幫助應對每個挑戰。
- 讓我們來看看實際運作。
- 許多交易涉及銀行或信用卡或數位支付。
- 作為持卡人，最令人擔憂的時刻之一就是當你看到帳戶上有你不認識的交易，這可能發生在任何人身上。
- 甚至是我。
- 今天早些時候，我在帳戶上看到幾筆我不認識的交易。
- 讓我們看看能不能打客服電話看他們能否幫忙。
- [Agent] 早安，Colleen，在我們開始之前，讓我驗證你的身份。
- 你能告訴我你的通關密語嗎？
- 當然。
- 是 show me the money。
- [Agent] 你能告訴我你最近的一筆交易嗎？
- 讓我想想。
- 今天早上我在 Illi 買了一杯 cortado。
- [Agent] 謝謝 Colleen。
- 我已經驗證了你的帳戶。
- 我在你的帳戶記錄中看到你現在正在旅行。
- 你的卡片有問題嗎？
- 是的，今天早上我看到幾筆交易，我就是不認識它們。
- [Agent] 很遺憾聽到這個，Colleen。
- 是哪些交易？
- 有一堆在我從未去過的加油站的交易，而且我在這裡根本沒有開車。
- [Agent] 好的，我看到了。
- 我正在鎖定你的卡片，這樣我們可以開始調查。
- 哇。
- 哇。
- 等等，我在一個研討會上。
- 這是我帶在身邊唯一的卡片。
- 我需要在這裡使用它。
- [Agent] 不用擔心。
- 我看到你已經將這張卡片加入了 Apple Pay。
- 我們只會阻擋實體卡片的交易，所以你可以繼續在手機和已註冊裝置上使用感應支付。
- 我也會加急將新卡片寄到你的住家地址。
- 好的，太好了，這樣行。
- 但這些交易是怎麼回事？
- 它們是怎麼發生的？
社群、駭客松 與 願景
- 這是什麼詐欺嗎？
- [Agent] 我正在查看。
- 我需要審查細節看看能否識別出一個模式。
- 我想在我做這個的同時將你連接到我的同事。
- 我會分享我的發現，他們同時與你交談。
- 讓我們看看能否快速查明真相。
- 好的，太好了。
- 就這樣做吧。
- 嗨 Colleen，我是 Hector。
- 我是被指派到你案件的調查員。
- Agent 已經給了我你所有的資訊。
- 謝天謝地。
- 我以為我得重複說一遍所有的事情。
- 不，別擔心。
- 讓我先說，我很抱歉這發生在你身上，特別是你在一個大型研討會上的時候。
- 謝謝 Hector，所以發生了什麼？
- 我的其他帳戶有風險嗎？
- 讓我拉出交易記錄看看。
- [Colleen] 好的，聽起來很好。
- 好的，分析和驗證詐欺活動是一個通常需要數小時或數天的過程。
- 使用我的 agentic 隊友來幫助我。
- 我要在幾分鐘內完成所有這些，所以讓我們開始吧。
- 好的，讓我們看看。
- 好的，我看到 agent 已經標記了可疑活動並全部分析過了。
- 它發現交易的地理模式看起來可疑。
- 所以讓我們看看。
- 地圖上的交易，我可以看到這些交易發生在全美各地，據我所知 Colleen 不能瞬間移動。
- 所以我同意這看起來超可疑，就像我女兒說的。
- Agent 也告訴我這個模式與盜刷卡一致。
- 讓我們看看能否透過要求 agent 在其他案例中尋找模式來驗證。
- 僅僅幾秒鐘，agent 就能確認可能是詐欺。
- 它已經建議了我們針對這類活動的標準作業程序，即建立警察報告並分享細節。
- 所以我會繼續處理。
- 太好了。
- 好的，我們處理了詐欺問題，但這只是解決了一個問題。
- 而 Colleen 還擔心另一個問題。
- 所以讓我們來檢查。
- 我會切換到 Colleen 的…
- 到 Connect agent 的建構體驗。
- 我可以建立一個自訂 agent 來監視 Colleen 的帳戶是否有任何可疑活動。
- 我只需給 agent 一個名稱、類型、配置範本和簡短描述。
- 我可以透過提供簡單的提示詞來定義行為。
- 接下來，我需要為 agent 應用護欄。
- 讓我們回去告訴 Colleen 我們做了什麼。
- 好的，Colleen，看起來你的卡片很可能是在你在機場使用的 ATM 被盜刷的。
- 真的嗎？
- 是的，真的。
- 但分析了你所有其他帳戶，好消息是沒有任何異常。
- 為了額外的安心。
- 我在你所有帳戶上設定了自動健康檢查，如果有任何可疑活動會透過安全訊息通知你。
- 好的，太好了。
- 謝謝。
- 我因為工作經常出差，這真的很令人沮喪。
- 有什麼我們可以做的來防止這種事情再發生嗎？
- 是的，超級令人沮喪。
- 但讓我看看還能做什麼。
- 我讓 AI 分析你完整的帳戶和交易歷史，看看還有什麼可以提供給你的。
- 看起來你符合安全旅行帳戶的資格，配有更安全的卡片，而且不會花你任何費用。
- 好的，聽起來不錯，但旅行福利呢？
- 嗯，這個新帳戶有很棒的旅行獎勵。從交易記錄中，我發現你今晚稍後在 MGM Grand 有預訂。
- 啊，是的，L’Atelier，我喜歡那個地方。
- 你去過嗎？
- 我？沒有，我不去餐廳。
- 我不會唸那個名字，但你知道的，聽起來不錯。
- 好的，讓我搞清楚。
- 更多安全性，更多福利，而且不額外花我一分錢。
- 是的，沒錯。
- 好的，聽起來很棒。
- 就這麼做吧。
- 好的，你的新卡片資訊已經在你的 app 中可用，你可以配置 Apple Pay。
- 祝你有美好的一天和一頓愉快的晚餐，Colleen。
- 好的，我想今天大概沒有人把參加客服電話放在你的賓果卡上。
- 沒關係。
- 能夠在客戶的生活中產生有意義的改變並建立關係，這就是讓人類與 agent 協作如此強大的原因。
- 當我們與 agents 跨越多種模態工作時，我們對無縫升級和人類互動的需求仍然存在。
- 這正是為什麼我們持續投資於讓人類和 AI agents 成為真正夥伴的能力。
- 事實上，本週早些時候我們在 Amazon Connect 中推出了八項新的 agentic 能力。
- 從 Nova Sonic 整合，讓客戶能透過聽起來自然的語音對話來解決問題，就像你剛才聽到的那樣。
- 到能根據客戶對話本身即時推薦並自動建議下一步的 agents。
- 再到結合點擊流資料和客戶檔案來提供高度個人化建議的 AI 驅動預測洞察。
- 在未來幾年，人類 AI 團隊將從根本上重新佈線工作的完成方式。
- 它們將改變我們如何建構、如何交付、如何服務客戶。
- 以下是最讓我興奮的。
- 這不僅僅是更快地做同樣的事情，而是解鎖我們甚至無法想像的能力。
- 謝謝 Colleen。
- Connect 是 agents 和人類如何高效合作解決問題的絕佳範例。
- 所以我們今天展示的一切和我們正在建構的一切，這些都只是 Agentic AI（自主式 AI）可能性的開端。
- 當我想到從現在到明年我們回到這裡之間將發生的創新，我不禁感到樂觀。
- 每一步我們都在讓任何人更容易建構和使用這些 agents，但我們建構的技術只是方程式的一部分。
- 另一個更關鍵的部分是你。
- 是建構者社群在發明和建構這些不可思議的東西。
- 十月，印尼西爪哇的 AWS 建構者、合作夥伴和學校設定了一個建立 2,000 個生成式 AI 應用程式的目標。
- 他們遠遠超越了這個目標，創下了現場活動中建立最多應用程式的金氏世界紀錄，超過 15,000 個生成式 AI 應用程式。
- 幾乎所有這些應用程式都是由高中生構思的，他們在老師和幾位非營利組織工作人員的幫助下將其實現。
- 9 月 8 日，我們發起了 AWS AI Agent 全球 Hackathon。
- 挑戰很簡單：建構能解決真實世界問題的自主式 AI agents。
- 今年我們看到來自 127 個國家的 9,500 名開發者參與了這個全球 hackathon。
- 他們被挑戰使用 Bedrock、SageMaker、Strands、AgentCore、Kiro 等工具來建構、開發和部署可運作的 AI agents。
- 我們收到了 625 個 agents，涵蓋從詐欺偵測到基礎設施監控到農業健康監測的使用案例，展示了 AI agents 如何被部署在幾乎每一個產業中。
- 而獲勝的 agent 是由 Ajito Nelson 建構的。
- Ajito 來自東帝汶。
- 在那裡，廢棄物管理是一個巨大的挑戰。
- 首都 Dili 每天產生超過 300 噸廢棄物，但每天有超過 100 噸未被收集，阻塞排水系統，造成毀滅性的洪水並產生嚴重的健康風險。
- Ajito 建構了 EcoLafaek，一個自主式 AI agent，將每支智慧型手機轉變為環境監測工具，賦能市民成為其社區清潔的守護者。
- 他使用 Amazon Bedrock 搭配 Nova Pro 進行多模態分析、Titan 進行語意相似性搜尋、AgentCore 搭配程式碼解譯器和網頁瀏覽器進行自動化。
- 以及 AWS 和 S3 儲存。
- 市民現在可以拍攝廢棄物問題，AI 即時分類廢棄物類型、評估嚴重程度，然後識別熱點，為當局提供他們需要的量身打造指導以優先排序清理工作。
- 今年我們還有一個很棒的活動叫做 Road to re:Invent。
- 實際上，團隊登上巴士，挑戰在前往 Vegas 的途中建構一個 agent AI 應用程式，競爭 50,000 美元的大獎。
- 最後，我也想恭喜今年 AI League 和 AWS 計劃的獲獎者，建構者在其中透過為特定任務客製化和微調 LLM 和 agents 來競賽。
- 而在 2026 年，我們要做得更大，將大獎增加到 50,000 美元。
- 你今天可以在博覽會中看到他們。
- 我們在 Agentic AI（自主式 AI）周圍看到的能量和興奮真的令人難以置信。
- 今年錦標賽和 Road to re:Invent 的獲獎者今天和我們在一起。
- 請站起來鞠個躬。
- 現在我要你再想想那個感覺。
- 你第一次讓某樣東西運作的那個時刻。
- 當你第一次感受到創造的衝動時，那個感覺不再只是一個回憶了。
- 透過 Agentic AI（自主式 AI），我們每天都生活在那個時刻。
- 我們正處於一個任何有想法的人，無論你是在清潔我們的海洋、解鎖人類大腦的奧秘，還是在解決我們尚未發現的挑戰，都有建構它的自由的時刻。
- 以前所未有的速度從概念到產生影響的自由。
- 解決曾經看似不可能的問題。
- 無限制創造的自由。
- 所以我希望你想想在你接受下一個挑戰時，你會如何使用 AI agents。
- 讓我們一起建構這個美好的未來。
- 謝謝。
✳️ Reference 參考資料
- AWS re:Invent 2025 - Keynote with Dr. Swami Sivasubramanian - 完整主題演講影片
- Amazon Bedrock - 基礎模型與 agent 能力
- Amazon Bedrock AgentCore - 建構、部署和營運 agents 的平台
- Amazon Nova - Amazon 的前沿 AI 模型
- Strands Agent SDK - 開源模型驅動 agent 框架
- Amazon SageMaker HyperPod - 模型訓練的受管理基礎設施
- Amazon Kiro - 規格驅動開發的 agentic IDE
- Amazon Connect - AI 原生客戶服務平台