解決 LM Studio gpt-oss 模型輸出參雜「推理內容」之問題

Post Title Image (Photo by Felix Eka Putra Kuntjoro on Unsplash)

起因

剛才想到將 MacWhisper Dictation 的後處理,從原本的 LM Studio google/gemma-3-12b 改成使用 openai/gpt-oss-20b,但一直遇到 gpt-oss 模型會將思考過程也回傳成為 dictation 輸出結果。有問題的輸出結果:

We need to correct punctuation: use full-width. 
Input: "嗨,我們明天去兒童樂園玩好嗎?" 
We replace comma with ,, question mark with ?. 
Also add period at end? 
The sentence ends with question mark already. 
So output: "嗨,我們明天去兒童樂園玩好嗎?"
嗨,我們明天去兒童樂園玩好嗎?

Read More

AWS 重塑 AI 基礎設施:S3 Vectors 如何改變向量搜尋遊戲規則

Post Title Image (圖說:將世界重新使用向量拆解與整合,我們也許得以重新認識新的世界。圖片來源:Photo by James Wainscoat on Unsplash)

✳️ tl;dr 給技術管理者

  • Amazon S3 Vectors 將原生向量搜尋功能直接整合進 S3 物件儲存,目標是簡化架構並降低成本。1
  • 對於 RAG、語意搜尋等 AI 應用,官方宣稱最高可節省 90% 的向量儲存與查詢成本。
  • 這意味著我們不再需要為某些 AI 場景維護一個獨立、昂貴的向量資料庫,大幅降低了維護營運複雜度 (TCO)。2
  • S3 Vectors 提供 subsecond 級查詢效能,適用於對延遲要求非即時 (non-real-time) 的大規模應用。3

  • 核心優勢:實現了向量資料的「存算分離 (Storage and Compute Separation)」,將長期儲存的成本效益發揮到極致。4
  • 透過與 Amazon OpenSearch 的整合,可建立「冷熱」資料分層策略,兼顧成本與高效能查詢需求。5
  • 可與 Amazon Bedrock Knowledge Bases 的無縫整合,讓建立和擴展 RAG 應用的過程變得前所未有的簡單。6
  • S3 Vectors 的出現,可能迫使現有向量資料庫廠商 (如 Pinecone) 重新思考其市場定位與定價策略。

  • 對於技術團隊,現在需要重新評估現有的 AI 技術堆疊,判斷哪些工作負載可以遷移到 S3 Vectors 以實現成本優化。
  • 該功能引入了新的 Vector Bucket,讓向量管理像管理一般 S3 物件一樣簡單。
  • 推測:未來 S3 Vectors 可能會進一步增強其查詢能力,例如支援混合搜尋,以適應更複雜的場景。

✳️ tl;dr 給工程師與開發者

  • Amazon S3 現在原生支援向量儲存與搜尋,新功能 S3 Vectors。1
  • 可以直接在 S3 建立 Vector BucketVector Index,然後用 API 存入和查詢 embeddings。
  • 對於許多 RAG 應用,可以省去部署和管理一個獨立 Vector DB 的步驟。7
  • API 支援 k-NN 相似性搜尋,並提供 subsecond 級的回應時間,同時支援 Cosine、Euclidean 等距離度量。

  • 開發亮點:查詢時可以使用 metadata filter,例如 (category = 'ernest-pkm' AND year > 2023),非常實用。3
  • 與 Amazon Bedrock Knowledge Bases 無縫整合,設定好 S3 data source 後,Bedrock 會自動幫你處理 embedding 和同步。6
  • 如果你的應用需要更低的延遲或更複雜的搜尋 (如 hybrid search) ,可以將熱向量匯出到 Amazon OpenSearch Service。5

  • 對於已經在使用 AWS 的開發者,學習曲線很低,基本上就是多學幾個 S3 API call。
  • 整個服務是 Serverless 的,意味著你不用煩惱 scaling、provisioning 和 aRPU 這些東西,專心處理客戶應用場景。
  • 可以更經濟地為你的 AI Agent 建立一個巨大的長期記憶庫,所有互動紀錄或知識,都能被向量化並儲存在 S3。
  • 對於儲存在 S3 Data Lake 4 中的海量文件或圖片,現在可以直接就地建立索引並進行語意搜尋,無需 ETL 到另一個系統。(Well… 如果你的海量檔案現在還沒放在 S3… 那就呼叫幾個 API calls 吧 XD)

✳️ tl;dr 給行銷人與產品人

  • 想像一下,你公司所有的文件、客服對話、產品圖片、甚至影片,都能用自然語言進行語意搜尋。Amazon S3 Vectors 正在讓這件事變得更便宜、更簡單。1
  • 過去,只有資源雄厚的公司才能負擔得起建立大規模向量搜尋系統。現在,AWS 將這項能力直接內建到 S3,大幅降低了技術門檻和成本。
  • 應用場景:媒體公司可以快速在 PB 級的影片庫中找到相關片段;醫療機構可以在數百萬張醫學影像中識別相似病例。
  • 對於電商,可以用它來建立更精準的語意搜尋引擎,理解用戶「想要」什麼,而不僅僅是他們「輸入」了什麼。

  • 商業價值:這不僅僅是技術升級,更是释放企業內部「非結構化資料」價值的一把鑰匙。4
  • S3 Vectors 讓 RAG (檢索增強生成) 技術變得更加普及,這意味著你的聊天機器人或 AI 客服可以提供相對準確、相對有根據的回答。6
  • 市場趨勢向量搜尋正在從一個利基技術,轉變為雲端儲存的基礎設施的一部分。

  • 這項創新將加速 AI 在各行各業的落地,因為它解決了最基礎的「資料準備」和「知識儲存」的成本問題。
  • 對產品經理來說,這意味著在規劃 AI 功能時,可以更大膽地構思需要海量知識庫的應用。(將 S3 當作萬能鑰匙,電影 Matrix 裡面的 keymaker。)
  • S3 Vectors 與 Amazon Bedrock Knowledge Bases 的整合,提供了一個一站式的知識庫解決方案。6
  • 推測:未來將會出現更多基於 S3 Vectors 的第三方 SaaS 應用,專注於特定行業的知識管理和語意搜尋。此推測基於 AWS 生態系中 ISV 的發展模式。2
  • 企業現在應該思考:我有哪些沉睡的資料可以被「向量化」,從而創造新的商業價值?先不要顧慮資料格式,你覺得是「資料」就試著先用用看,先從小資料起手。

Read More

Anthropic 內部如何使用 Claude Code:從基礎設施到產品到資安到法務的全面代理式程式開發

Post Title Image (圖說:Claude Code 正在進行 代理式程式開發 (agentic coding)。圖片來源:Anthropic。)

✳️ tl;dr

  • Anthropic 最近分享了他們內部團隊使用 Claude Code 1 的真實案例 2,讓我看到了從單純的程式碼自動完成,進化到「代理式軟體開發生命週期 (agentic SDLC)」的大致畫面。
  • Data Infrastructure 團隊讓 Claude Code 用 OCR 看錯誤截圖,診斷出 Kubernetes IP 耗盡,並提供修復指令
  • 非技術背景的財務人員只要用 自然語言 描述需求,Claude Code 就能自動產生查詢並輸出 Excel 報表
  • Product Development 團隊在 auto-accept mode 下讓 Claude Code 自主寫出 70% 的 Vim 模式程式碼
  • Security Engineering 透過 Claude Code 快速解析 Terraform plan,完成安全審核並減少開發瓶頸
  • Inference 團隊依賴 Claude Code 生成涵蓋 edge case 的單元測試,研究開發時間降低 80%
  • DS/ML 團隊用 Claude Code 建立 5,000 行 TypeScript 儀表板 (dashboard),從一次性分析轉向長期可重用工具

  • MCP(Model Context Protocol) 3 讓 Claude 在安全環境中存取精準的組態與資料
  • Claude Code 借助「自我驗證迴圈」:撰寫程式 → 執行測試/CI → 自動修正錯誤,推進代理式 SDLC (agentic SDLC)
  • 第三代 AI coding 工具正整合到端到端開發流程,從需求到部署 全面自動化
  • Anthropic 透過 RLAIF 與 Constitutional AI 訓練模式,讓 Claude 在程式碼生成中展現業界領先的自我修正能力

  • 你有想過 AI coding 工具 在你的組織內部 或 對你自己的工作流程 到底能做到什麼 程度 嗎?
  • 今年五月我在 AWS Summit Hong Kong 2025 分享「重塑程式設計: AI 如何轉變企業的程式開發方式」,從 SDLC 開始拆解,大家有興趣也可以搭配投影片一起閱讀。

45678

Read More

美國 AI 行動計劃 (2025-07):以三大支柱策略重塑美國 AI 全球主導地位

Post Title Image (圖說:水文調查儲存區。每個管子都包含一份登錄的水文調查資料。圖片來源:Photo by NOAA on Unsplash。)

✳️ tl;dr

  • 美國政府 2025-07 發布 America's AI Action Plan,目標重塑美國 AI 全球主導地位
  • 三大戰略支柱:加速 AI 創新、建設 AI 基礎設施、領導國際 AI 外交與安全
  • 撤銷前任政府 AI 執行命令 14110,移除「繁文縟節和過度監管」

  • 強調 保護言論自由 和美國價值觀,確保 AI 系統客觀追求真理
  • 鼓勵 開源和開放權重 AI 模型 發展,促進創新與商業採用
  • 建立簡化的資料中心、半導體製造和能源基礎設施許可程序,實現「Build, Baby, Build」願景

  • 透過 CHIPS 計劃辦公室 重振美國半導體製造業
  • 建設軍用高安全性資料中心,抵禦國家級攻擊威脅
  • 向夥伴出口美國 AI 技術的完整技術堆疊

  • 建立監管沙盒和 AI 卓越中心,讓研究機構、新創和企業能快速部署測試 AI 工具
  • 建立 AI 勞動力研究中心,持續評估 AI 對勞動市場的影響並提供政策建議
  • 投資自動化雲端實驗室,涵蓋工程、材料科學、化學、生物學等多個科學領域

  • 附上全文 美國人工智慧行動計畫(中文翻譯好讀版)1

2314567

Read More

Kiro: AWS 代理式 IDE 告別盲盒式 Vibe Coding

Post Title Image (圖說:正在安裝 Kiro。圖片來源:Ernest’s MBP。)

✳️ tl;dr

  • 覺得 AI | Vibe coding 寫程式像開盲盒嗎?
  • Kiro 1 用 Specs 幫你拆盒前就看說明書
  • 一句提示 → 自動展開使用者故事,還附 EARS 需求標準

  • Ernest 嘗試拆解 Kiro 的四層架構(意圖層、知識層、執行層、監督層)2
  • Kiro AI = Kiro Agentic IDE

  • Tasks 列表直接串單元/整合測試,減少忘記寫測試的窘境
  • Hooks 讓大家發揮想像力,事件驅動的自動化,自己的自動化自己接
  • Steering 專案指導原則,確保一致性,讓 Kiro 遵循組織文化,串接知識管理
  • 支援 RWD 與 A11y,前端也有被照顧

  • 預覽期間免費,支援 Mac/Win/Linux (快蹭!
  • Kiro 基於 Code OSS,與 VS Code 相容
  • VS Code 使用者 (應) 可無痛搬家,有些外掛在 Kiro 還沒見到
  • Kiro + WSL2 解法 2

  • 延伸玩法: Kiro + dev container 做隔離
  • 延伸玩法: Kiro + Remote SSH + EC2 (CloudShell?) within VPC

345

Read More

Cloudflare 推出基於 Firecracker 的容器服務

Post Title Image (圖說:巴西第一大港,Port of Santos,提供裝卸貨櫃服務。圖片來源: Photo by sergio souza on Unsplash。)

✳️ tl;dr

  • Cloudflare Containers 1 公開 Beta 上線,付費用戶立即可用,與 Workers 完整整合。
  • Region: Earth 全地球之全域佈署,數秒啟動容器,開發者無須自行選區 (5)。
  • 透過 Worker→Container 綁定,可依 ID 動態生成隔離實例,適合多租戶平台。
  • dev/basic/standard 三種 Instance Type 覆蓋 256 MiB, 1 GiB, 4 GiB 記憶體需求。
  • 10 ms 計費粒度,CPU、記憶體、磁碟分別度量,並附免費額度。
  • 內建 Metrics/Logs 保留七天,可外送 LogSink,降低 Observability 整合成本。
  • Upcoming: autoscale = true 啟用全球自動擴容與延遲感知路由。

  • Cloudflare Containers 底層是 AWS 開發且開源的 Firecracker microVM 2 以 KVM 提供 隔離,降低多租戶側通道風險,並保持啟動速度與資源運用效率。
  • Firecracker microVM < 125 ms 冷啟、< 5 MiB 記憶體,兼顧安全與密度。
  • Ernest Chiang 於 COSCUP 2020 Firecracker 工作坊,示範 3 90 秒跑起 4,000 microVM on i3.metal。

45678910

Read More

互通、整合、迭代:傳統產業 產品與技術整合 之 十年生存指南

Post Title Image (圖說:Ernest at Taiwan Product Conference 2025。圖片來源:Bob Chao。)

一路看著台灣從技術社群發展出技術年會,也隨著產業轉型及跨領域整合的複雜度增加,陸續在地產生了越來越多的產品相關機會,涵蓋產品營運 (product operation)、產品行銷 (product marketing)、產品設計 (product design)、產品管理 (product management)、產品開發 (product development) 等各方各面,相當有機蓬勃。

但看似綠意盎然的背後,到底是有機溫室?還是雜草叢生?在混沌中前行的我們,沒人知道答案。不知道答案,代表我們還能做些什麼,代表我們還能出門探索,代表我們還能回家實驗,代表我們還能嘗試迭代。這天炎熱的週末,我們一群圍繞產品生態的人們,一起在第一次舉辦的 台灣軟體產品年會 2025 裡頭,嘗試著做點什麼。

年會心得,另篇整理。

本篇會分兩個階段,一會先釋出投影片,然後二會釋出 Q&A 補充說明。歡迎大家使用投影片最後一頁的表格,給予我各種角度的回饋、或問問題交流。期待彼此下次的嘗試。

Read More

Latency Ping: 雲端全球機房測速小工具

Post Title Image (Illustration: Walk nearby Le Bouchon Ogasawara in Shibuya, Tokyo. Image source: Ernest)

✳️ tl;dr

隨著 AWS Taipei Region (ap-east-2) 發佈,該來更新一下那雜草叢生的 web latency 小工具惹。

  • http overhead 比較重,但手邊沒有 CLI 時、或是客戶遠距時,可以簡單做評估。

  • 有依照城市距離盡量排列。
  • 以 AWS Region naming rule 為基礎,輔以我微薄的地理知識。
  • 以不過度分類以至於粒度太細為原則。如果你的原則不一樣,歡迎從 upstream fork 一份改成你喜歡的樣子。

Read More

AWS Summit Hong Kong 2025 Dev Lounge: 重塑程式設計: AI 如何轉變企業的程式開發方式

Post Title Image (圖說:AWS Summit Hong Kong 2025 Dev Lounge。圖片來源:Dorothy。)

✳️ 緣起

很榮幸收到投稿邀請被選上。非常感謝大家都在默默地督促著我前進 :) 另一個榮幸是躬逢其盛,遇上 AWS Summit Hong Kong 十週年,回想從 2014 年與 Lenie 與 Locarno 一起邀請 Jeff Barr 來台灣給 COSCUP 一場主題演講 (keynote)、一路到鼓勵參加 AWS Hero program、再到今天有這個機會來到香港在 AWS Summit Hong Kong 的 Dev Lounge 跟一票開發者與技術管理者一起交流,真心覺得緣分與迭代進步的幸運交叉,心中充滿各種感激。

分享的內容來自於近一年多來我們與傳統產業互動、梳理流程、物件狀態化的經驗,以及我們自身產品與技術整合團隊 (PTI) 的工作流程與 AI 工具協作的調整(踩坑之旅)。搭配 Amazon Q CLI 以及從現有流程來延伸出 AI 協作的思維,邀請 AI 成爲我們團隊的新成員,練習分派任務給 AI 做,跟所有新同事一樣,都會有磨合期,但是只要一天不邀請這位(這群?!)新同事,那磨合就不會開始。

Read More

我的工作流程:在 Apple Silicon (M4 Pro) 設定 nRF52 DK 開發環境

Post Title Image (圖說:開箱 Apple MacBook Pro M4 ProreMarkable Paper Pro。拍攝於 AWS re:Invent 2024拉斯維加斯。圖片來源:Ernest)

今天花了一些時間在一台 macOS Sequoia 15.1.1 機器上設定 nRF52 DK (PCA10040) 開發板的開發環境,這台機器是 Apple Macbook Pro M4 Pro (Apple Silicon)。這篇部落格文章筆記了這個過程,留給自己以及同為使用 Nordic Semiconductor nRF52 DK 朋友們參考。

Read More