脈絡拆解: Computex 2024 主題演講 - NVIDIA 執行長黃仁勳

Post Title Image

NVIDIA 執行長 黃仁勳 在這場 Computex 主題演講中,著重介紹了 NVIDIA 在加速運算、人工智慧 (AI) 領域的最新進展,以及它們對各行業產生的深遠影響。他強調生成式 AI 所需要的底層架構,將要且需要徹底改革整個運算產業,且 NVIDIA 已經累積了一定的安裝基數可以讓改變發生。

演講內容突顯了 NVIDIA 在這場科技變革中扮演關鍵角色,他們累積了許許多多劃時代的科技,如擬真世界 Omniverse、CUDA 加速運算,以及 NVIDIA 推理微服務 (NIMs)。這使得各領域的研究人員無須煩心底層技術,更能專心於打造各領域模型、應用當中。黃仁勳描繪了一個人工智慧將無所不在的未來,從客戶服務代理人、digital humans,到理解物理定律的 digital twins、robotics 多模態模型,也提到了 NVIDIA GPU 產品路線圖,預告未來將迎來更大、更節能的 GPU 產品。

摘要 tl;dr

  • NVIDIA 開發出一種對比於特斯拉交流發電機的「AI 發電機」,能夠產生 tokens (文字、圖像、視訊等),為價值數萬億美元的產業服務。
  • NVIDIA CUDA 技術可加速各種任務,提供超高效能提升,同時將功耗和成本降低,有效解決運算通貨膨脹問題。
  • NVIDIA Omniverse 的擬真世界,利用加速運算和 AI,而 NVIDIA 已經擁有 350 種特定領域程式庫,讓他們能夠支援各種產業與各種市場。
  • NIMs 是一種新型軟體封裝方式,NIMs 可以建立並組織 AI 團隊來處理複雜任務,除了可以在雲端執行,也可以在個人電腦上執行。
  • 未來的 AI 模型需要理解物理定律,將需要更大量的運算,更多更大的 GPU。NVIDIA 正在提高可靠性、並繼續提升資料壓縮與解壓縮效率、以及資料傳輸效率。

Ernest Notes:

即視感回憶,當年「Apple Mac vs Windows + Intel」、「Apple iOS vs Android」,歷史經驗推測,市場上多半會形成兩強或三強陣營局面,其中一路強項於高度整合、其他(短期內)無法高度整合者將提供有限制條件的彈性方案。

歷經約莫十次迭代週期後,各大陣營都已進到各種客戶、產業裡頭,所能提供的服務、功能也逐步趨同(往本質需求靠攏),同時也累積出新的問題,讓下一個局面開局。

之前是 Apple 硬體先發、Apple 軟體後至,從套裝軟體往 Apps、SaaS 移動,現在是 NVIDIA 軟硬體整合,未來相信也會與基礎設施打掉重練有關。可持續觀察哪裡有疊床架屋、哪裡有營運無效率,哪裡就有機會。

Read More

脈絡拆解: Google IO 2024 主題演講 - Google CEO Sundar Pichai

Post Title Image

摘要 tl;dr

  • Google 為了兼顧面對 個人用戶 (B2C)企業用戶 (B2B) 兩種溝通,產品線的劃分相較於 Amazon, AWS 來的破碎、分散。不一定是壞事,但也未必是好事。產品與產品之間的同步會較有挑戰。
  • Google 模型 GeminiGemma 目標處理長文本情境、多模態輸入、跨檔案格式輸入資訊。但如何保持技術領先(面對開發者、夥伴與生態系)、多模態輸出(面對客戶需求)、如何控制成本(面對投資人),接下來將 Gemini 整合到上百個 Google 產品與功能裡頭,將是 Google 的當務之急。
  • 在這 AI 浪潮與技術迭代鋪天蓋地之下,整場主題演講,最讓我印象深刻的是 DONALD GLOVER 的這段話:「每個人都會成為導演,每個人都應該成為導演。因為在這一切的核心就是講故事。我們越接近能夠講述彼此的故事,我們就越能理解彼此。」
  • 是說,可以發揮 Gemini 的長上下文情境優勢讓 Google Translate 在合適上下文情境下,不要將「LLM」翻譯成「法學碩士」嗎?

Read More

脈絡拆解: NVIDIA GTC 2024 主題演講 - NVIDIA 執行長黃仁勳

Post Title Image

摘要 tl;dr

在 2024 年的 GTC 大會上,代表全球超過 100 兆美元產業的焦點從降低運算成本轉變為指數級增加運算規模。這種典範轉移被稱為「生成」而非「推理」,標誌著從傳統的資料檢索方法向生成智慧輸出的轉移。討論強調了人工智慧的持續工業革命,即使是如蛋白質、基因及腦波等複雜實體也正在被數位化並透過 AI 理解,進而創造出它們的數位孿生。

主題演講強調了 AI 應用的轉變,提到 AI Foundry 的三個主要支柱:NIM、NeMo 微服務和 DGX Cloud。這些工具代表著一個新時代的開始,其中結構化和非結構化的資料都被轉換為一個動態的 AI 資料庫。這個資料庫不僅儲存資訊,還能與使用者進行智慧互動,代表著從傳統的語義編碼往一個內嵌在數位生成場景中的意義世界的重大演化。

Read More

PHP 效能測試與比較 (2024Q1) - PHP8/PHP7 Debian/Alpine nginx-php-fpm

Post Title Image (圖片來源:Photo by Jason Dent on Unsplash)

這是和好友同事一起開發、調整、維護的 PHP 容器。原始設計目的是想讓 php-fpm 與 nginx 結合,形成一個簡化的環境,能方便地使 Laravel 運作在雲原生環境、AWS Fargate、Amazon ECS 等環境下。我們將之拿來作為基底,用於手邊各種專案的教學與實作、各種比較測試、包含用於 x86/ARM 運算架構比較等等。

隨著 PHP 新版本的更新與發布,我們計畫將做過的效能測試比較,每季(沒忘記的話)釋出一份測試結果與 PHP 同好們一起分享。

預覽

Read More

在 Amazon Bedrock 使用 Anthropic Claude 3 的簡易指南

Post Title Image (圖說:位於岩床上的 sonnet 連接知識圖譜。圖片來源:generated by DALL-E。)

Anthropic 於 2024-03-04 釋出了 Anthropic Claude 3 模型家族。同一天,Amazon 也宣布 Amazon Bedrock adds Claude 3 Anthropic AI models

本篇文章將帶大家簡單上手,在 Amazon Bedrock 裡頭玩一下 Claude 3 所帶來的威力。也許大家玩過之後,會更有感覺,將這些 LLM 模型與自身的工作流程作某種程度的整合。

簡單名詞解釋:

  • Anthropic: 是一家公司,專注 AI 人工智慧安全與研究。
  • Anthropic Claude 3: 是一個模型家族,包含有多個不同尺寸、適合不同應用場景的語言模型。
  • Amazon Bedrock: 是 Amazon 所提供的人工智慧一站式單一窗口,以最簡易的方式開始使用、打造、以及規模化生成式 AI 應用,並且內建負責任人工智慧。

Read More

AWS re:Invent 2023 現場直擊:重磅發佈 如何助力開發者工作流程及生成創新

Post Title Image (圖說:AWS Data Hero Scott Hsieh 與 AWS Community Hero Ernest Chiang。圖片來源:當天一起坐在海景第一排的 AWS 老朋友 Young。)

起因

今年很開心再度受邀參加台灣 AWS re:Invent re:Cap 系列活動,這次首次挑戰雙 AWS Heroes 同台分享,我與 Scott 練習了數個夜晚、活動前一晚也在辛苦的 DTS 工作人員協助下參與彩排。感謝 Scott 不嫌棄我對一些細節的龜毛 :p 也感謝幕後眾多 AWS 好朋友們的邀請與協助、以及現場朋友的鼓勵與回饋,讓我們 AWS Heroes 有更多分享的動力,與大家一起拆解知識,一起前進市場,一起挑戰 2024! :)

Read More

脈絡拆解: AWS re:Invent 2023 Monday Night Live Keynote With Peter Desantis

Post Title Image

起因

自從 2020 年初獲選成為 AWS Community Hero 之後,今年很榮幸依然也獲得受邀參加位於 Las Vegas 的 AWS 年度開發者大會 re:Invent 2023,能夠再次體驗各種現場活動,相當開心。

今年是連續第四年,拆解 AWS re:Invent Keynotes 主題演講。除了最多人關注的 CEO Keynote,去年開始嘗試整理其他場次的 Keynote,在整理過程中找到不同收穫,順便將這些整理與大家分享。

跟以往一樣,全文開始我會先試著抓出演講架構,然後放一些觀察與推論,接著各段落放一些流水筆記,方便未來搜尋使用。文中、文末整理有延伸閱讀,可以讓大家延伸對於演講內容的背景情境或資訊。也希望有機會帶大家一起推理為什麼這個時間點會推出這個產品或功能、全球各種產業的趨勢方向往哪裡走、台灣產業關注的議題方向不一定相同,但多看看、多比較、多參考,也許能避開一些誤判的雷區,在資源有限的情況下,如果走錯方向,市場不一定會給機會讓我們再砍掉重練。推理不一定是正確,就當作是種練習與分享。

新服務或新屬性,在本文中使用 [NEW 🚀] 方式標記,方便各位按下 Command/Ctrl+F 內頁搜尋。

本文刻意將大部分產品連結都先拿掉,讓大家能夠專注地閱讀(這年頭我們都少了些專注,是吧?)。若有需要產品連結,可以參閱我平常整理的 AWS 產品清單一覽表

歡迎大家留言給我關於你的想法。如果對於我如何整理這些知識、資料有興趣,可以參考我的個人知識系統 - Ernest PKM

那我們就開始吧!

Read More

與我閱讀: How to Do Great Work

Post Title Image (圖說:第一次做 thumbnail,疑似只有 720P 解析度,這次就先這樣吧 XDD。圖片來源:Ernest。)

連假原本計畫的出遊臨時取消,那來早起讀點書吧。原本收藏著 Paul Graham 的這篇長文 How to Do Great Work,恰好見到有物報告創辦人兼主編 周欽華先生 分享品質極佳的中譯版本【如何做出偉大的成就】,這天早晨的閱讀就決定是這篇了。

Read More

AWS 入門學習路線與策略 (2023)

cat-learning-path (圖說:快樂學習就要有貓?!貓貓帶路 XDD 圖片來源:Photo by hp koch on Unsplash。)

一直以來 AWSUG Taiwan 同好社群 的志工們,常常很熱心地討論著如何可以帶領新手們更順利入門 AWS、上手 AWS,前陣子將大家時常討論到的學習資源,以及我平常收集到的(冷門?!)學習思路,整理成一篇文章與大家分享。

Read More

隕石級 AI 來惹,還要學 AWS 嗎? 👉 十年拆解整合的旅人觀點 (AWS Community Day Taiwan 2023)

Post Title Image (圖說:投影片主題封面。圖片來源:Ernest。)

這次在社群自發辦理的 AWS Community Day Taiwan 2023 大會上,一方面拆解 AWS 給現場因 AWS 產品資訊繁雜眾多、而資訊焦慮、或苦於尋找方向的朋友們,二方面將原本發表於 4/19 Generative AI 小聚 10 分鐘短講的內容,調整成 20 分鐘的版本,透過舉例讓會眾朋友認識 Framework (框架) 與 Foundation (基石) 的重要性,進而介紹 5 個梳理知識的小工具,並整合於 Ernest PKM IIDEE 或 Amazon Working Backwards 框架中。最後也藉由這個機會錄影作個紀錄。

很感謝 AWS Community Day Taiwan 2023 總召 Amy Lee、Track A 議程組 Eric, Wyne 的邀請,也很感謝現場眾多充滿熱情的志工、贊助商們讓第二屆 AWS Community Day Taiwan 更加蓬勃有朝氣,真的是 AWS 同好以及開發者們的福音。

更多關於個人知識系統的展開內容,可以延伸閱讀 👉 Ernest PKM 從 2023.25 版本 開始,除了梳理人腦,也增加人腦與電腦一起整合工作、以及一些歷史脈絡的架構拆解。

歷史脈絡的重要性,如同 Werner Vogels (Amazon.com CTO) 在 AWS re:Invent 2020 所提到的:


Technology always moves forwards, but sometimes it’s good to look back, to look at where we came from, to understand our foundation.” – Werner Vogels, Amazon.com CTO at AWS re:Invent 2020

Read More