🟠 L2 - 重要更新
Microsoft 發布 Agent Experience（AX）Practitioner Playbook，教團隊評估並改善 AI coding agent 使用自家技術的表現 L2
信心度: 高
重點: Microsoft 於 2026-10-09 在開發者部落格發布 AX Practitioner Playbook，文中稱它是「評估 AI coding agent 如何使用你的技術」的方法，可從 aka.ms/ax-playbook 下載 PDF。內容分五部分：讓評估結果站得住腳（包含確認程式碼能執行的關卡）、撰寫並校準評分準則、用代理的軌跡（trajectory）從症狀追到原因並歸納九種反覆出現的失敗模式、把每個修正當成假設先測試再出貨，以及 Cosmos DB 與 SPFx 的實例。Microsoft 表示 DevRel 團隊自 2025 年秋季起以數百個代理 session 評估過 Azure、Cosmos DB、SharePoint Framework 與 Microsoft 365 Copilot extensions，促成的修正包括 Azure Cosmos DB Agent Kit 的 46 項改進；同時釋出只依 playbook 內容作答的 AX Practitioner skill（aka.ms/ax-playbook/skill），在 330 題上平均得分 95%。
影響: 對象是開發 SDK、API、服務、CLI、MCP server、skills、plugins、指令集及其文件的團隊，以及評估非自家技術的開發者關係人員。文章主張不能只指望模型變強，該調整的是代理實際依賴的來源：文件、MCP 工具、skills、plugins、指令、CLI 與 API。
詳細分析
取捨考量
優點:
- 方法不綁定特定評估系統，自建或現成的評估框架都能套用
- 以代理軌跡與九種失敗模式診斷問題，並要求每個修正先當成假設驗證再出貨
- 附 Cosmos DB、SPFx 實例與品質檢查清單，另有可安裝到 coding agent 的 skill 可以直接提問
缺點:
- 部落格文章沒有列出九種失敗模式的名稱，也沒寫 PDF 的頁數與授權，細節要下載後才看得到
- 文中點名的案例都是 Microsoft 的技術，套用到其他技術堆疊的成效沒有數據
- Skill 的 95% 平均分是對照 playbook 內容計算，文章沒有說明評分方式
快速體驗（5-15 分鐘）
- 開啟 aka.ms/ax-playbook 下載 PDF，先讀「Results you can defend」一章，檢查自家評估是否有確認程式碼能編譯、能執行的關卡
- 從 aka.ms/ax-playbook/skill 把 AX Practitioner skill 安裝到你的 coding agent，拿自家 SDK 或 API 的評估問題試問
- 挑一個代理常寫錯的情境（文中舉例為使用過時的 SDK 版本或已淘汰的驗證方式），檢視代理的軌跡，找出它依據哪份文件或哪個工具才出錯
建議
維護 SDK、API、MCP server 或開發者文件的團隊值得下載一讀，先用一兩個高頻情境建立評估，再依軌跡修正文件與工具，不要只等模型更新。
來源: Microsoft for Developers 部落格 (官方)
TypeSafe AI 傳完成約 8.7 億美元募資、估值 75 億美元，由 a16z 領投 L2
信心度: 中
重點: 據 PANews 於 2026-10-09 引述 Bloomberg 報導，開發 Jev 模型的 AI 新創 TypeSafe AI 已完成約 8.7 億美元的募資，估值 75 億美元，由 Andreessen Horowitz（a16z）領投，報導沒有列出其他投資人。PANews 稱 Jev 發布數週內迅速走紅，約三分之一的 Fortune 500 企業在使用，數日內使用者突破 100 萬。依 INSIDE 2026-09-17 的報導，Jev 是為 agentic AI 情境設計的「決策模型」，不產生自由文字，輸出限定在預先定義的決策空間（例如選擇呼叫哪個工具），TypeSafe AI 於 2026-09-15 結束隱身並公布由 DCVC 領投的 4,000 萬美元種子輪。
影響: 對建構 AI 代理的開發者而言，這是把工具選擇等結構化決策交給專用模型的路線取得大筆資金的案例。依 Crypto Briefing 的報導，9 月種子輪的投後估值約 2 億美元，本次報導的估值為 75 億美元。
詳細分析
取捨考量
優點:
- 若報導屬實，TypeSafe AI 在 Jev 發布數週後就取得大筆資金，可用於擴充產品與供應
- INSIDE 轉述的公司數據稱 Jev 回應比主流 LLM 快 20 至 200 倍、延遲 70 至 500 毫秒、成本為 LLM 的 1/40 至 1/400，適合代理中高頻的決策步驟
缺點:
- 屬二手報導：只讀到 PANews 的轉述，Bloomberg 原文無法讀取，也沒看到公司或 a16z 的正式公告
- 數字與先前報導不同：Crypto Briefing 在 2026-09-26 報導該公司據傳洽談募資逾 10 億美元、估值逾 100 億美元，本次報導的金額與估值都較低
- 採用數字（約三分之一 Fortune 500、百萬使用者）與效能數字都來自公司說法或媒體轉述，未經獨立驗證
快速體驗（5-15 分鐘）
- 讀 PANews 的報導，並留意 Bloomberg 原文或公司公告是否確認金額、估值與投資人
- 讀 INSIDE 對 Jev「決策模型」的介紹，確認它只輸出預先定義的決策、不產生自由文字，是否對得上你代理中的工具選擇或路由步驟
- 列出自家代理流程中每一步都呼叫大型 LLM 的決策點，記下延遲與成本，作為日後評估這類模型的基準
建議
把募資數字當成尚待確認的報導；代理中有大量結構化決策步驟的團隊可以先了解決策模型的定位，等有公開文件與獨立評測再決定是否試用。
來源: PANews (新聞) | INSIDE (新聞) | Crypto Briefing (新聞)
研究：system prompt 中自動帶入的日期會改變 LLM 評測分數，並重排模型排名 L2
信心度: 高
重點: 論文「Dating the Model: Hidden Dates in System Prompts Affect LLM Evaluation」（arXiv 2609.36931，2026-09-29 提交，已被 AACL 2026 Main 接受）指出，供應商自動寫進 system prompt 的當前日期會影響評測結果，Unite.AI 於 2026-10-09 報導這項研究。作者在 9 個模型、6 個資料集上只更換日期（2024 年的每一天），其餘條件不變，結果多選題表現變動最多 6%、數學推理 14%、程式生成 7%、翻譯 2.84 BLEU，模型排名也跟著改變，影響幅度大於 batch size 或數值精度造成的非確定性。Chain-of-thought 與 few-shot 都沒有消除這種敏感度，chain-of-thought 還會放大它。
影響: 影響所有做模型評測、維護排行榜或以基準分數選型的團隊：兩次評測如果在不同日期執行，分數差異可能來自日期而不是模型本身。Unite.AI 提到 GPT-5.1 在 system prompt 留空、關閉 reasoning、隨機性設為零的條件下，2025 年 12 月連續七天在三個多選題基準上仍有最多 4% 的準確率波動，因為日期仍由供應商自動插入。
詳細分析
取捨考量
優點:
- 指出一個容易被忽略、也容易控制的變因：把日期固定並記錄下來即可
- 涵蓋多選題、數學、程式生成與翻譯四類任務，並排除了與時間有關的題目
- 作者給出可直接採用的做法：能移除日期就移除，不能移除就固定並記錄
缺點:
- 主要實驗的 9 個模型是 Llama 3.1、Gemma 3、Qwen3、Qwen3-Next、Phi-4 與 GPT-OSS 系列；GPT-5.1 只有為期一週的觀察
- Few-shot（五個範例）只把平均變動從 2.52% 降到 2.27%，目前沒有靠提示技巧就能解決的辦法
- 日期為何會影響與時間無關的題目，報導中沒有確定的答案；Unite.AI 提出的解釋（fine-tuning 階段 system prompt 固定不變）只是推測
快速體驗（5-15 分鐘）
- 檢查評測腳本與推論服務的 chat template 或 system prompt，是否會自動插入當天日期
- 把日期固定成單一值（或移除），再用幾個不同的日期字串重跑同一組基準的小樣本，看分數變動多少
- 在評測報告與排行榜設定中記下使用的 system prompt 全文與日期值
- 開啟 arxiv.org/abs/2609.36931 閱讀摘要與各任務的變動幅度
建議
跑基準測試或比較模型時，把 system prompt 的日期當成需要控制的變因：固定、記錄，跨日期比較分數前先確認日期一致。
來源: arXiv 論文 2609.36931 (文檔) | Unite.AI (新聞)
Ai2 分享共用 GPU 叢集的新排程做法：把 GPU 時間當成預算分配，debug 工作 p90 等待從 2 小時降到 30 秒 L2
信心度: 高
重點: Ai2（Allen Institute for AI）於 2026-10-09 在 Hugging Face 部落格發表「Impactful scheduling for GPU clusters」，說明其 AI Infrastructure 團隊如何汰換以優先權為基礎的 GPU 排程器。舊系統的問題是使用者用空轉的工作佔住 GPU、所有工作最後都標成 HIGH 優先權，以及 on-call 工程師要花時間協調關閉不可搶占的工作；新排程器把 GPU 時間當成由主管逐層分配的預算，以滑動回看視窗（預設 7 天）做階層式 fair-share，工作需宣告最短執行時間（受保護的上限為 8 小時），沒有掛預算的用量免費但隨時可被搶占。Ai2 表示在 30 天測試期間各團隊拿到應得 GPU 時數的 98%，debug 工作的 p90 排隊時間從 2 小時降到 30 秒，最大 H100 叢集的中位數等待從 5 分鐘降到 24 秒，需要人工介入的維修減少 74%，叢集佔用率前後都是 98%。
影響: 對管理共用 GPU 叢集的 ML 平台與基礎設施團隊有直接參考價值。Ai2 的環境是約 150 位研究人員、需求為可用 GPU 的 2 到 3 倍、各叢集規模 88 到 1024 顆 GPU（合計數千顆 NVIDIA H100、B200、B300）。
詳細分析
取捨考量
優點:
- 受保護的 GPU 時間必須從預算扣，鑽漏洞會消耗自己的額度，針對的正是佔位與優先權通膨
- 未掛預算的用量可隨時被搶占，讓有預算的工作還沒準備好時 GPU 仍在使用；這類用量佔已交付 GPU 時間的 18%
- 執行中的工作可被搶占並重新排隊，不健康的主機可以自動排空，需要人工介入的維修減少 74%
缺點:
- 互動式 session 受 8 小時保護上限影響，被搶占時會遺失狀態；Ai2 計畫以純 CPU 叢集與可還原的 session 因應
- 容量碎片化可能拉長最大型工作的等待時間，Ai2 仍在調查
- 文章沒有釋出排程器的程式碼，只引用 SLURM 的 Fair Tree、YARN Fair Scheduler 等既有做法，要採用得自行實作
快速體驗（5-15 分鐘）
- 讀原文，對照你們的叢集是否有同樣三個症狀：空轉佔位、優先權全部標最高、on-call 花時間協調關閉不可搶占的工作
- 統計自家叢集的中位數與 p90 排隊時間，以及短時間 debug 工作（Ai2 定義為最短執行時間 15 分鐘以內）的等待時間，建立比較基準
- 評估能否要求工作宣告最短執行時間與是否可續跑；使用 SLURM 的團隊可查看其 Fair Tree fair-share 設定
建議
GPU 需求長期大於供給的團隊可以參考這套「預算、最短執行時間、可搶占的免費用量」設計，先量測現有等待時間，再評估要在既有排程器上調整還是自行實作。
來源: Ai2（Hugging Face 部落格） (官方)
Insider Gaming：Ubisoft 將多元與包容長 Raashi Sikka 升任 Chief AI Enablement Officer，Motherbrain 成為全公司的生成式 AI 團隊 L2GameDev - 程式/CI
信心度: 中
重點: Insider Gaming 於 2026-10-09 報導，Ubisoft 的 Chief Diversity, Inclusion, Accessibility, and Social Impact Officer Raashi Sikka 在任職 5 年後升任 Chief AI Enablement Officer，消息來自她的 LinkedIn 貼文，她表示目標是協助組織與團隊具備因應 AI 轉變的能力。報導另稱 Ubisoft 於 2026-10-07 向內部說明，生成式 AI 計畫 Motherbrain 現在是「專注把生成式 AI 變成實際遊戲體驗的專責團隊」，並將成為橫跨全公司的 global entity，由總經理 Xavier Manzanares 帶領。報導指出，公司內部現在預期每個團隊都要探索 Motherbrain 與 GenAI，高層則強調 GenAI 仍只是創作工具，不是用來取代編劇、設計師與演員。
影響: 直接影響 Ubisoft 旗下各團隊的開發流程；對其他工作室的開發者而言，這是大型發行商把 GenAI 列為全公司工作項目的一個案例。Manzanares 表示 GenAI 在部分遊戲中可以是體驗的核心（例如可以對話的角色），在其他遊戲則用在幕後，例如讓 behavior tree 更聰明，以及改善新手引導與無障礙功能。
詳細分析
取捨考量
優點:
- 設立專責高階主管，並讓 Motherbrain 成為橫跨全公司的團隊，GenAI 工作有明確的負責單位
- 高層明言 GenAI 是創作工具，不是用來取代編劇、設計師與演員
- Manzanares 舉出的幕後用途（behavior tree、新手引導、無障礙）是輔助既有系統的方向
缺點:
- 「每個團隊都要探索」是內部期待，報導沒有說明範圍、時程與衡量方式
- 只有單一媒體報導，Ubisoft 沒有對外公告，Motherbrain 的細節來自內部訊息
快速體驗（5-15 分鐘）
- 讀 Insider Gaming 的報導，並留意 Ubisoft 是否對外確認 Motherbrain 的定位與 Sikka 的新職
- 在工作室任職的開發者，確認公司是否已有 AI 使用政策，以及哪些環節（對話角色、behavior tree、新手引導、無障礙）被列為可用範圍
- 列出自己專案中可以用 GenAI 輔助的幕後系統，作為團隊討論的起點
建議
把它當成大型發行商將 AI 導入組織化的案例持續觀察，等 Ubisoft 正式說明或有更多媒體佐證再下結論；遊戲開發者可以先釐清自家團隊對 GenAI 使用範圍的規定。
來源: Insider Gaming (新聞)