Amazon SageMaker AI 上的 MoE 内核工程优化实践
针对 MoE 模型在解码阶段因 M 维过小导致 Hopper GPU 利用率低的问题,AWS 提出 Swap-AB 优化,将专家维度 N=8192 提升为首操作数,在 H200 上为大规模 MoE 模型带来 2–4% 端到端输出吞吐提升,该优化已合入 vLLM 0.24.0 或更高版本。
针对 MoE 模型在解码阶段因 M 维过小导致 Hopper GPU 利用率低的问题,AWS 提出 Swap-AB 优化,将专家维度 N=8192 提升为首操作数,在 H200 上为大规模 MoE 模型带来 2–4% 端到端输出吞吐提升,该优化已合入 vLLM 0.24.0 或更高版本。
AWS 博客介绍 SpaceXAI 的 Grok 4.7 已在 Amazon Bedrock 上线,并演示如何用它搭建工具调用智能体。作者在三个需要搜索而非查表的任务上按 low、medium、high、xhigh 四档推理强度各跑六次,共 72 次运行,答对 67 次;xhigh 全部 18 次正确,low 答对 15 次而输出 token 约为 xhigh 的八分之一。
推荐理由:作者在 Bedrock 上实测 Grok 4.7 四档推理强度,给出 72 次运行的准确率与 token 成本对照,可迁移到自建智能体评测。
北欧正加速建设欧洲重要科技生态,预计到 2027 年底部署 1 吉瓦 AI 云容量,Bitdeer、CoreWeave、Crusoe、Nscale 等厂商参与。
基于 Amazon Bedrock AgentCore 的多智能体 IDP 系统可自动分类、提取、校验并从业务文档中学习,新文档类型无需手动配置模板,部署通常 20 分钟内完成。
Google 宣布公开发布 Deep Review,一个面向复杂文档提供严格反馈与技术验证的智能体 AI 系统,最初用于计算机科学论文分析,现已扩展到法律、金融等领域。
推荐理由:Google 公开了 Deep Review 的四阶段智能体审稿流程与免费额度,可据此判断自动审稿在自身工作流中的位置。
基于 Amazon Bedrock AgentCore 搭建的 AI 智能体系统可自动生成 PowerPoint 演示文稿,内部测试中完成一份耗时不到 90 秒。
Tamnoon 基于 Amazon Bedrock 构建了智能体云修复编排器 Tami,可自主调查 CNAPP 等来源的安全发现并评估修复安全性,90 天内将关键云暴露减少超 90% 且零生产事故。Tami 由调查、安全评分、修复和代码生成四个专用智能体组成,安全评分会将发现分类为 SAFE、RISKY 或 AWAITING DATA,代码生成前需经输入护栏筛查提示词注入并由独立审查智能体批准。
Amazon SageMaker JumpStart 提供预训练模型目录,可通过 SageMaker Python SDK 部署模型并运行轻量可复现的性能测试,测完删除端点。
SentinelOne 借助 OpenAI Daybreak 将恶意软件分析从数周缩短至数小时,从而腾出精力调查更多威胁。
NVIDIA 宣布对 Boltz、Foresight、Hiverge、Prima Mente 和 Riverlane 五家英国 AI 与量子计算初创企业进行新投资,此前已投资 Basecamp Research、Synthesia、Wayve 等公司。NVIDIA 还承诺五年 2.5 亿美元算力投入,用于加强英国智能体安全与安保研究,并以全球联盟创始合伙人身份加入 Earthshot Prize。
欧洲多国城市正联合 ABA Technology、Akila、K2K、Milestone 等软件伙伴,用 NVIDIA 加速计算、Cosmos 与 Nemotron 开放模型及 Metropolis VSS 蓝图构建物理 AI 智能体和数字孪生,用于交通、能源、公共安全等城市运营。
Anchor Browser 与 Amazon Bedrock AgentCore payments 集成,让 AI 智能体在浏览器会话内自动应对 HTTP 402 付费请求,现已上线 AWS Marketplace。
推荐理由:原文给出 x402 支付在浏览器会话内自动完成的完整流程与接入方式,可据此判断智能体付费访问的实现路径。
GitHub 用微调后的 ModernBERT 分类器替换原有 LLM 密钥检测流程,用户接受度提升 11.5%,推送后扫描执行时间中位数降低 86%,服务成本降低超 98%。该两阶段流程先用正则表达式生成候选,再由分类器结合文件路径、变量名和上下文判断是否为真实凭证,并将通用密钥检测扩展到推送保护阶段。
Amazon Bedrock 结合 managed entitlements,让企业只需在中心账户订阅一次 AWS Marketplace 私有定价优惠(MPPO),即可向全组织分发第三方 AI 模型访问权限。
Orca Security 与 AWS 合作在 Amazon Bedrock 上构建了自然语言查询智能体 Discovery AI,可将自然语言问题转换为 Sonar 查询。
ShipStation Global 工程团队基于 Amazon Bedrock AgentCore 打造了 Slack 内的 AI IT 服务台 Deckhand,可回答常规 IT 与公司问题、识别报错截图并创建和更新 Jira Service Management 工单。
NVIDIA 宣布 RTX Spark 笔记本将于 10 月 16 日上市,最高 128GB 统一内存和 1 petaflop AI 算力,首发覆盖数百款游戏与 130 多个加速应用。
推荐理由:原文列出 RTX Spark 首发时本地智能体、创作与开发工具的适配清单,可据此判断本地 AI 工作流的落地程度。
NVIDIA 宣布计划新投资 Doctolib、Entalpic、Genesis AI 和 Pigment 四家法国初创公司,覆盖医疗、材料发现、物理 AI 与业务规划领域。
NVIDIA 在 OCP Global Summit 上通过 MGX 开放架构贡献 Vera Rubin 机架与计算托盘设计,并发布 MGX 1.2 规范,支持最高 250kW 机架部署和机架级盲插液冷。
推荐理由:NVIDIA 在 OCP 峰会上把 Vera Rubin 机架设计、DSX 开源组件与多项开放标准一并交出,读者可据此了解 AI 工厂基础设施的开放化路径。
NVIDIA 开发者用前沿 AI 模型配合 Omniverse 库,通过自然语言指令构建仿真应用,文中示例使用 GPT-6 Astra 与 Claude Fable 5 智能体。其中传感器数字孪生项目由智能体在约三天内从零创建两个数字孪生并改进两个已有孪生;Robo Olympics 中 Unitree G1 人形机器人在 100 次仿真试验中有 64 次越过单个栏架。
《Gears of War: E-Day》本周正式上线 GeForce NOW,Ultimate 会员可以 GeForce RTX 5080 级性能在云端体验,并支持 NVIDIA DLSS 与 NVIDIA Reflex。
作者在 Hugging Face 上用 ML-intern 从零构建了六个模型,包括 0.8B 的 Pocket Rewriter、柑橘病害 VLM、Huggy LoRA、相机视角 LoRA、Doodle-in LoRA 和 Agate 4-step 蒸馏模型,总计算成本约 103 美元。
推荐理由:作者用六个真实项目展示了如何写提示词让 ML-intern 完成训练、评测与发布,并给出每项算力成本。
在旧金山 Microsoft 活动上,NVIDIA 与 Microsoft 宣布为 Windows PC 上的 AI 智能体共同设计软硬件,并推出 RTX Spark。
推荐理由:英伟达与微软把智能体运行所需的系统级容器和本地算力硬件一并给出,读者可据此判断本地智能体落地的硬件门槛。
GitHub 与 Microsoft Applied Sciences 合作训练了 ModernBERT 分类器,用代码上下文识别无固定格式的密钥,可在 2 毫秒内评估一批候选密钥,有望让可拦截的密钥数量翻倍以上。
推荐理由:原文给出九季度密钥泄露数据与新型分类器的延迟和成本约束,读者可据此判断推送前拦截为何要换模型。
微软研究院开源 Agent Lightning v1.0,一个约 3500 行代码的轻量智能体强化学习框架,提出 Harnessed Agentic RL 范式,让部署时使用的 agent harness 直接参与训练,无需在训练框架内重新实现智能体。
推荐理由:微软开源 3500 行代码的智能体 RL 框架,读者可了解如何让部署用的 harness 直接参与训练。
Google Earth AI 的 Population Dynamics Foundation Model(PDFM)将匿名搜索趋势、人口流动、建成环境密度和环境数据压缩为按月更新的位置嵌入向量,无需任务特定微调即可直接接入现有流行病学模型。
Google Research 发布新一代联邦学习系统,利用可信执行环境(TEE)为数据匿名化提供可验证、可审计的保证,并已用于 Gboard 的英语和日语下一词预测模型。
推荐理由:Google 公布基于 TEE 的新一代联邦学习系统设计,读者可了解其如何让服务端处理过程可被外部验证。
ServiceNow CoreAI 构建了 AutoSynthData,利用目标模型的失败案例与更强教师的成功示范定位能力缺口,再生成并验证新任务用于后训练,课程随模型进步转向仍难的任务。该流程在 EnterpriseOps Gym 上做了演示,任务由系统规范、用户提示词和验证器三部分组成,需满足可行性、真实性与难度要求。
微软研究院实习生构建的机器学习流水线,利用 L1 太阳风观测、AE 与 Dst 指数预报及本地地质电导率数据,为美国本土 66,935 座变电站生成 30 至 60 分钟前的分区空间天气风险估计。
Mistral 在慕尼黑开设德国中心,组建专注 Physics AI 与工业 AI 的研究团队,并计划到 2030 年建成 1 吉瓦欧洲算力。该中心将与 BMW 合作碰撞仿真与工程 AI、与 Siemens Energy 合作工业 AI 应用,并与慕尼黑工业大学(TUM)合作利用风洞设施开发汽车空气动力学数字孪生。
GitHub Copilot 提出 chat 往往是错误的 AI 交互界面,其 canvas 是可运行在 GitHub Copilot app 内的全栈应用,能与 agent 双向通信并调用第三方 API、在本地执行代码。
微软研究院对移动操作机器人负载做了系统性测量,发现把物理 AI 推理从机器人端侧 GPU 卸载到边缘或云端 GPU,可提升任务成功率、支持更大模型并延长续航。
推荐理由:微软研究院对机器人推理负载的系统性测量,给出了端侧 GPU 与卸载到边缘或云端的性能与续航对比数据。
Mistral 与 Cloudera 建立合作,将 Mistral 模型集成进 Cloudera 混合数据平台,支持企业在私有云、公有云、本地及完全气隙环境中部署推理并保持完全控制。企业可在受控环境内用专有数据训练定制模型,并基于开放权重拥有数据和由此产生的智能。Cloudera 平台承载 30 exabytes 客户自管数据。
Mistral 帮助一家欧洲能源运营商把 4 万行 Fortran 77 迁移到 C++,对象是一个没有测试套件和集中文档的物理密集型油藏模拟器。团队先搭建数值对齐测试框架,用自定义解析器生成调用树并借助 Vibe CLI 和 Mistral OCR 让上百个智能体补文档,再以规划、编码、测试、审查加人工卡点的工作流逐模块迁移。
推荐理由:Mistral 公开了用智能体迁移 4 万行 Fortran 的完整流程,其中先建数值对齐测试再迁移的做法可直接迁移到其他遗留系统改造。
Mistral 与 HUMAIN 宣布战略合作,覆盖 AI 基础设施、先进模型开发与 AI 解决方案部署,合作规模达数亿欧元。双方将优先推进网络安全与语音领域的模型本地化,并计划开发阿拉伯语表现强劲的前沿模型,Mistral 还将探索使用 HUMAIN 数据中心基础设施。双方计划在沙特面向受监管行业制定联合市场策略,以满足对主权 AI 的需求。
Mistral 发布 Agentic Search,作为检索层让模型在复杂文档中查找、阅读并核实信息,通过 Mistral Search Toolkit 和 Studio、Vibe 中的 Libraries 提供。
推荐理由:原文给出多步检索循环在 FinanceBench 与 OfficeQA Pro 上的准确率、token 与延迟变化,可据此判断传统 RAG 的改进空间。
Berkeley AI Research 与 IBM Research 将进化式内核搜索框架 K-Search 扩展到 MLX 后端,并加入结构化的 CUDA 到 MLX 翻译层,让已有 CUDA 内核经验迁移到 Apple Silicon。
推荐理由:原文给出跨平台内核迁移的具体方法与实测数字,可了解 CUDA 经验迁移到 Apple Silicon 的可行路径。
GPT-4 级能力从 2023 年初约 $30/百万 token 降至如今不到 $1,部分供应商已低于 $0.10,推理价格年降幅在 9x 到 900x 之间、中位数约 50x。
伯克利 AI Research 梳理了并行推理领域进展,重点讨论自适应并行推理——让模型自行决定何时分解并并行化独立子任务、生成多少并发线程以及如何协调。文章对比了自一致性、Best-of-N、Tree/Graph of Thoughts、MCTS、ParaThinker、GroupThink、Hogwild!
伯克利 AI 研究团队提出 GRASP,一种面向学习型世界模型的梯度规划器,通过将轨迹提升到虚拟状态实现跨时间并行优化、直接向状态迭代加入随机性以探索、并重塑梯度让动作获得清晰信号,从而让长时域规划变得可行。该方法针对长时域 rollout 中梯度爆炸/消失、非贪心结构导致的局部极小值以及高维视觉模型状态输入梯度脆弱等问题。