Amazon SageMaker AI 上的 MoE 内核工程优化实践
针对 MoE 模型在解码阶段因 M 维过小导致 Hopper GPU 利用率低的问题,AWS 提出 Swap-AB 优化,将专家维度 N=8192 提升为首操作数,在 H200 上为大规模 MoE 模型带来 2–4% 端到端输出吞吐提升,该优化已合入 vLLM 0.24.0 或更高版本。
针对 MoE 模型在解码阶段因 M 维过小导致 Hopper GPU 利用率低的问题,AWS 提出 Swap-AB 优化,将专家维度 N=8192 提升为首操作数,在 H200 上为大规模 MoE 模型带来 2–4% 端到端输出吞吐提升,该优化已合入 vLLM 0.24.0 或更高版本。
Ai2 发布 HiRO-ACE 系统的新版本 HiRO-ACEv2,核心是新的降尺度模型 HiROv2,可同时预测多个高分辨率气象场,并提升了对极端事件的预测能力。
推荐理由:HiRO-ACEv2 把全球 3 km 气候数据的生成成本降到 X-SHiELD 的约 1/300,并给出极端天气统计误差与适用边界。
基于 Amazon Bedrock AgentCore 搭建的 AI 智能体系统可自动生成 PowerPoint 演示文稿,内部测试中完成一份耗时不到 90 秒。
Liquid AI 发布 LFM2.5-24B-A2B,一个 24B 参数、每 token 仅 2B 激活参数的推理模型,面向端侧私有智能体,会先思考再作答并调用工具。
推荐理由:LFM2.5-24B-A2B 以 2B 激活参数对标更大 MoE,并给出端侧与 GPU 推理速度,可据此判断本地智能体的可行性。
NVIDIA 宣布 RTX Spark 笔记本将于 10 月 16 日上市,最高 128GB 统一内存和 1 petaflop AI 算力,首发覆盖数百款游戏与 130 多个加速应用。
推荐理由:原文列出 RTX Spark 首发时本地智能体、创作与开发工具的适配清单,可据此判断本地 AI 工作流的落地程度。
微软研究院开源 Agent Lightning v1.0,一个约 3500 行代码的轻量智能体强化学习框架,提出 Harnessed Agentic RL 范式,让部署时使用的 agent harness 直接参与训练,无需在训练框架内重新实现智能体。
推荐理由:微软开源 3500 行代码的智能体 RL 框架,读者可了解如何让部署用的 harness 直接参与训练。
阿布扎比技术创新研究院(TII)发布 Falcon-ASR,一个 1.6B 参数的语音识别模型,重点覆盖阿联酋方言,同时支持英语、法语、西班牙语和葡萄牙语。在六个阿拉伯语测试集上平均 WER 为 20.92%,优于所用榜单快照中最佳公开结果 23.17%;内部阿联酋方言评测 WER 22.73%、CER 10.19%,比次优的 Qwen3-Omni 低 4.07 个百分点。
英伟达团队从 Nemotron 3 出发,用 SFT、RL 和生成-验证-改进的推理循环做领域微调,在 IOI 2026 与 IMO 2026 两个竞赛上均达到金牌水平。
推荐理由:原文给出了从 Nemotron 3 微调到 IOI、IMO 金牌级成绩的完整配方,可看数据、训练与推理循环如何配合。
Google DeepMind 发布 EmbeddingGemma 2,基于 Gemma 4 架构、740M 参数,在 Apache 2.0 许可下开源,可把文本、图像、音频和视频映射到统一嵌入空间。
推荐理由:官方给出 740M 参数、模块化编码器与端侧内存占用,可据此判断本地多模态检索的落地成本。
Mistral 推出 Mistral Large 4 公开预览,这是一个 1 万亿参数、520 亿激活参数的 natively 多模态模型,可在 Mistral Studio 试用预览 API,权重将于本月底发布。
推荐理由:Mistral 公布 1 万亿参数多模态模型的公开预览与开源权重计划,可据此判断开源阵营的前沿能力位置。
Google DeepMind 发布 SynthID Bio,将水印技术引入合成生物学,把不可感知的签名直接嵌入生物代码,使水印在数字模型和合成出的实体蛋白质上均可验证,同时保持其生物功能。
推荐理由:SynthID 水印从图像扩展到合成生物,读者可了解其在 DNA 合成筛查与数据库标注中的验证思路。
微软研究院对移动操作机器人负载做了系统性测量,发现把物理 AI 推理从机器人端侧 GPU 卸载到边缘或云端 GPU,可提升任务成功率、支持更大模型并延长续航。
推荐理由:微软研究院对机器人推理负载的系统性测量,给出了端侧 GPU 与卸载到边缘或云端的性能与续航对比数据。
微软在 Nature 发表逆合成预测框架 RetroChimera,并开源其实现与权重。该模型融合 Transformer 模型 R-SMILES 2 与基于 GNN 的 NeuralLoc,通过学习式重排序整合两者互补预测。盲测中化学家更偏好其单步反应预测,多步路线评测中 10 个目标成功 9 个,优于 de novo 模型的 5 个、编辑模型的 4 个和 NeuralSym 的 2 个。
Berkeley AI Research 与 IBM Research 将进化式内核搜索框架 K-Search 扩展到 MLX 后端,并加入结构化的 CUDA 到 MLX 翻译层,让已有 CUDA 内核经验迁移到 Apple Silicon。
推荐理由:原文给出跨平台内核迁移的具体方法与实测数字,可了解 CUDA 经验迁移到 Apple Silicon 的可行路径。
Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法,用于在大规模场景下识别 LLM 的关键交互。SPEX 利用稀疏性与低阶性把交互搜索转化为稀疏恢复问题,ProxySPEX 进一步借助层级结构,以约 10x 更少的消融达到 SPEX 的性能。
Berkeley AI Research 提出一种基于互信息的成像系统评估与优化框架,仅用含噪测量和噪声模型即可量化测量对物体的区分能力,无需任务专用解码器。该方法在彩色摄影、射电天文、无透镜成像和显微成像四个领域验证,信息估计能预测解码器性能,优化后的设计在更少内存和算力下达到端到端 SOTA 方法水平。相关成果发表于 NeurIPS 2025 论文。