Amazon SageMaker AI 上的 MoE 内核工程优化实践
针对 MoE 模型在解码阶段因 M 维过小导致 Hopper GPU 利用率低的问题,AWS 提出 Swap-AB 优化,将专家维度 N=8192 提升为首操作数,在 H200 上为大规模 MoE 模型带来 2–4% 端到端输出吞吐提升,该优化已合入 vLLM 0.24.0 或更高版本。
针对 MoE 模型在解码阶段因 M 维过小导致 Hopper GPU 利用率低的问题,AWS 提出 Swap-AB 优化,将专家维度 N=8192 提升为首操作数,在 H200 上为大规模 MoE 模型带来 2–4% 端到端输出吞吐提升,该优化已合入 vLLM 0.24.0 或更高版本。
AWS 博客介绍 SpaceXAI 的 Grok 4.7 已在 Amazon Bedrock 上线,并演示如何用它搭建工具调用智能体。作者在三个需要搜索而非查表的任务上按 low、medium、high、xhigh 四档推理强度各跑六次,共 72 次运行,答对 67 次;xhigh 全部 18 次正确,low 答对 15 次而输出 token 约为 xhigh 的八分之一。
推荐理由:作者在 Bedrock 上实测 Grok 4.7 四档推理强度,给出 72 次运行的准确率与 token 成本对照,可迁移到自建智能体评测。
基于 Amazon Bedrock AgentCore 的多智能体 IDP 系统可自动分类、提取、校验并从业务文档中学习,新文档类型无需手动配置模板,部署通常 20 分钟内完成。
基于 Amazon Bedrock AgentCore 搭建的 AI 智能体系统可自动生成 PowerPoint 演示文稿,内部测试中完成一份耗时不到 90 秒。
Tamnoon 基于 Amazon Bedrock 构建了智能体云修复编排器 Tami,可自主调查 CNAPP 等来源的安全发现并评估修复安全性,90 天内将关键云暴露减少超 90% 且零生产事故。Tami 由调查、安全评分、修复和代码生成四个专用智能体组成,安全评分会将发现分类为 SAFE、RISKY 或 AWAITING DATA,代码生成前需经输入护栏筛查提示词注入并由独立审查智能体批准。
Amazon SageMaker JumpStart 提供预训练模型目录,可通过 SageMaker Python SDK 部署模型并运行轻量可复现的性能测试,测完删除端点。
Amazon Bedrock 结合 managed entitlements,让企业只需在中心账户订阅一次 AWS Marketplace 私有定价优惠(MPPO),即可向全组织分发第三方 AI 模型访问权限。
Orca Security 与 AWS 合作在 Amazon Bedrock 上构建了自然语言查询智能体 Discovery AI,可将自然语言问题转换为 Sonar 查询。
ShipStation Global 工程团队基于 Amazon Bedrock AgentCore 打造了 Slack 内的 AI IT 服务台 Deckhand,可回答常规 IT 与公司问题、识别报错截图并创建和更新 Jira Service Management 工单。
GitHub Copilot 入门系列介绍四种为项目定制 Copilot 的方式:仓库级自定义指令写入 .github/copilot-instructions.md。
作者在 Hugging Face 上用 ML-intern 从零构建了六个模型,包括 0.8B 的 Pocket Rewriter、柑橘病害 VLM、Huggy LoRA、相机视角 LoRA、Doodle-in LoRA 和 Agate 4-step 蒸馏模型,总计算成本约 103 美元。
推荐理由:作者用六个真实项目展示了如何写提示词让 ML-intern 完成训练、评测与发布,并给出每项算力成本。
GitHub 提出 AI 时代开发者需强化三项技能:学会指挥 AI 智能体而非仅使用它、不轻信 AI 的首次答案、用 AI 节省的时间去解决更大问题。文中以 GitHub Copilot 内置的 Rubber Duck agent 为例,说明可用第二个模型对计划、代码和测试进行批判性审查。
GitHub Copilot 应用中的 canvas 是一种可自定义界面,用户只需在 agent 会话中输入 /create-canvas 并用自然语言描述需求,即可生成看板、发布清单或仪表盘等界面,无需手写代码。
GitHub Copilot 提出 chat 往往是错误的 AI 交互界面,其 canvas 是可运行在 GitHub Copilot app 内的全栈应用,能与 agent 双向通信并调用第三方 API、在本地执行代码。
Mistral 帮助一家欧洲能源运营商把 4 万行 Fortran 77 迁移到 C++,对象是一个没有测试套件和集中文档的物理密集型油藏模拟器。团队先搭建数值对齐测试框架,用自定义解析器生成调用树并借助 Vibe CLI 和 Mistral OCR 让上百个智能体补文档,再以规划、编码、测试、审查加人工卡点的工作流逐模块迁移。
推荐理由:Mistral 公开了用智能体迁移 4 万行 Fortran 的完整流程,其中先建数值对齐测试再迁移的做法可直接迁移到其他遗留系统改造。