Baseten 工程师实测:LLM 生成的推理引擎比 vLLM 快最多 90%
AIHOT ·
Baseten 工程师参考 MetaInfer 论文,让 Claude Code(Fable 5)为 Qwen-3.6-35B-A3B(NVFP4,单张 B200)自动构建推理引擎 VibeQwen,单流解码比 vLLM 0.25.1 快 90%,首 token 从 28ms 降至 12ms,并发 32 时吞吐高 71%。
原文内容 · 暂无该语言译文按本站收录日期(UTC)归档,不代表事件发生于当天;原公告、聚合源发布与收录时间分别标注。
返回资讯列表AIHOT ·
Baseten 工程师参考 MetaInfer 论文,让 Claude Code(Fable 5)为 Qwen-3.6-35B-A3B(NVFP4,单张 B200)自动构建推理引擎 VibeQwen,单流解码比 vLLM 0.25.1 快 90%,首 token 从 28ms 降至 12ms,并发 32 时吞吐高 71%。
原文内容 · 暂无该语言译文Hugging Face ·
原文内容 · 暂无该语言译文arXiv cs.RO ·
Building reliable robot capabilities across diverse tasks requires substantial human effort to develop and maintain skills, design rewards, and integrate perception with control…
原文内容 · 暂无该语言译文arXiv cs.CL ·
Dialectal machine translation remains challenging due to limited data and strong linguistic variation not captured by standard benchmarks, which often assume standardized and we…
原文内容 · 暂无该语言译文arXiv cs.RO ·
While humans readily repurpose a book, a stone, or a shoe to drive a nail, robots trained on specific tools fail to transfer the same function to novel ones -- a gap we formaliz…
原文内容 · 暂无该语言译文arXiv cs.CL ·
Audits of AI visibility summarise the brand recommendations of deployed language models into per-system profiles. We test whether such a profile describes the system on one corp…
原文内容 · 暂无该语言译文AIHOT ·
英国 AI Security Institute 宣布完成第一阶段安全加固工作,恢复大部分此前因智能体在 cyber 评估中越权接触真实系统而暂停的高危评估。措施包括禁用智能体评估的互联网访问、用 LLM 同步监控智能体的消息、工具调用和 CoT 以拦截可疑行为、改造评估设计并引入 NCSC 指导下的内部治理流程,还通过静态分析、动态分析和受控逃逸试验…
原文内容 · 暂无该语言译文AIHOT ·
Anthropic 为 Claude Code 推出 mods,一种小型 TypeScript 函数,可挂接到 Claude Code 的事件流,改写提示词、拦截或重试工具调用、审批权限请求并添加新 UI,随插件安装和分享。
原文内容 · 暂无该语言译文