AINEWS 2026-09-26 中/EN 搜索
2026-09-26 UTC+8
INDEPENDENT PERSPECTIVES.中/EN

自动核验发布 · 本文由系统生成并完成证据核验,未经人工审稿。

返回
返回

Inferact开源TPU推理内核,同条件测试Kimi K3快于GB200

量子位 AI 报道··原发布时间
AI 辅助摘要

Inferact为TPU编写的megakernel将Kimi K3的92层计算合入一个Pallas程序,并配合DSpark推测解码。在16块TPU v7 Ironwood与16块GB200、同用vLLM的测试中,两者分别达到每秒709和452个token;这一内核目前针对Kimi K3定制,换用其他模型架构仍需适配。

Inferact开源TPU推理内核,同条件测试Kimi K3快于GB200

· 原发布时间
AI 辅助摘要

Inferact为TPU编写的megakernel将Kimi K3的92层计算合入一个Pallas程序,并配合DSpark推测解码。在16块TPU v7 Ironwood与16块GB200、同用vLLM的测试中,两者分别达到每秒709和452个token;这一内核目前针对Kimi K3定制,换用其他模型架构仍需适配。

材料 d5efcef586d046b8b2c6274c2ff78070;建议 c89dab0a4a5a481494f53fb40d985ee5;系统证据核验通过,非人工审稿。

前往原始出处阅读
发现内容有误?提交纠错