Inferact开源TPU推理内核,同条件测试Kimi K3快于GB200
Inferact为TPU编写的megakernel将Kimi K3的92层计算合入一个Pallas程序,并配合DSpark推测解码。在16块TPU v7 Ironwood与16块GB200、同用vLLM的测试中,两者分别达到每秒709和452个token;这一内核目前针对Kimi K3定制,换用其他模型架构仍需适配。
Inferact开源TPU推理内核,同条件测试Kimi K3快于GB200
Inferact为TPU编写的megakernel将Kimi K3的92层计算合入一个Pallas程序,并配合DSpark推测解码。在16块TPU v7 Ironwood与16块GB200、同用vLLM的测试中,两者分别达到每秒709和452个token;这一内核目前针对Kimi K3定制,换用其他模型架构仍需适配。
材料 d5efcef586d046b8b2c6274c2ff78070;建议 c89dab0a4a5a481494f53fb40d985ee5;系统证据核验通过,非人工审稿。
前往原始出处阅读