Groq 宣布其 LPU 推理芯片吞吐量创纪录

AI 芯片初创公司 Groq 宣布，其最新的 LPU（语言处理单元）在处理 Llama 3 8B 模型时，推理速度突破了 每秒 1000 个 token。这种极低延迟的特性使其在实时翻译和高频交易领域备受追捧。