现在像 7B/13B 这类大模型，推理加速用的什么框架？

[1311317]

有专门做这块落地的大佬吗？

[Attenton]

感觉框架倒是其次的吧，主要还是算力和一些推理优化技术吧

[datoujiejie221]

可以看下 lightllm 这个项目，部署还是比较简单，项目最后也列举了一些现有框架可以参考一下：
Faster Transformer
Text Generation Inference
vLLM
Flash Attention 1&2
OpenAI Triton

[uriel2333]

在用 vllm 跑 qwen-7b ，当然只是跑起来了，也没有太多研究

[liprais]

llama.cpp

[1311317]

@uriel2333 看了一下介绍，感觉挺牛的

[1311317]

@Attenton 主要是借助推理框架的优化技术，自己实现不了那些技术