vLLM

vLLM – engine de inferência para LLMs com alta performance