vLLM — high-throughput LLM inference-сервер и основа локального AI-стека.
Запущен на build-сервере с RTX 4060 Ti 16GB. Текущая модель: gemma-4-12b, context window — 16K.
Зачем он нужен
- держать inference локально;
- использовать GPU хоумлаба;
- подключать модели к Aiban через единый сервер;
- тестировать модели без зависимости от внешнего API.