Здесь собрана техническая сторона Aiban: как запускать модели локально, чем обслуживать inference и как связать отдельные эксперименты в работающую систему.
Основные заметки
- Инфраструктура разработки — общая схема и рабочий процесс
- Локальный ИИ в хоумлабе — зачем модели живут дома
- vLLM — сервер inference и практические настройки
Выбор самих моделей вынесен в Модели, а весь проект начинается с хаба Aiban.