Здесь фиксируется не рейтинг моделей, а их роль в локальном AI-стеке. Название и размер сами по себе мало говорят о пригодности: важны память, скорость, качество на моих задачах и предсказуемость длинного диалога.
Текущий кандидат
gemma-4-12b — текущая модель для экспериментов в хоумлабе. Статус кандидата означает, что она ещё должна пройти одинаковый набор проверок, а не просто один удачный разговор.
Критерии
- помещается ли модель в доступную видеопамять с нужным контекстом;
- насколько стабильно следует системной инструкции;
- справляется ли с русским текстом, кодом и вызовом инструментов;
- как ведёт себя при повторных запросах;
- оправдывает ли качество время и ресурсы inference.
Модель запускается через vLLM, сравнивается в контексте локального ИИ и встраивается в [[aiban/dev/ai-dev|разработку Aiban]].
Связанные заметки
- Хаб моделей;
- Aiban — главная страница проекта.