Локальный инференс на ноутбуках: результаты тестирования

В середине 2025 года я приобрел ноутбук Lenovo Thinkbook 14+ для работы. После выхода моделей gpt-oss я решил протестировать локальный инференс младшей версии, и результаты меня удивили. Я также провел тесты на двух других ноутбуках, а недавно собрал группу коллег для проверки еще пяти устройств. Оказалось, что локальный инференс доступен гораздо шире, чем предполагалось, и я снял видео с подробностями.

Я выбрал LM Studio для тестирования, так как это проще и быстрее, хотя существуют и другие методы, которые могут ускорить процесс. Модель gpt-oss-20b была выбрана из-за ее эффективности в задачах DevOps, что видно на примерах из моего рабочего опыта. Для тестирования использовались два типа запросов: простой и сложный, чтобы оценить производительность.

Таблицы показывают характеристики ноутбуков и скорость генерации ответов. Результаты тестов показали, что локальный ИИ стал более доступным для бюджетного сегмента, хотя еще есть нюансы. Личный вывод: локальный инференс на ноутбуках улучшился, и теперь это реальная альтернатива для пользователей.