В ★5УГЛОВ мы активно используем как облачные, так и локальные языковые модели. В то время как онлайн-сервисы хорошо известны, локальные LLM часто недооценены. Я хочу поделиться своим опытом использования моделей, которые можно запустить на ПК: их полезностью и практическими применениями. Большие языковые модели (LLM) уже не требуют огромных вычислительных мощностей и могут быть загружены на обычные ПК без подключения к интернету. Особенно популярны дистиллированные модели, которые занимают меньше места и работают быстрее. Конфиденциальность, доступность и бесплатный API — основные преимущества локальных моделей. Они позволяют создавать корпоративные сервисы и инструменты для различных задач: от анализа документов до автоматизации работы. Локальные LLM значительно улучшились в скорости и качестве ответов. Мы оценим их производительность и определим лучшие модели для различных задач.