Как сравнивают LLM: бенчмаркинг

3 октября в 12:00 доктор технических наук Владимир Крылов расскажет о бенчмарках для LLM. Рассмотрим современные методы оценивания способностей больших языковых моделей решать различные задачи. Вы узнаете: 🔸какие бенчмарки для определения лучших моделей сейчас наиболее типичны; 🔸как применяется шахматный рейтинг ELO для бенчмаркинга; 🔸что такое Leaderboard Arena; 🔸какие частные, но важные бенчмарки применяются для проблемно ориентированных моделей и мультимодальных LLM. Если вы хотите работать в ИТ и в Artezio, отправляйте своё резюме по ссылке Подписывайтесь на телеграм-канал AI4Dev: