Подпишитесь на Telegram-каналЯзыковая модель A-Vibe, разработанная компанией Авито, заняла первое место в российском бенчмарке MERA, опередив такие международные модели, как разработки от OpenAI, Google и Anthropic. В тестах участвовали нейросети с числом параметров от 5 до 10 миллиардов, и A-Vibe продемонстрировала лучшие результаты в ряде задач, включая генерацию кода и анализ текста.
Модель показала высокую точность в понимании и создании текстов на русском языке. В частности, A-Vibe на 25%, по словам представитель компании, лучше справилась с генерацией кода по сравнению с аналогичной моделью Gemini 1.5, а в диалогах была на 32% точнее, чем Llama 3.1. Также её способность к смысловому анализу текста оказалась на 23% выше, чем у модели Claude 3.5 Haiku.
Особенность разработки заключалась в её адаптации под русский язык. Команда разработчиков улучшила токенизатор и оптимизировала модель для лучшего восприятия русскоязычного контента, что позволило значительно повысить качество и скорость обработки текста.
Нейросети приближаются к результатам, демонстрируемым человеком, но, как показывают данные HUMAN BENCHMARK, пока не способны полностью превзойти человеческие возможности в анализе контекста и понимании языка.
Бенчмарк MERA, в рамках которого была проведена оценка моделей, позволяет сравнивать ИИ-системы на основе их способности работать с русским языком и учитывать культурные особенности.
