Бенчмарк нейросетей для программирования на 1С

В рамках исследования были протестированы следующие нейросети: GPT-5 hight, Gemini 2.5 Pro, Claude 4.1 Opus, Grok 4, Qwen3 — coder, Deepseek-R1, GLM-4.5, Kimmi-K2 и GPT-OSS 120b. Основные выводы: использование MCP серверов и корректных правил значительно повышает качество кода. Лидером в области вайбкодинга для 1С стала Claude 4.1 OPUS, однако Gemini 2.5 Pro продемонстрировала сопоставимые результаты с гораздо большей скоростью и экономичностью. Закрытые модели по-прежнему превосходят открытые, с Qwen3-Coder как лучшим представителем среди последних. GPT-5 не оправдала ожиданий, а GPT-OSS не подходит для задач вайбкодинга. Для подробностей можно ознакомиться с результатами на GitHub и обсудить их в Telegram-канале. Эксперименты проводились с учетом всех современных условий, что гарантирует их актуальность для реальной практики программирования на 1С.