1. Инвокеры.
В Полигоне используются общие, глобальные для всех инвокеры. Это приводит к множеству неудобств. Допустим, кто-то, кто еще не очень хорошо знаком с Полигоном, запустил preview tests, а скрипт написан неправильно и делает не совсем то, что хочет автор задачи — например, генератор тестов каждый раз записывает информацию о всех тестах в файлы, а затем вызывается несколько раз в скрипте:
TestGenerator > 01
TestGenerator > 02
...
TestGenerator > 42
В результате генератор будет вызван 42 раза, все инвокеры будут заняты на долгое время, и никто другой не сможет ничего сделать, даже простейшие действия вида "изменить файл", не говоря уже о "пересобрать пакет задачи".
Кто виноват? Конечно, отчасти пользователь, который это все устроил. Но Полигон — открытая система, зарегистрироваться там может любой, а следовательно никто от этого не застрахован.
2. Информативные ошибки
Для чего угодно, написанного не на C++, Полигон вполне может выдать "очень информативные" ошибки, например:
[ERROR] Unexpected error has been found: Unexpected verdict CRASHED, comment=Generator %generator_name% returns exit code 11
Что произошло, что не так? Что такое exit code 11? Конечно, человек, который это уже когда-то видел и разбирался с этим в прошлый раз, возможно догадается, что дело в том, что его генератор тестов создает что-то в системе, что не нужно — например, папки. Однако понять это человеку, который видит такую ошибку впервые, согласитесь, невозможно.
Или же например, если вы переименовали задачу, но забыли переименовать файлы, из которых читают инпут ваши решения, получайте:
Can't create statement: Unexpected verdict RUNTIME_ERROR: Exit code is 3
3. Только онлайн-действия
Допустим, я нахожусь в локальной сети без интернета, но нужно провести контест, или же более жизненная ситуация — Полигон упал/нет свободных инвокеров (см. выше). А мне нужно пересобрать пакеты всех задач, где они не последней версии, и выкачать их. Что же делать? Ничего. Ждать, переносить контест, что угодно, эту проблему никак не решить.
4. Неудобный UI для задач с групповыми оценками
Чтобы поставить у нескольких тестов определенную группу, нужно поставить на них всех галочки, а потом написать, что у них будет группа %group_name%. Казалось бы, почему не добавить функциональность выставления групп сразу в скрипт, зачем столько ручной работы? Непонятно. Также очень весело после добавленного в середину теста менять подгруппы у O(groups_count) тестов, потому что все съехало.
Также на многие действия (это уже относится не к задачам с групповыми оценками, а в целом) Полигон обновляет страницу, и это безумно раздражает. Нажал не ту кнопку — пока, несохраненные изменения.
UPD. Эта претензия была неправильной, с помощью кнопки "Drafts" таких инцидентов можно избежать или почти избежать.
5. Конфликты
Все. Очень. Плохо.
Допустим, вы изменили файл в Полигоне, но за это время его кто-то тоже уже поменял и сделал коммит. Что предлагает сделать Полигон? Скачать working copy себе локально, потом сделать discard всех твоих только что сделанных изменений на сервере, после этого сделать их заново, взяв из скачанной working copy (предполагается, что ты помнишь, что ты только что поменял, и сейчас сможешь заново это сделать в уже измененной рабочей версии). При конфликте нельзя даже зайти в свою рабочую версию и посмотреть, что ты там наисправлял — ты должен это помнить сам.
Merge conflicts? Нет, не слышали, отменять изменения и добавлять их заново намного удобнее.
Советы разработчикам, которые все равно никто не прочитает
1. Зачем столько email-ов?
Сейчас по умолчанию при коммите не стоит флаг "не отсылать email-оповещение", соответственно почти все его и не ставят. В результате на почту приходит over9000 оповещений о том, что кто-то там закоммитил что-то там в какую-то задачу. При подготовке многих, особенно больших соревнований, часто применяется техника "расшарить все задачи всем", поэтому количество оповещений получается ну очень большим и, собственно, смысл этих оповещений теряется, потому что найти что-то важное уже невозможно.
Почему бы не поставить флаг по умолчанию на "не отсылать" или хотя бы дать возможность отписаться от этих надоедливых оповещений?
2. Консольный клиент
Далеко не rocket science идея, которая могла бы спасти 99% недовольств пользователей. Вот есть же git. Веб-версия позволяет делать что-то по-быстрому, не открывая ноутбук/компьютер, возможно даже с телефона. Консольная же версия позволяет делать всю остальную работу. И даже без интернета! Закоммитил в метро/поезде/подвале/самолете, а потом запушил на сервер, когда появился интернет. Вот оно! Вот оно решение всех проблем!
Сейчас есть несколько консольных клиентов, написанных обычными пользователями Полигона и позволяющие делать некоторые из вещей локально в консоли. Но авторы этих клиентов были мотивированы написать его для своих целей, поэтому многих фич там нет и возможно нет того, что могут реализовать только разработчики Полигона.
Очнитесь! Консольный клиент очень нужен, с ним стало бы жить намного проще. Реализуйте его уже наконец, ну пожалуйста!
Выводы
Спорить не буду, у Полигона есть довольно много плюсов, он развивается, допиливается и т.п.
<sarkasm>Например, это очень хороший pdf-maker — не надо устанавливать себе latex, если хочешь просто собрать tex-овский файл</sarkasm>;- Тесты к чекерам и валидаторам, автоматическая проверка чекеров на адекватность — очень хорошая идея, это большой плюс Полигона;
- Запуск сразу нескольких решений в одном invocation-е, то есть параллелизация процесса тестирования — тоже круто;
- Полигон кроссплатформенный, позволяет скачивать пакеты к задачам для разных операционных систем;
- У Полигона есть API.
Однако, минусов тоже хватает. И если Полигон так пытаются пропихнуть в массы, доказать, что он лучше всех, доказать, что именно им надо пользоваться для подготовки задач — нужно соответствовать статусу.
Лично мне пока что в большинстве случаев приятнее все сделать и подготовить локально. Пусть я потрачу больше времени на тестирование, пусть я буду вбивать тесты к чекерам руками, но зато я не буду бомбить каждый раз, когда что-то отваливается, когда у меня нет инвокеров, когда я не понимаю, что за ошибка вылетает. Конечно, это все субъективно и дело привычки, но сейчас как никогда захотелось собрать это все и высказаться. У меня все.









Как человек, самостоятельно подготовивший и локально и в полигоне больше сотни задач и координировавший разработку ещё нескольких сотен, позволю себе вступить с вами в дискуссию.
Если говорить в общем, то полигон, разумеется, не лишён ряда недостатков. Как и любое решение "из коробки" он не может дать вам той гибкости, которую вы получите используя свои локальные скрипты, хотя новые возможности добавляются регулярно. И да, как и с любым wysiwyg инструментом скорость работы сильно ниже, чем быстро стучать клешнями в консоли. Тем не менее, есть ряд очень сильных преимуществ полигона, которые становятся понятны только через некоторое время работы с ним:
Низкий порог входа. Когда вы сделали много задач и подготовили уже множество вспомогательных скриптов — это один разговор, но если вам нужно объяснить кому-то, как подготовить первую задачу в его жизни, то с полигоном это будет в разы проще. И не стоит тешить себя надеждой, что он легко разберётся в ваших скриптах.
Минимальные стандарты подготовки. Мне приходилось много иметь дело с задачами, подготовленными локально на скорую руку. Иногда они состояли из авторского решения, условия plain text и одного рандомного генератора. Полигон и его warnings очень удобны, чтобы требовать минимальных вещей как наличие компилируемого в техе условия, валидации тестов, тестов с граничными значениями.
Заливка задач в тестирующие системы. Многие тестирующие системы в том или ином виде поддерживают возможность заливать задачу напрямую, что значительно упрощает жизнь и снижает минимальный порог требований к знанию этой тестирующей системы. Точно могу сказать, что напрямую задачи из полигона легко заливать в Codeforces, yandex.contest и ejudge.
Координация разработки. С позиции человека, контролирующего процесс разработки задач, такая система намного удобнее консоли. Зайдя в задачу можно всего за несколько минут оценить её готовность по меню в правой части экрана, invocation всех имеющихся решений и сборке пакета с опцией verify. Главное, что если про что-то забыть (валидатор, теги, минимальные тесты), то полигон об этом услужливо напомнит.
Непосредственно в вашем тексте претензии к полигону предъявлены по делу, но явно преувеличены. У меня лично чёткая ассоциация с претензиями к посудомоечной машине "да я руками лучше и быстрее помою". Хотя по паре моментов всё же хочется возразить:
Нажал не ту кнопку — пока, несохраненные изменения. В правом верхнем углу всех текстовых полей есть кнопочка draft, где скорее всего лежит последняя (или около неё) версия.
email-ы. Если вас так раздражают письма от полигона, то настройте себе автоматическое перенаправление их в соответствующую папку или удаление. Для меня письма имеют двойное назначение: поверхностно отслеживать, что происходит в задаче и сохранять информацию на случай коллапса полигона.
клиент. Он уже написан PavelKunyavskiy, подробности в этом посте
Однако, минусов тоже хватает. И если Полигон так пытаются пропихнуть в массы, доказать, что он лучше всех, доказать, что именно им надо пользоваться для подготовки задач — нужно соответствовать статусу. Вот эту вашу фразу я не понял совсем. Во-первых, что вы имеете в виду под "пытаются пропихнуть в массы"? Пару постов MikeMirzayanov про него или регулярный отчёт команды разработки о новых возможностях? Даже не смешно, вас же не заставляют смотреть 30-секундный ролик про полигон перед тем как зайти в контест. Ну и лично моё мнение, с которым многие не согласны, polygon вам вообще ничего не должен.
Спасибо за ответ!
Я согласен с перечисленными вами плюсами, но я и не говорил, что Полигон — что-то, недостойное существования, как я и сказал, плюсов у него довольно много, а этот пост — лишь попытка обратить внимание на минусы, которые безумно сильно и неоднократно раздражают в процессе подготовки задач. Потому что Полигоном хочется пользоваться, видя все его потенциальные возможности, но не получается ввиду перечисленных пунктов.
(UPD. Во время написания комментария нашел ссылку на
polygon-issue-trackingна github-е, возможно все эти недовольства стоит написать туда, но все равно не уверен, что буду услышанным)Давайте продолжим дискуссию:
git, с которой можно будет работать локально и которая будет иметь функциональность схожую или почти схожую с Полигоном? Думаю, имея исходный код и API, это вполне возможно."... error code 11"станет намного проще.И пункт про смену флага у email-ов/отписку от оповещений был выделен скорее не как feature request, а как описание того, что фича, сделанная, чтобы быть удобной, этого удобства не несет, и это как-то неправильно, тем более если довольно просто можно сделать лучше.
По поводу последнего вашего пункта. Никто никого, конечно же, не заставляет использовать Полигон. Но пиар все-таки есть — как в постах MikeMirzayanov, так и в его комментариях. Я не говорю, что это неправильно, я бы сам пытался рассказать как можно бОльшему количеству людей про свой продукт, который я считаю достойным пойти в массы, но если я пишу пост "10 причин использовать %product_name% для %something%", я буду стараться делать свой %product_name% лучше, чтобы мои слова о том, что его действительно удобно использовать, были оправданы. Это, собственно, и было призывом всего поста.
Добавлю и я свои "пять копеек".
С полигоном работаю, кажется, с 2009 года, так что как он меняется, наблюдаю давно.
Не очень понятен главный посыл поста. У Вас есть локальные скрипты, которые решают все Ваши проблемы. Что (или кто) мешает ими пользоваться вместо полигона, раз он недостаточно хорош? В чем выражается "пропихивание в массы"?
Если же это "завуалированное пожелание разработчикам", то высказано оно уж в слишком завуалированной форме ;)
Для полигона есть багтрекер, и есть он давно. Разработчики его читают и реализуют пожелания / исправления. Быть может не так быстро, как хотелось бы. Впрочем, воспользуюсь случаем сказать спасибо: совсем недавно у каждой задачи появился список контестов, в которых она использовалась (поскольку задачи делаю не только для соревнований, но и для обычных занятий со студентами, и для тренировок — очень полезная штука)
Про баг с номером группы у теста багрепорт тоже отправляла — значит, пока еще не сделали.
По поводу e-mail'ов — вероятно, я отношусь к меньшинству пользователей, которых они не раздражают. И, IMHO лучше забыть поставить галочку "не рассылать", чем забыть снять галочку "не рассылать", поставленную по умолчанию. "Проблема писем" совершенно точно решаема — отдельной папкой или даже отдельным почтовым ящиком.
Относительно периодического "исчезновения инвокеров" — есть такая проблема. В большинстве случаев исчезают они ненадолго (надолго наблюдала только во время "больших соревнований", о которых обычно известно заранее). Метод борьбы — собирать пакеты после любых более-менее значимых изменений, не оставляя это на последний момент.
Конфликты при внесении изменений в задачу тоже могут доставить неприятные ощущения. Но скоординировать действия коллег по жюри / разработчиков задач вполне можно.
Да, это не очень удобно, и было бы замечательно, если бы в полигоне не было этих двух проблем. И еще некоторых...
Просто и в случае использования локальных скриптов, и в случае использования полигона есть свои плюсы и минусы. А вот их "вес" каждый определяет для себя сам.
PS Возможно, если Вы писали бы с другого аккаунта, эмоциональный накал был бы несколько ниже (и ведь не так широк круг тех, кто имеет в своем распоряжении локальные скрипты, разрабатывает задачи для школьников, использует систему именования входных и выходных файлов вида %problemname%.in / %problemname%.out и пишет генераторы на Java (как показалось по выданной ошибке) )
PPS По моим наблюдениям, на вопросы по полигону на Codeforces обычно отвечают довольно быстро и толково.
Это самое. Господин доброжелатель, а вы кто? :)
Мне правда интересно, потому что претензии в целом все по существу, и текст написан слишком хорошо, чтобы быть опубликованным из-под левого аккаунта. Явно ведь, что если бы вы честно представились, всем были бы более понятны и ваши юзкейсы, и, наверное, общий посыл казался бы более серьёзным, всё же с конкретными людьми проще работать и обсуждать, как что исправить или улучшить. Вряд ли Миша бы пришёл и
заставил всю жизнь пользоваться полигономзабанил вас навсегда на ресурсе только из-за того, что вам не нравится Полигон.