Несколько причин НЕ использовать Polygon для подготовки задач

Правка ru7, от Wellwisher, 2017-01-27 23:07:46

1. Инвокеры.

В Полигоне используются общие, глобальные для всех инвокеры. Это приводит к множеству неудобств. Допустим, кто-то, кто еще не очень хорошо знаком с Полигоном, запустил preview tests, а скрипт написан неправильно и делает не совсем то, что хочет автор задачи — например, генератор тестов каждый раз записывает информацию о всех тестах в файлы, а затем вызывается несколько раз в скрипте:

TestGenerator > 01
TestGenerator > 02
...
TestGenerator > 42

В результате генератор будет вызван 42 раза, все инвокеры будут заняты на долгое время, и никто другой не сможет ничего сделать, даже простейшие действия вида "изменить файл", не говоря уже о "пересобрать пакет задачи".

Кто виноват? Конечно, отчасти пользователь, который это все устроил. Но Полигон — открытая система, зарегистрироваться там может любой, а следовательно никто от этого не застрахован.

2. Информативные ошибки

Для чего угодно, написанного не на C++, Полигон вполне может выдать "очень информативные" ошибки, например:

[ERROR] Unexpected error has been found: Unexpected verdict CRASHED, comment=Generator 'TestGen.jar8' returns exit code 11

Что произошло, что не так? Что такое exit code 11? Конечно, человек, который это уже когда-то видел и разбирался с этим в прошлый раз, возможно догадается, что дело в том, что его генератор тестов создает что-то в системе, что не нужно — например, папки. Однако понять это человеку, который видит такую ошибку впервые, согласитесь, невозможно.

Или же например, если вы переименовали задачу, но забыли переименовать файлы, из которых читают инпут ваши решения, получайте:

Can't create statement: Unexpected verdict RUNTIME_ERROR: Exit code is 3

3. Только онлайн-действия

Допустим, я нахожусь в локальной сети без интернета, но нужно провести контест, или же более жизненная ситуация — Полигон упал/нет свободных инвокеров (см. выше). А мне нужно пересобрать пакеты всех задач, где они не последней версии, и выкачать их. Что же делать? Ничего. Ждать, переносить контест, что угодно, эту проблему никак не решить.

4. Неудобные UI для задач с групповыми оценками

Чтобы поставить у нескольких тестов определенную группу, нужно поставить на них всех галочки, а потом написать, что у них будет группа %group_name%. Казалось бы, почему не добавить функциональность выставления групп сразу в скрипт, зачем столько ручной работы? Непонятно. Также очень весело после добавленного в середину теста менять подгруппы у O(groups_count) тестов, потому что все съехало.

Также на многие действия (это уже относится не к задачам с групповыми оценками, а в целом) Полигон обновляет страницу, и это безумно раздражает. Нажал не ту кнопку — до свидания, изменения.

5. Конфликты

Все. Очень. Плохо.

Допустим, вы изменили файл в Полигоне, но за это время его кто-то тоже уже поменял и сделал коммит. Что предлагает сделать Полигон? Скачать working copy себе локально, потом сделать discard всех твоих только что сделанных изменений на сервере, после этого сделать их заново, взяв из скачанной working copy (предполагается, что ты помнишь, что ты только что поменял, и сейчас сможешь заново это сделать в уже измененной рабочей версии). При конфликте нельзя даже зайти в свою рабочую версию и посмотреть, что ты там наисправлял — ты должен это помнить сам.

Merge conflicts? Нет, не слышали, отменять изменения и добавлять их заново намного удобнее.

Советы разработчикам, которые все равно никто не прочитает

1. Зачем столько email-ов?

Сейчас по умолчанию при коммите не стоит флаг "не отсылать email-оповещение", соответственно почти все его и не ставят. В результате на почту приходит over9000 оповещений о том, что кто-то там закоммитил что-то там в какую-то задачу. При подготовке многих, особенно больших соревнований часто применяется техника "расшарить все задачи всем", поэтому количество оповещений получается ну очень большим.

Почему бы не поставить флаг по умолчанию на "не отсылать" или хотя бы дать возможность отписаться от этих надоедливых оповещений?

2. Консольный клиент

Далеко не rocket science идея, которая могла бы спасти 99% недовольств пользователей. Вот есть же git. Веб-версия позволяет делать что-то по-быстрому, не открывая ноутбук/компьютер, возможно даже с телефона. Консольная же версия позволяет делать всю остальную работу. И даже без интернета! Закоммитил в метро/поезде/подвале/в самолете, а потом запушил на сервер, когда появился интернет. Вот оно! Вот оно решение всех проблем!

Сейчас есть несколько консольных клиентов, написанных обычными пользователями Полигона и позволяющие делать некоторые из вещей локально в консоли. Но авторы этих клиентов были мотивированы написать его для своих целей, поэтому многих фич там нет и возможно нет того, что могут реализовать только разработчики Полигона.

Очнитесь! Консольный клиент очень нужен, с ним стало бы жить намного проще. Реализуйте его уже наконец, ну пожалуйста!

Выводы

Спорить не буду, у Полигона есть довольно много плюсов, он развивается, допиливается и т.п.

  • <sarkasm>Например, это очень хороший pdf-maker — не надо устанавливать себе latex, если хочешь просто собрать tex-овский файл</sarkasm>;
  • Тесты к чекерам и валидаторам, автоматическая проверка чекеров на адекватность — очень хорошая идея, это большой плюс Полигона;
  • Запуск сразу нескольких решений в одном invocation-е, то есть параллелизация процесса тестирования — тоже круто;
  • Полигон кроссплатформенный, позволяет скачивать пакеты к задачам для разных операционных систем.

Однако, минусов тоже хватает. И если Полигон так пытаются пропихнуть в массы, доказать, что он лучше всех, доказать, что именно им надо пользоваться для подготовки задач — нужно соответствовать статусу.

Лично мне пока что в большинстве случаев приятнее все сделать и подготовить локально. Пусть я потрачу больше времени на тестирование, пусть я буду вбивать тесты к чекерам руками, но зато я не буду бомбить каждый раз, когда что-то отваливается, когда у меня нет инвокеров, когда я не понимаю, что за ошибка вылетает. Конечно, это все субъективно и дело привычки, но сейчас как никогда захотелось собрать это все и высказаться. У меня все.

Теги полигон, все, очень, плохо

История

 
 
 
 
Правки
 
 
  Rev. Язык Кто Когда Δ Комментарий
ru18 Русский Wellwisher 2017-01-28 02:37:31 132 Мелкая правка: 'нения.~~\n**UPD.** Претензия' -> 'нения.~~\n<b>UPD.</b> Претензия'
ru17 Русский Wellwisher 2017-01-28 00:47:19 2 Мелкая правка: '. Неудобные UI для за' -> '. Неудобный UI для за'
ru16 Русский Wellwisher 2017-01-27 23:53:09 93
ru15 Русский Wellwisher 2017-01-27 23:27:19 2 Мелкая правка: 'е/подвале/в самолете, ' -> 'е/подвале/самолете, '
ru14 Русский Wellwisher 2017-01-27 23:26:48 1 Мелкая правка: 'ревнований часто при' -> 'ревнований, часто при'
ru13 Русский Wellwisher 2017-01-27 23:17:05 0 (опубликовано)
ru12 Русский Wellwisher 2017-01-27 23:14:52 87
ru11 Русский Wellwisher 2017-01-27 23:13:47 111
ru10 Русский Wellwisher 2017-01-27 23:12:45 21 Мелкая правка: 'у &mdash; до свидания, изменения' -> 'у &mdash; пока, несохраненные изменения'
ru9 Русский Wellwisher 2017-01-27 23:12:04 22
ru8 Русский Wellwisher 2017-01-27 23:11:18 22 Мелкая правка: 'Generator 'TestGen.jar8' returns e' -> 'Generator %generator_name% returns e'
ru7 Русский Wellwisher 2017-01-27 23:07:46 0 Мелкая правка: 'обнее.\n\n*Совет' -> 'обнее.\n\n--\n\nИ поверьте, это далеко не все, так\n\n*Совет'
ru6 Русский Wellwisher 2017-01-27 23:06:26 2 Мелкая правка: 'ь параллелезация проц' -> 'ь параллелизация проц'
ru5 Русский Wellwisher 2017-01-27 23:06:05 1 Мелкая правка: ' к чекерами и валидат' -> ' к чекерам и валидат'
ru4 Русский Wellwisher 2017-01-27 23:02:55 199
ru3 Русский Wellwisher 2017-01-27 23:00:56 110
ru2 Русский Wellwisher 2017-01-27 22:58:07 1 Мелкая правка: 'ней версии и выкачат' -> 'ней версии, и выкачат'
ru1 Русский Wellwisher 2017-01-27 22:56:43 6060 Первая редакция (сохранено в черновиках)