В ходе обсуждения в топике "О проблемах коммуникации, или Как спалить задачу региона" вновь захотелось понять, что происходит на просторах нашей родины с использованием тестирующих систем на региональном этапе всероссийской олимпиады школьников. К сожалению, про 10-20 успешных регионов все и так более-менее известно, а информацию из остальных вряд ли удастся собрать, т.к. их представители скорее всего не обитают на этом форуме.
Тем не менее, давайте попробуем. Пишите в комментариях, в каком регионе какая тестирующая система используется (возможны варианты также "не используется совсем" или "используются простые скрипты для полуавтоматического тестирования"), а также кто поддерживает систему, если это "аутсорсинг".
Если тестирующая система не используется, то хотелось бы получить более подробные комментарии о том, как это происходит.
Обновление от 25 января: Удалось собрать информацию из 36 регионов, то есть почти из половины. Это — все сколько-нибудь сильные и заметные на олимпиадах регионы.
К сожалению, про эти регионы и так было более-менее понятно, интересней понять, что происходит в других регионах. Скорее всего, там происходит что-то похожее на Тверскую или Нижегородскую область в лучшем случае, или на Рязанскую и Смоленскую (про Смоленскую область — это прошлогодний анекдот, не ищите в комментариях) в худшем случае. И таких регионов — большинство, жаль только информацию из них мы скорее всего не получим на codeforces.
Выводы можно сделать примерно такие. Во-первых, есть примерно десятка три регионов, в которых все и так хорошо. Централизованная тестирующая им не нужна и скорее всего они будут сопротивляться ее внедрению. Причем количество регионов, в вузах которых есть собственно разработанная тестирующая система, использующаяся не только для региональной олимпиады, порадовало (я думал, что их примерно раза в два меньше).
Есть регионы, которые сами не могут организовать процесс, но хотят. Здесь нужно либо предоставлять им "аутсорсинг", либо помогать в настройке тестирующей системы. Оба варианта, похоже, пользуются спросом — есть регионы, которые хотят поставить ejudge, но у них не получается, есть регионы, которые уже используют "аутсорсинг". Мне кажется, что оба пути нужно развивать — предоставлять конфиги для ejudge и инструкции по его установке и настройке (возможно, удаленной), распространять идею "аутсорсинга" для проведения тестирования.
К сожалению, думаю, что очень много регионов, где не могут и не хотят, это — типичная российская провинция. Далеко ехать не надо — уже соседние с Москвой области зачастую весьма депрессивные. Сидит в такой области председатель жюри из местного пединститута, которому уже давно пора на пенсию, получает зарплату в 10.000 рублей, понятно, что ему делать ничего и не хочется, и не можется. Не очень понятно, что нужно делать в такой ситуации, т.к. требовать соблюдения регламента проведения регионального этапа от такого жюри, пожалуй, бесполезно.
По-прежнему интересуют информация из регионов, не попавших в список.
Список по состоянию на 6 февраля (45 регионов):
Регион Тестирующая система Кто поддерживает
Москва ejudge самостоятельно
Санкт-Петербург PCMS-2 самостоятельно
Московская область ejudge самостоятельно
Приморский край imcs.dvgu.ru/cats самостоятельно
Пермский край acm.timus.ru Timus team (Екатеринбург)
Челябинская область ipc.susu.ac.ru самостоятельно
Новосибирская область olympic.nsu.ru самостоятельно
Ставропольский край contest.ncstu.ru самостоятельно
Удмуртская республика bacs.cs.istu.ru самостоятельно
Самарская область contest.uni-smr.ac.ru самостоятельно
Ярославская область ejudge gurovic (Москва)
Камчатский край ejudge gurovic (Москва)
Респ. Сев.Осетия-Алания ejudge gurovic (Москва)
Ленинградская область testsys самостоятельно
Вологодская область собственная самостоятельно
Респ. Карелия acm.petrsu.ru/site/fsystem самостоятельно
Кировская область ejudge самостоятельно
Ямало-Ненецкий АО ejudge О.Пестов, Г.Чистяков (Киров)
Орловская область testsys самостоятельно
Респ. Татарстан PCMS-2 самостоятельно
Красноярский край собственная (acmp.ru) самостоятельно
Саратовская область собственная (acm.sgu.ru) самостоятельно
Оренбургская область собственная(?) самостоятельно
Омская область не используется безуспешно пытались настроить ejudge
Респ. Мордовия не используется
Калининградская область acmtest.ru самостоятельно
Респ. Коми contester самостоятельно
Краснодарский край скрипты для тестирования хотят перейти на ejudge
Респ. Дагестан contester и dudge самостоятельно
Респ. Адыгея ejudge самостоятельно
Респ. Башкортостан собственная самостоятельно
Свердловская область собственная самостоятельно
Томская область ejudge самостоятельно
Рязанская область не используется проверка без чекеров на сокращенной системе тестов
Нижегородская область собственная самостоятельно
Тверская область собственная самостоятельно
Иркутская область ejudge самостоятельно
Воронежская область скрипты для тестирования
Тульская область скрипты для тестирования хотят перейти на тестирующую систему
Ростовская область ejudge самостоятельно
Алтайский край ejudge самостоятельно
Респ. Марий Эл ejudge самостоятельно
Астраханская область не используется
Брянская область PCMS-2 самостоятельно
Республика Алтай скрипты для тестирования хотят перейти на ejudge
http://ipc.susu.ac.ru — Челябинск. Используется примерно такая же система. Вроде бы, она оригинальная.
Добавил, спасибо.
В Новосибирске регион тестируется на базе тестирующей системы НГУ, вроде NSUTS называется. http://olympic.nsu.ru/index.shtml Поддерживается, соответственно, самостоятельно.
Добавил, спасибо.
в Ставропольском крае тестирование происходит на системе одного из местных вузов — http://contest.ncstu.ru/. поддерживается самостоятельно.
Добавил, спасибо.
У нас в Ставропольском крае своя система с блэкджеком и плюшками.
Блэкджек и плюшки доступны прямо во время тура через тестирующую систему?
ага, блэкджек с жюри, плюшки прямо во время тура
В Удмуртской республике есть bacs, на котором проводятся и олимпиады, и обычные тренировки.
Добавил, спасибо.
http://contest.samara.ru собственная (Самарская область)
Добавил, спасибо.
Ярославль, Камчатка, Осетия — проводил я, ejudge
Добавил, спасибо.
На олимпиадах Ленинградской области используется Testsys. Эта система поддерживается коллективом авторов из СПбГУ (видимо, это в данном опросе называется "самостоятельно"). Ещё она используется, например, внутри СПбГУ, на Петрозаводских сборах и на Всероссийских сборах школьников.
Добавил, спасибо. А на базе чего проводится олимпиада в ленобласти?
Ленинградский областной институт развития образования.
А физически где проводится? В Интеллекте?
Нет, как раз физически в ЛОИРО (в центре Питера). А в Интеллекте (Лисий Нос) проходят всякие сборы, среди них информатика — по неделе три раза в год.
Вологодская область, местная закрытая разработка с веб мордочкой и чекером, самостоятельно.
Можно ссылку, чтобы хоть как-то идентифицировать местную закрытую разработку?
В неё снаружи можно попасть только во время проведения межвузовской олимпиады (и то только результаты посмотреть в online). Разработка Фёдора Меньшикова mfv (Вологодский ГПУ).
Ладно, напишем "собственная", добавил.
Республика Карелия, fsystem, ftc
Спасибо, добавил.
У нас в ЯНАО PCMS-2. Проводили Олег Пестов и Геннадий Чистяков.
Спасибо, добавил. Странно, но Олег меня после первого тура спрашивал про поддержку pascalabc.net в ejudge. Может быть, он одновременно проводил олимпиаду в Кировской области на ejudge?
Сомневаюсь, скорее он поддерживал связь с людьми, которые там проводили олимпиаду.
Ну он мог поддерживать тестирующую систему в Кирове удаленно, благо ejudge крайне удобен для удаленного администрирования, а организацией в Кирове могли заниматься и другие люди.
Денис, ты прав — в ЯНАО и Кировской области мы использовали ejudge (один и тот же физический сервер).
PCMS2 я использовал для проверки раньше. Может быть Ваня не заметил как всё поменялось.
OK, сервер, полагаю, Кировский?
Да.
Исправил для ЯНАО и добавил Киров в список.
И правда, что-то я напутал, помню что раньше был PCMS2. А в этом году ejudge.
В Орловской области каждый год testsys используется.
На своем собственном сервере?
Да.
В Республике Татарстан PCMS2. Поддерживается самостоятельно.
Спасибо, добавил.
Это последние два года. До этого ручные скрипты. Не было автоматической проверки времени работы, подозреваю, что и памяти тоже.
В Красноярском крае на региональном этапе для тестирования используется локальная версия сайта http://acmp.ru, настройкой и поддержкой занимается его автор — Беляев С.Н.
Спасибо, добавил.
В Саратове — форк acm.sgu.ru, т.е. самостоятельно. Реальный сайт недоступен извне, посмотреть на него не получится
Спасибо, добавил.
У нас в Оренбурге некая прога Evaluate client server softvare в местном ГУ.
Будем считать, что "собственная".
В Омской области, начав с муниципального этапа, тщетно пытаются настроить свой(ю) ejudge. Ничего в этом году не получилось, во время тура сказали, чтоб вообще не заходили туда, дабы не загружать систему. Итого фактически тест. системы не было. Исходники оставляли на компах, как их дальше тестировали не знаю, чекерами из архива вручную, видимо.
А как было в прошлые годы, не знаешь?
В прошлом году пользовались Новосибирской olympic.nsu.ru. Во время тура решения там проверялись на тестах из условия, после тура — на всех тестах. Два года назад, если не изменяет память, вообще не было системы, тестировали вручную (исходники оставляли на компе)
Понятно, в общем, есть желание сделать по-нормальному, но не хватает умения.
Кстати странно, за помощью они не обращались вроде бы.
Надо будет пообщаться с С.В.Савченко на РОИ.
Ну в этом году был какой-то кошмар: на открытии олимпиады всех обрадовали наличием тест. системы (особенно меня). Дальше всё как всегда: в первый раз я смог зайти на сайт через 1.5 часа после начала тура, правильные (как потом выяснилось) решения тестировались на 20 баллов, всё тормозило и с периодом в 10 минут совсем падало. До окончания первого тура жюри не настроило систему. Понятия не имею в чём была причина такого провала) не говорю уже о том, что участники потратили значительное количество времени, чтобы зайти, зарегаться (всё это во время тура), дождаться обновления страницы и получить вердикт Ошибка проверяющей системы, потом снова зайти и разочароваться. В общем, многие на этом погорели. В начале второго тура надежды на тест. систему не было, нас попросили не мучить её, "ведь она всё равно не работает". А помощь, видимо, была нужна=)
А что означает "правильные решения тестировались на 20 баллов"?
Вообще-то на региональном этапе окончательное тестирование должно быть после тура, т.е. во время тура участники должны видеть только результаты претестов. Онлайн-тестирования с фидбеком на регионалке не допускается по порядку проведения.
Я же говорю: система не была настроена должным образом. На большинство попыток она выдавала необоснованную ошибку компиляции или ошибку проверяющей системы, иногда появлялся вердикт в 20 баллов. И это только в первый день. Во второй я не смог даже залогиниться.
upd. "Правильные" — это значит тот же код, оставленный мною на компе, после тура набирал полный балл.
Понятно, даже интересно, как можно такого добиться :)
Вроде бы понятно: оценить каждый тест в один балл, а не в пять. В задачах 1, 2, 3, 5, 7 было по 20 основных тестов.
Республика Мордовия. Нет и не было.
Какие-нибудь скрипты используются, или это неизвестно?
Какие-либо попытки внедрения тестирующей системы были?
Калининградская область — Executor http://acmtest.ru/
Ого, этим где-то еще пользуются!
Республика Коми, Contester, самостоятельно(СыктГУ)
Спасибо, всегда было интересно — пригоден ли контестер для серьезных мероприятий.
Кроме того, для окончательного тестирования после туров использовался ejudge и местная проверяющая система Н. Елисеева(СыктГУ)
Краснодарский край используются простые скрипты, говорят, что уже поставили систему, но она ещё не готова для олимпиад, обещают на следующий год поставить ejudge.
Спасибо, очень интересно.
Республика Дагестан, г.Махачкала
Интересно, не знал, что оно живое и используется.
В Самарской области региональная олимпиада проводится в Самарском государственном университете и используется собственная тестирующая система. Dudge — это разработка Самарского государственного технического университета.
Что именно живое)?
Dudge — живое, вернее, юзабельное.
Не понял — а как вы использовали ДВЕ тестирующие системы на олимпиаде?
В Самаре много чего используется )
На dudge, сколь знаю, проводятся внутренние соревнования (и, возможно, тренировки) СамГТУ (честно говоря, думала, что разработчики dudge забросили, но, похоже, что-то с ним все же происходит...)
СГАУ использует e-judge для межвузовского чемпионата и собственных тренировок.
На contest.uni-smr.ac.ru (СамГУ, проверяющая система разработана А.Е.Ефимовым) проводятся окружной этап ВСОШ (по схеме "проверяющая система + много локаций"), региональный этап ВСОШ (участники пишут непосредственно в СамГУ, где и размещен сервер), командный чемпионат по информатике, программированию и математике среди школьников Самарской области (участники в СамГУ, в прошлом году был успешный опыт со второй локацией в Тольятти), открытый командный студенческий чемпионат Поволжья по спортивному программированию (участники в СамГУ).
Адыгея ejudge
Самостоятельно поддерживаете?
Да, уже лет 5-6 точно. Даже может больше.
Здорово! Помогли бы Краснодару с внедрением :)
НУ и Дагестану тоже)))
c 2006 поддерживает Дагаев В.В.
У нас (Башкортостан) своя система с сапером и программистками. Называется NJS.
Разработана нашим медалистом финала ACM ICPC, который изначально создал ее для своих же тренировок.
Ну мы сами на ней до сих пор тренируемся.
Поддерживается самостоятельно.
Спасибо, добавил.
Иногда бывает что вообще жури проверяет своими тестами написанными с рук
Ну а минусовать-то автора за что? Он что ли виноват?
Не уточните, в каком регионе сейчас так происходит?
Свердловская область — собственная проверяющая система, написанная лет 5 назад и поддерживаемая её автором. В этом году шли переговоры о использовании вместо неё Тимуса, но они не были доведены до конца. В итоге на Тимусе проводилась только Пермская краевая олимпиада.
Спасибо, добавил.
Еще интересный вопрос, какие компиляторы были доступны участникам. Например, в случае Тимуса (то есть речь о Пермском крае) это были все его стандартные компиляторы плюс PascalABC.NET. Проверка проводилась на Windows.
у нас не было ABC, но был freebasic, но не помню, писал ли на нём в итоге кто-нибудь. Ещё был python3
Томская область: ejudge, самостоятельно.
Спасибо, хотел предложить вам взять шефство над Омском, потом вдруг вспомнил, что у вас в Сибири соседняя область — это 1000 километров...
Да, расстояние Левенштейна между нашими городами намного меньше расстояния геометрического.
Рязанская область — используется специальная проверяющая система eBabushki. 5 тестов при участнике с ручным указанием номера файла, что происходит дальше — загадка.
Поясняю подробно: ты написал задачу, сделал ввод-вывод в файлы. Подходит дядька (тётька) с флешкой, сует её в компьютер, копирует ТЕСТЫ в папку с программой. Ты сидишь, методично указываешь номера тестов (всего их 5), твои результатики записываются в файлы. Потом ты открываешь свой результат и ЭТАЛОННЫЙ (тот, что на флешке), а ПРОВЕРЯЮЩАЯ СИСТЕМА eBabushka на глазик её проверяет. Это называется ЭКСПРЕСС-ТЕСТИРОВАНИЕ. И во время сверки начинается попытка объяснить, почему твой ответ не совпадает с ЭТАЛОННЫМ, в задачах, в которых возможно несколько вариантов (вроде №2. нынешнего года).
Понятно. Печально.
То есть у вас оценка программы проводится на пяти тестах по каждой задаче?
А вот такой момент важен для понимания перспектив — а нет ли у местных организаторов желания сделать процесс более цивилизованным?
По заверениям организаторов, потом ОН (дядька там один, не помню, как зовут, старенький) проводит ещё по n-ное количество тестов, где n — число, известное только Г-споду. По поводу цивилизованности процесса — ну так нужно будет регламент там соблюдать, все дела — зачем кому-то лишняя головная боль? Но я не интересовался, попробуйте сами связаться, например.
В общем, ваш рассказ выглядит правдоподобно. Я посмотрел на росолимпе результаты областной олимпиады в Рязани в прошлом году — там баллы всех участников кратны 10, что крайне маловероятно при организации процесса по правилам.
К сожалению, мы тоже не имеем возможности (да и, наверное, желания) "навести порядок по всей стране". Мы можем только как-то помочь — помочь поднять тестирующую систему или предоставить тестирующую в виде "аутсорсинга". Но вашим организаторам и это не надо.
Я не знаю, что можно делать, если у региона нет желания провести все по правилам.
Нижегородская область — какая-то самописная система нашего жюри. На чем написана (на батниках или на чем-нибудь более продвинутом), не знаю. Имеет клиент для тестирования решений на тестах из условия во время тура; насколько я понимаю, он даже более-менее работает. Но тестирование после тура всегда сопряжено с какими-то проблемами.
Стоит, мне кажется, отметить, что после тура результат на тестах из условия вашего решения могут измениться на противоположные (т.е. с правильного на якобы "неправильный"). Отсюда можно сделать вывод о том, как эта система написана... Еще там очень интересные вердикты, например, ТАЙМ-АУТ (заглавными буквами, видимо местный аналог TL)
Тверская область — собственная разработка. Оболочка для запуска тестирующих модулей, присылаемых с задачами и тестами. Названия не имеет. Используется ли в других соревнованиях, автору неизвестно. Автор теперь работает в Москве и поддержкой системы не занимается, хотя система вроде как поддержки не требует.
Спасибо, добавил.
Обновил исходный пост — добавил некоторые размышления на основе собранной информации.
Это лишь мое мнение, но мне кажется, что регионы в которых "все нормально", ничуть не будут сопротивляться внедрению централизованной тестирующей системы. Особенно если эта система будет online-judge.
Регионы в которых "все нормально" будут сопротивляться внедрению централизованной системы, потому что им нужен полный контроль за тестирующей системой.
Томская область, видимо, не относится к регионам, у которых "все нормально"...
Я думаю, что в регионах, в которых "все нормально", люди прекрасно понимают, что главное — это успешное выступление своих школьников.
Иркутская область. Мы проводили в первый раз. Использовали ejudge. Проблем не заметили.
Спасибо, добавил.
Воронеж — что именно используется, не знаю. Решения участников собираются на флешку. Тестируется, похоже, честно на всех тестах, так как в моих задачах вердикты соответствуют действительности.
А результат тестирования есть какой-нибудь? Или просто в итоге числа — баллы по задачам?
Да, есть — таблица в файле Excel. По каждому тесту указан вердикт.
Наверное, они какие-то скрипты используют. Уже неплохо. То есть такие регионы скорее готовы перейти на нормальную тестирующую систему.
Тульская область — проверяют батником на всех тестах. Со следующего года обещают поставить тестирующую систему (участники прошлого года сказали, что вроде обещали к этому).
Спасибо, давно ничего не слышал про Тульскую область. Кто там сейчас олимпиаду проводит? Пед, ТулГУ?
Ростовская область — ejudge. Поддерживают, вроде бы, сами.
Здорово! А проводит мехмат ЮФУ? А PascalABC.NET у них поддерживается?
Да, мехмат. Про PascalABC.NET — не знаю. Постараюсь узнать, но если и получится, то не скоро.
Спасибо, можете не трудиться, мне проще самому написать Михалковичу — давно пора с ним обсудить проблемы использования PascalABC.NET в ejudge.
PascalABC.NET пока не поддерживается.
upd: после прочитал, что сообщения были написаны 8 месяцев назад.
Марий Эл ejudge, самостоятельно, в первый раз. Тестирование проводилось жюри "оффлайн" после тура. Не стали рисковать с онлайн режимом в этом году. Проблем с системой во время тестирования не было. Были доступны freepascal, c++, и т.к. ejudge и вручную (скриптами vbs) проверяли basic, так систему в последние дни привели в рабочее состояние, про basic из устанавливающих никто не вспомнил :-)
Спасибо! А какой basic вам нужно тестировать — Visual Basic или что-то другое? Visual Basic в ejudge можно тестировать.
Писали на QBasic и на VisualBasic. Дело в том, что студенты, ставившие и поддерживавшие ejudge, "забыли" про Basic :-) и мы просто не стали рисковать вторпях. На бейсике были решены задачи только на полное соответствие, поэтому хватило полуавтоматических скриптов, а 2 задача — только одним участником на бейсике, проверили вручную. Думаю, в следующем году уже будет нормально все
Qbasic мы сейчас тестируем в ejudge при помощи компилятора FreeBasic в режиме совместимости с Qbasic.
Visual Basic можно тестировать двумя способами:
При помощи MonoBasic — но здесь поддержка неполная, многих библиотек в MonoBasic нет, и даже мы наблюдали случаи, когда одна и та же программа при запуске в VisualBasic и в MonoBasic давала разный результат.
При помощи модуля Windows-тестирования для ejudge, это требует дополнительного компьютера с установленной Windows, но там можно тестировать корректно любые Windows-компиляторы.
Не, я ещё понимаю паскаль разрешают... но бэйсик.
Ну мы в Москве, например, разрешаем все, что можем поддерживать в тестирующей системе — вплоть до php, perl и Кумира.
Считаем, что нужно дать возможность поучаствовать всем, даже тем, кто пишет на бейсике.
Может быть, имеет смысл создать для менее продвинутых регионов что-то типа образа виртуальной машины с тестирующей системой? Пусть бы там была какая-нибудь Ubuntu с патчем к ядру, основными компиляторами и соответственно сконфигурированным ejudge. Востребована ли будет такая система?
Идея не нова, вчера с Сашей Черновым вспоминали... Естественно, проблема в том, что это опять придется делать на "энтузиазме".
Напомнили бы об этом осенью.
Done
Так кто-нибудь соберётся делать?
А то, с одной стороны, будет жалко неделю тратить на ковыряние в системе, которая будет заведомо хуже настроена; с другой — хоть какую-то систему хочется иметь.
Раз уж up-нули тему и начали говорить о том образе...
Качал и поднимал образ -- правда не тот, что сейчас (http://ejudge.ru/download/Fedora-18-ejudge-20130307.ova , ссылка есть на http://ejudge.ru/wiki/index.php/%D0%9E%D0%B1%D1%80%D0%B0%D0%B7_%D0%B4%D0%BB%D1%8F_%D0%B2%D0%B8%D1%80%D1%82%D1%83%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B9_%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D1%8B), а его предыдущую версию, Fedora-18-ejudge-20130223.ova
Всё более-менее доступно (правда, есть неочевидности с прокидыванием сети к виртуальной машине), но вот точность измерения времени работы программ участников совсем ни в какие ворота не лезет: разные сдачи одной программки лёгко могут быть замеряны одна в 0,6 сек, другая в 1,5 сек... Это я что-то делаю не так, или это неминуемый недостаток использования готового образа виртуальной машины?
Я попытался этот образ закатать на физический жёсткий диск, но из-за изменений железа система не запускается.
Если кто умеет это чинить или делать то же самое по-другому — напишите, пожалуйста.
Энтузиазм — это не проблема, без него бы не было первопроходцев. Мой респект всем энтузиастам!
Когда-то первый раз готовил Московскую Область к использованию ejudge, жил в Троице в новогодние каникулы. Даже привозил Снарка. Туннель между двумя местами проведения заработал в 2 часа ночи перед туром, тюнили ASUS-овский роутер со спец-прошивкой, консультировались с автором по телефону. Немножко напортачил с началом тура, орал на председателя жюри, это всё не для моих нервов.
P.S. Ну и Воронеж опять отличился.
Прошу добавить Астраханскую область. Автоматизированной системы не было. По словам жюри, тестировалось все вручную, что повлекло за собой не очень приятные последствия в виде 0 баллов за бонусную задачу B.
На базе какого университета в этом году в Астрахани проходило?
Проходило все это действо в АГТУ. Организация в этом году, мягко говоря, никудышная
Раньше были другие организаторы?
Я участвую 4 года, и организаторы каждый год разные, да и состав жюри тоже.
а решения все так же? на дискете надо сдавать? :)
Практически. Приходит человек с флеш-картой, забирает твои сырцы. Через некоторое время приносит два экземпляра списков хеш сумм файлов под роспись =)
В том году организация была отдана АГУ. Я был в жюри, в частности отвечал за тестирование решений. Каждый год разные организаторы и зачастую это рандомные люди, которые даже не представляют, что должно быть в идеале.
Спасибо, добавил. Что, даже скрипты для запуска программ не использовали?
И что такое "Бонусная задача B"?
Вот этого точно я сказать не могу. Скорее всего да, но по словам жюри этого не наблюдалось, поскольку они утверждали, что тестировали задачу вручную.
"Бонусная" в том плане, что решается довольно просто, и получить по ней ноль баллов довольно сложно.
Ничего страшного, судя по результатам поедешь на РОИ, как победитель от региона.
Спасибо! Надеюсь, проблем с этим не возникнет.
Кстати, Денис, (к вопросу про UPD) я вообще не исключаю, что, если бы в централизованных материалах, рассылаемых в регионы, были бы какие-нибудь слова про централизованную тестирующую систему, пусть даже и в добровольном порядке, то вполне возможно, что наше жюри с радостью ею воспользовалось бы (да еще и потом нас бы тыкало в эти рекомендации носом :) ).
Кирюхин — бюрократ, причем как настоящий российский бюрократ он исполняет только те законы, которые ему хочется.
С точки зрения бюрократа если центральная методическая комиссия предлагает централизованную тестирующую систему, то это — некоторая работа, которая должна быть оформлена в виде "Конкурс, госконтракт, отчет, деньги, возможно — откат". Если это делает непонятно кто и никак за это формально не отвечает, то Кирюхин скорее всего на это не пойдет.
В 2008 году Кирюхин пытался играть в такие игры, помните, тестирующую систему "Кирилла и Мефодия", которую по слухам делали в Брянске? Дальше либо Кирюхина не вдохновили деньги, которые можно на этом получить, либо министерство само перестало деньги давать, в общем, с тех пор к этому вопросу никто не возвращается.
А деньги на это получить из министерства тяжело, т.к. это проведение регионального этапа, а проведение регионального этапа министерство не финансирует.
Так что я думаю, что сейчас вставить такое в методические материалы будет сложно, сначала нужно убедить Кирюхина этим заниматься.
А разработку задач, тестов и чекеров кто оплачивает?
Ну ты почитай положение.... 16. Центральные предметно-методические комиссии Олимпиады... разрабатывают тексты олимпиадных заданий, критерии и методики оценки выполненных олимпиадных заданий регионального и заключительного этапов Олимпиады;
.
Свяжитесь с В.М.Кирюхиным. Но я думаю, что он откажется. Во-первых, это не предусмотрено положением о всероссийской олимпиаде — проверку работ регионального этапа осуществляется региональным жюри. Во-вторых, даже не требуя, а только предлагая регионам такую возможность, В.М.Кирюхин берет на себя ответственность за это, то есть если В.М.Кирюхин что-то порекомендует, потом возникнут проблемы и регионы напишут жалобу в министерство, то виноват будет Кирюхин, а не вы. С вас спросить нечего, вы никаким обязательствами не связаны.
Я думаю, что это было бы возможно, только если вы (в лице какой-либо организации) подписываете договор с министерством на оказание таких услуг, как проверка работ регионального этапа, но это невозможно в силу положения о всероссийской олимпиаде школьников.
.
Базу вы не раздобудете. потому что ее не существует. Официальные рекомендации, т.е. регламент проведения регионального этапа, рассылаются по регионам чиновникам, а они их передают тем конкретным людям, которые занимаются проведением олимпиады. В некоторых регионах реальные организаторы регионального этапа меняются каждый год, и никакой централизованной рассылки именно по организаторам региональной олимпиады по информатике нет.
Только какими-то личными связями, рекламой и т.д. можно найти несколько регионов, готовых на это. Володя Гуровиц в прошлом году нашел три таких региона и провел для них тур на informatics.mccme.ru. Вы можете так же поступить, но придется действовать самостоятельно.
.
В Брянской области 2 последних года используем PCMS2. Поддерживаем самостоятельно. Подумываем написать что-то другое, т.к. у нас PCMS2 работает на Windows Server 2008 R2 и немного подглючивает (а иногда и падает вовсе во время олимпиады), или же попробовать переселить её на Linux/FreeBSD.
Спасибо, добавил!
Сложилась такая ситуация: на муниципиальном этапе успешно, в двух разных местах, обкатали проверку через ejudge; в городском же конспирация оказалась круче, чем в ФБР(условия и бажные тесты жюри выдали только после тура), так что пришлось проверять батником + тестером тимуса.
Говорят, что на регионе примерно такая же история, но ведь тесты и чекеры централизованы и точно правильные. Соответственно их можно засунуть в систему за несколько минут даже не проверяя.
Так что вопрос в том, есть ли у кого-нибудь опыт переубеждения провинциальных организаторов? Если да — какие, на ваш взгляд, методы/аргументы максимально эффективны?
Третьи лица (имеющие связи с администрацией области/города), которые вовсю стараются продвигать ИТ в регионе устроили встречу, на которой собрали учителей областных школ и представителей одной из ИТ кафедр университета. На этой кафедре была разработана своя проверяющая система, которую предложили использовать для offline проверки городского и муниципального этапа.
Эту систему выложили в cloud. Система не берёт на себя слишком много — только проверка решений. Учителя логинятся и сдают задачи школьников, запоминая id решения. Система проверяет решения и выдаёт количество баллов по каждому, а уже учителя могут делать с этими данными что угодно. В результате, от учителей убрали ручную проверку задач, но сохранили общую важность их работы.
В общем, кажется, что без помощи влиятельных людей продвигать подобные темы проблематично.
Материалы по региональному туру должны быть переданы организаторам и жюри регионального этапа за 5 рабочих дней до начала первого тура (документ за 2012 год, но эта часть не меняется — см. стр. 3). (А "за несколько минут и даже не проверяя" помещать их в проверяющую систему точно не стоит...)
Кроме того, существует еще один документ (де-факто продолжение вышеупомянутого), описывающий методику проверки задач. В последние годы его не публикуют "официально"; тем не менее общие вещи повторяются из года в год практически на тех же страницах. На страницах 30-31 говорится, что "разработать простейшую программную систему, позволяющую осуществлять окончательную проверку решений участников в автоматическом режиме, является не такой уж сложной задачей и по силам любой региональной предметно-методической комиссии по информатике. Наличие такой системы позволит на должном уровне осуществлять проверку решений участников не только на региональном, но и на муниципальном и школьном этапах Олимпиады по информатике в субъекте РФ." При желании можно рекомендацию истолковать как указание.
Относительно аргументов, позволяющих кого-либо в чем-либо переубедить, — это очень "творческий" и в чем-то "политический" вопрос.
Можно действовать не только напрямую, общаясь с представителями местного министерства образования, но и "косвенно" — существуют министерства (департаменты) по делам молодежи, по связи и ИТ и т.д. Написать "красивый" отчет про успешный опыт использования ejudge (со словами, что настройка производилась с учетом местной специфики) в стиле "у нас все неплохо, но можно сделать лучше, это несложно, есть апробированное решение, требующее минимальных организационных и (никаких) финансовых затрат".
Стоит детально прочитать документы по ссылкам выше — там есть ряд моментов, которые могут помочь обосновать необходимость перехода на автоматизированное тестирование.
Иногда срабатывают самые неожиданные аргументы. Например, то, что школьник может перепутать, в каком порядке надо читать или выводить данные, если примеры существуют только в "бумажном" варианте. "Визуально" для него все будет выглядеть "правильно", но программа проверки, прилагаемая к задаче, такое решение не засчитает (а изменять программы проверки категорически запрещено). Возможность проверить задачу на тестах из условия во время тура с помощью автоматизированной проверяющей системы значительно снижает риск таких ошибок.