Блог пользователя yeputons

Статистика по "полезности" тестов
Автор yeputons, 13 лет назад, По-русски
Добрый всем день.
Недавно меня заинтересовал вопрос, и хочу с ним обратиться к тем, кто имеет доступ к логам проверки решений - на скольки процентов тестов обычно хоть кто-то валится? На каждом тесте, на половине, на каких-то трёх?
  • Проголосовать: нравится
  • +15
  • Проголосовать: не нравится

13 лет назад, # |
← Rev. 3   Проголосовать: нравится +10 Проголосовать: не нравится

У меня была мысль предложить программно анализировать тесты.
Но на КФ изменения как-то очень медленно вносятся, так что вряд ли такую фичу в ближайшее время прикрутят.
Как ни странно, авторы контеста могут про это сказать не больше, чем участники. Никаких умных таблиц/графиков/логов у нас не было.

UPD: Наврал, Паша подсказывает, что есть XML-ный лог. После ТЦ попробую его распарсить.

UPD2: Лог там очень слабоинформативный, поэтому я у организаторов попросил сгенерировать мне из базы данных лог поправильнее.
Напишу скриптик, может поможет в будущем.
→ Ответить
  • 13 лет назад, # ^ |
      Проголосовать: нравится 0 Проголосовать: не нравится
    А чего там парсить? См. вступительную задачу в ЛКШ.P :)
    → Ответить
    • 13 лет назад, # ^ |
      ← Rev. 2   Проголосовать: нравится 0 Проголосовать: не нравится

      Чего бы ты хотел в качестве статистики?
      А то в руки попал мега-лог файл, не знаю аж, что с ним делать.
      → Ответить
      • 13 лет назад, # ^ |
          Проголосовать: нравится 0 Проголосовать: не нравится
        Можешь мне слить, я поиграюсь :)
        А что хотелось изначально - сколько тестов было по задачам подготовлено/на скольки завалился хотя бы один участник.
        → Ответить
13 лет назад, # |
  Проголосовать: нравится 0 Проголосовать: не нравится
Вот, можешь распарсить это, если любопытно. На том же сайте есть и другие подобные логи.

Мои задачки обычно падают на 2-3 тестах, если они учебные, и в среднем на 2-3 из 20-25 на олимпиадных задачках, но задачи бывают разные. В одной задаче у меня было 20 тестов по 5 баллов каждый и у всех ~12 участников были за нее разные баллы. Случаи, случаи :).
→ Ответить
13 лет назад, # |
  Проголосовать: нравится +27 Проголосовать: не нравится
Короче говоря, статистика такая по див. 1 последнего контеста:
Количество валящих тестов/количество тестов.
problem:  457
19 / 58
problem:  458
15 / 55
problem:  459
16 / 56
problem:  460
18 / 81
problem:  461
5 / 64
→ Ответить
  • 13 лет назад, # ^ |
      Проголосовать: нравится 0 Проголосовать: не нравится
    Прикольно, я думал, будет намного меньше.
    → Ответить
    • 13 лет назад, # ^ |
      ← Rev. 4   Проголосовать: нравится +6 Проголосовать: не нравится

      На самом деле, я так поглядел, у нас тесты шли, как и в предыдущих раундах, группами по 10-30 штук, и в основном валящими были первые тесты в каждой группе, а дальше шли невалящие. Вполне логично, что так оно и будет, однако все равно зачем-то принято делать по десятку тестов в группу.
      Например, задача D:


      количество пройденных тестов | количество сабмитов:
      0 19
      1 4
      2 75
      3 9
      4 1
      5-8 0
      9 2
      10 4
      11 1
      12 0
      13 1
      14 4
      15 3
      16-19 0
      20 1
      21 1
      22 0
      23 0
      24 1
      25 2
      26 0
      27 0
      28 0
      29 1
      30-76 0
      77 2
      78 0
      79 0
      80 41

      → Ответить