Слишком сложный для первого места? Как оценивали творческие проекты на RoboCup
После завершения RoboCup Russia Open в Томске в социальных сетях появились обсуждения несправедливости оценок в категории OnStage Advance. Разбираемся на примере театрализованных представлений роботов, возможно ли объективное судейство творческих категорий.
Напомним, участники RoboCup OnStage готовят театрализованное шоу с роботами.
На соревнованиях в Томске первое место занял робот Пинотино команды учеников Президентского физико-математического лицея № 239 из Санкт-Петербурга. Во время представления он появляется из коробки, трансформируется в робота и имитирует процесс обучения — распознает цифры на карточках. Подробнее о проекте — в отдельной статье. Пинотино как победитель российского этапа поедет на международный финал в Австралию.
Второе место получил робот-флейтистка Эльза, играющий под аккомпанемент гитариста на блок-флейте. В Эльзе пневматические механизмы, подающие воздух клапаны, используются технологии машинного обучения. Проект подготовлен Лабораторией молодежной робототехники Университета ИТМО, подробнее о нем читайте здесь.
Обе команды приехали на соревнование из Санкт-Петербурга, а их тренеры Игорь Лосицкий (робот Эльза) и Наталья Тен (робот Пинотино) работают в одних и тех же учебных заведениях — одновременно и в Университете ИТМО, и в физико-математическом лицее № 239.
В социальных сетях робота-флейтистку восприняли как явно более сложный проект. Специфика сложившийся ситуации еще и в том, что Наталья Тен была среди судей соревнований.
Скриншот дискуссии ВКонтакте. Это не единственное обсуждение в социальных сетях
Мы спросили экспертов и участников RoboCup, как они относятся к результатам и спорам, возникшим вокруг судейства.
Судья, он же тренер
Игорь Лосицкий, тренер команды Лаборатории молодежной робототехники Университета ИТМО, остался недоволен сложившейся на соревнованиях ситуацией:
— Система судейства на российском этапе RoboCup оставляет желать лучшего. Семеро из десяти членов жюри — тренеры команд этой категории, и они сами себя судили. От нашей команды представителя в жюри не было. Увидеть протоколы нельзя, апелляция, судя по всему, не предусмотрена, в регламенте ничего об этом нет. Но мы все равно обратились к оргкомитету лиги с предложением пересчитать баллы без учета аффилированности судей и с нормализацией, как уже давно делается в Иннополисе. На WRO подобной ситуации вообще возникнуть не может. Надеюсь, что если не сейчас, то в будущем система судейства изменится.
Список жюри опубликован на сайте RoboCup Russia Open. В судействе лиги OnStage принимали участие 10 человек (региональные представители категории OnStage):
- Леонид Байдерин — Дом детского творчества Октябрьского района г. Екатеринбург, тренер команды Ё!, занявшей третье место,
- Олег Бруев — Дом детского творчества» с. Зырянское, Томская область,
- Елена Вафина — Караганда, тренер,
- Виктория Кефер — Красноярский краевой Дворец пионеров, тренер,
- Дарья Кутман — ТУСУР,
- Наталья Лебедева — станция юных техников г. Железногорск, тренер,
- Светлана Салопова — школа № 83 г. Северск, тренер,
- Елена Солодова, школа №76 г. Северск, тренер,
- Наталья Тен — ФМЛ № 239, тренер команды NON STOP, занявшей первое место,
- Анастасия Третьякова — ТФТЛ.
Ученики Лаборатории молодежной робототехники Университета ИТМО представляют робота-флейтистку ELSA
Upd. 21.05.2019: Как пояснила Наталья Тен, в соревнованиях RoboCup Major является принятой практикой, когда в один представитель от команды принимает участие в судействе — так формируются все оргкомитеты лиг. При этом Игорь Лосицкий говорит, что судя по всему что проект ELSA единственный не имел представителя в жюри.
На всех первого места не хватит
Судья соревнований Виктория Кефер согласилась с тем, что все творческие проекты допускают субъективность:
— Команды, участвующие в подобных состязаниях, должны это учитывать. Мнение судей не всегда совпадает с мнением тренера и команды. Как понимаете, на всех первого места не хватит, к сожалению. На мой взгляд, категория OnStage имеет очень подробно описанные листы оценивания и критерии. Вы можете их увидеть на сайте. Как регламенты, так и листы оценивания находятся в открытом доступе для всех желающих еще до начала соревнований (один минус — они на английском, но это сейчас не проблема).
Она отметила, что с каждым годом уровень проектов категории OnStage Advance растет. В этом году 5 команд представили проекты с использованием компьютерного зрения.
RoboCup — не соревнования, а обмен опытом
Наталья Тен уже не первый год судит категорию OnStage на российском этапе RoboCup и международных состязаниях. Она рассказывает, что у нее уже был опыт одновременного судейства и представления своей команды в качестве тренера на RoboCup.
На международный этап в Монреале в прошлом году команда Натальи Тен привезла робота-колобка, распечатанного на 3D-принтере. Их проект занял второе место, хотя по мнению тренера был более сильным с технологической точки зрения, чем работа команды, занявшей первое место. После соревнований к команде подошла Сьюзен Боулер, один из основоположников RoboCup OnStage, и спросила, не будет ли команда Натальи жаловаться на результаты.
— Мы были удивлены таким подходом. Оказалось, что это не беспрецедентная ситуация. Такие случаи уже были в предыдущие годы в Таиланде и Нагойе, когда команда не соблюла дух RoboCup и потрясла мировое сообщество тем, что задала вопрос: «Почему не нам дали первое место?». Сьюзен мне объяснила, что это делается не для того, чтобы каждая супер-крутая страна приехала и показала технологии. Это делается в первую очередь для того, чтобы дети показали конкурентоспособные проекты. Но важно не то, что они высокотехнологичны, а то, что используется достаточно простые незатейливые конструктивные элементы, доступные каждому.
Сьюзен объяснила, что когда судьи видят качественную лазерную резку и 3D-печатную деталь размером 30 см в диаметре, которую технологически сложно изготовить, они понимают, что дети так не делают.
— Судей смутила наша техническая сложность. То, что механика была продуманной, четкой и достаточно взрослой. Она сказала, что проект должен быть таким, что дети его легко смогут сделать. Это может быть картон, пластик (пенополистирол). Что-то, что ребенок с легкостью может обрабатывать. Не приветствуются большие проекты, когда дети физически не могут их унести. Мы напряглись, потому что это означает, что проекты из LEGO-конструктора должны превалировать. Мы были обескуражены.
Команда Президентского ФМЛ №239 и робот Пинотино
Наталья поясняет, что общемировая концепция подразумевает, что RoboCup — это не состязания, а международный турнир для обмена опытом между командами. По ее словам, складывается впечатление, что только Россия приезжает за местами. Эксперт рассказала, что на международном этапе проводится OnStage Superteam, когда команды должны объединиться по 2-3 и создать совершенно новое представление, используя своих роботов.
— Предлагается какая-то тема. В Таиланде была тема «Мяч», в Монреале — «Искусство». Дается вечер, ночь и 2-3 дня на работу. Сами организаторы говорят, что сам RoboCup для этого: сначала показать себя, а потом найти друзей и продолжить с ними общение после.
Спорное судейство в Томске в этом году Наталья также прокомментировала:
— Мы поняли, что команд очень много. Коллегиально мы решили предложить командам провести техническую демонстрацию в первый несоревновательный день. Первое, на что обратили внимание: в команде, тренером которой был Игорь Лосицкий, на гитаре был микрофон-петличка, и сигнал шел к роботу. Это устройство находилось на сцене и общалось по радиоканалу. Тренеру было сказано, что в регламенте четко сказано, что радиомодули недопустимы. Правила достаточно жесткие, но мы, десять членов жюри, решили, что баллы снимать не будем. На основном выступлении проблема была решена.
Наталья Тен поясняет, что исторически был RoboCup Junior и RoboCup Major. В первом во всех лигах используются простые технологии, во втором роботы неподъемные. Это соревнования университетов, где делают роботов не просто для состязания. Робот разрабатывается десятилетиями и каждый год участвуют примерно одни и те же команды. RoboCup Junior создан для того, чтобы дети увидели, чем занимаются взрослые. Upd. 21.05.2019: Как поясняет Наталья, в RoboCup взрослые не делают творческие проекты, а решают задачи логистики, спасения людей, автономного футбола гуманоидных роботов (траектории развития лиг в RoboCup: RCJ Soccer Lightweight -> Soccer Open -> RCM SSL, RCJ Rescue Line -> Rescue Maze -> RCM Rescue, а лига OnStage не имеет такого логичного продолжения).
Мнение редакции может не совпадать с мнением давших комментарии экспертов. В статью были внесены уточнения после публикации материала.
