Школьники в «Сириусе» создали мобильный офтальмоскоп с ИИ и робота, который понимает людей с полуслова
24 июля в образовательном центре «Сириус» завершилась флагманская научно-технологическая проектная образовательная программа «Большие вызовы». Более 400 одаренных старшеклассников из 69 регионов России представили важные для страны инновационные научно-технологические разработки. Преподаватели факультета компьютерных наук ВШЭ уже второй год выступают в качестве менторов «Больших вызовов».
Организатором смены традиционно выступил Образовательный фонд «Талант и успех».
В рамках направления «Большие данные, искусственный интеллект, автоматизированные системы и безопасность» команда, в которую вошли Максим Борсук, Алина Кушмухаметова, Тимур Очилов, Никита Убушаев и Богдан Черемесинов, работала над проектом по навигации робота к произвольным объектам. От ФКН ВШЭ руководителями проекта выступили старший преподаватель Иван Копылов, Андрей Бондарев, заведующий Проектно-учебной лабораторией робототехники.
Ребята при поддержке преподавателей осваивали современные технологии: ROS 2, облачные ресурсы Yandex Cloud, модуль распознавания речи от Yandex SpeechKit, работу с бортовым компьютером NVIDIA Jetson Orin NX и сенсорами. Результат — умный робот с ИИ, способный по голосовой или текстовой команде находить в помещении нужный объект и самостоятельно прокладывать к нему маршрут.
Андрей Бондарев рассказывает, что основной идеей проекта было исследование современных технологий робототехники, позволяющих создавать универсальных роботов без привязки к конкретному домену, которые понимали бы команды на естественном языке. Цель была сделать робота, которому можно сказать, например, «найди мой рюкзак», и он бы начал искать названный объект в окружающих помещениях, параллельно строя карту и объезжая препятствия.
Андрей Бондарев
«Мы предложили участникам пройти полный путь от железа до ML, поэтому ребятам удалось и попаять электронику, и собрать робота из отдельных компонентов, и написать свою прошивку для микроконтроллера, а также интегрировать сердце нашего универсального восприятия — CLIP-like-модель, — говорит он. — Проект получился очень живым и наглядным: робот действительно понимал команды, искал объекты и строил карту помещения. Конечно, остались задачи для доработки, например повышение точности навигации, но главное, участники прошли весь путь от идеи до работающего прототипа, что для школьников огромное достижение».
По словам Ивана Копылова, особенность проекта состояла в том, что робот должен был находить и двигаться к предметам, которые никогда не встречались обученной для него модели машинного обучения. Проект требовал от школьников глубокого понимания основ программирования, машинного обучения и практических навыков сборки электронных компонентов.
Иван Копылов
«Это был мой первый опыт участия в “Больших вызовах”, и меня приятно поразил высокий уровень подготовки школьников, а также отличная организационная работа команды нашего направления», — отмечает Иван Копылов.
Еще одним проектом направления «Большие данные, искусственный интеллект, автоматизированные системы и безопасность» стала разработка мобильного офтальмоскопа с искусственным интеллектом. Команда старшеклассников — Алексей Базин, Владимир Попов, Екатерина Серова, Савелий Степченков и Елизавета Чёрная — создала программно-аппаратный комплекс (ПАК) мобильного офтальмоскопа под руководством Дмитрия Александрова, заведующего Научно-учебной лабораторией облачных и мобильных технологий и профессора, а также стажера-исследователя лаборатории Анастасии Манушкиной и выпускника бакалавриата «Программная инженерия» ФКН ВШЭ Никиты Куприна.
Аппаратная часть созданного прибора, в частности, содержит одноплатный компьютер Raspberry Pi 4B с высокочувствительной камерой. Корпус смоделирован ребятами и распечатан на 3D-принтере в ОЦ «Сириус». Прибор имеет сенсорный экран для управления режимами работы, включая съемку, аннотирование и отправку обезличенных снимков на защищенный облачный сервер для последующей интеллектуальной обработки. Он также способен голосом озвучивать информационные сообщения и команды для пользователя.
В этом проекте старшеклассники применили развернутый в SmartMLOps (MLOps-платформе ВШЭ) ИИ-сервис EYAS, анализирующий изображения глазного дна и генерирующий их подробное описание на естественном языке в виде шаблона готового медицинского заключения, который разрабатывается проектной группой «Информационные системы для медицинских приложений — ИСМед» во главе с экспертом в области офтальмологии, доцентом ФКН ВШЭ Дмитрием Рябцевым. Ребята разработали серверную часть для получения, обработки и хранения данных, а также кросс-платформенное клиентское приложение для администрирования данных. Разработка уже вызвала интерес у экспертов НМХЦ им. Н.И. Пирогова.
Дмитрий Александров
«Работа над проектом была нелегкой, с бессонными ночами, практически без выходных, в условиях жестких дедлайнов и стресса от цейтнота и предзащит со строгими, но справедливыми экспертами. Несмотря на это, ребята успешно со всем справились и к финальным защитам успели выполнить все запланированные задачи, представив работоспособный прототип ПАК мобильного офтальмоскопа, — рассказывает Дмитрий Александров. — В реализации проектов на “Больших вызовах” наша лаборатория участвует уже во второй раз. Можно отметить, что число разработок на различных направлениях программы год от года неуклонно растет. В этом году ребята также поразили высокой сложностью и объемом проделанной работы в рамках своих инновационных проектов, а также успешным их завершением в столь короткий срок».
Анастасия Манушкина
В рамках программы «Большие вызовы» Анастасия Манушкина с ребятами на протяжении трех недель работала над проектом, создавая компактное переносное устройство, которое позволяет делать снимок глазного дна в полевых условиях вне клиник. «Собранная на наш проект команда оказалась очень активной, каждый участник получил именно ту роль, которую хотел. Благодаря тому, что ребята уже были знакомы со всеми программными инструментами, мы смогли быстро погрузиться в работу, не теряя много времени на теорию и изучение новых технологий», — подчеркнула она.
Участники поделились своими впечатлениями.
Елизавета Чёрная, участница проекта «Программно-аппаратный комплекс мобильного офтальмоскопа»
— «Большие вызовы» — программа, на которую стоит попасть всем, кто хочет создавать что-то новое. Здесь каждый может найти проект, который по-настоящему заинтересует и работа над которым поможет в развитии своих навыков. И все это под наблюдением руководителей, к которым можно обратиться по любым вопросам, возникающим в процессе. На программе можно познакомиться с ведущими специалистами из разных областей науки и послушать их интересные лекции. Это возможность приобрести новый опыт в работе над одним из проектов в интересующей области.
Алексей Базин, участник проекта «Программно-аппаратный комплекс мобильного офтальмоскопа»
— Над проектом мы работали в команде, у всех были свои задачи и зоны ответственности. Работали по три-четыре пары в день, иногда приходилось дополнительно работать по вечерам и даже ночам. Я исполнял роль фронтенд-разработчика, делал кросс-платформенный клиент для врачей с помощью фреймворка Flutter. Также я был тимлидом нашей команды, координировал действия всех ее участников и назначал задачи на день. В ходе разработки я намного лучше прочувствовал Flutter и его возможности, а также повысил свои soft skills, навыки работы в команде, умение координировать людей.