Выпускница Сибирского государственного университета геосистем и технологий (СГУГиТ) Маргарита Фролова вместе со своей командой разработала инновационный программно-аппаратный комплекс, призванный кардинально изменить подход к обучению людей с нарушениями зрения. Этот проект, названный «Комплекс визуализации тактильных исследований», стал результатом шестилетней работы и уже привлёк внимание потенциальных инвесторов, сообщает Infopro54.ru.
Идея создания комплекса возникла из практической необходимости.
«Ещё на первом курсе в наш вуз пришёл запрос на удешевление тактильных карт для обучения незрячих. Первое время мы просто изготавливали карты на станках, а после указа президента о развитии ИИ мы задумались о его применении в нашей разработке», — рассказывает Маргарита.
Ключевая проблема, которую решает комплекс, — необходимость постоянного присутствия педагога рядом с обучающимся, чтобы тот мог объяснять и контролировать процесс изучения тактильных материалов.
«Педагог может отвлечься, моргнуть, и фрагмент выпадет из визуализации. В этом процессе человеку просто необходим помощник — машина, которая держит фокус внимания на постоянной основе», — объясняет Фролова.
Этот «помощник» — система, состоящая из камеры, установленной на штативе над тактильной картой, и специализированного программного обеспечения.
«Для реализации трекинга рук веб-камера располагается над поверхностью с ассистивными средствами и руками обучающегося. Применяется библиотека OpenCV и надстройка CVZone.HandTrackingModule, которая определяет наличие ладони и 21 опорную точку на ней, обеспечивая непрерывный мониторинг взаимодействия с картой», — поясняет разработчик.
Система анализирует видеопоток в режиме реального времени, предоставляя педагогу полную и объективную информацию о процессе обучения.
Проект уже вышел за рамки студенческой работы. Он вошёл в бизнес-инкубатор Академпарка, и к разработчикам уже обратилось ООО «Медицинский интегратор» для обсуждения коммерческого внедрения комплекса.
