Исследователи из Университета Карнеги — Меллона и Disney разработали технологию для «умных» часов, которая позволяет определять предмет в руке человека. Доклад был представлен на конференции UIST 2015.

Суть идеи заключается в том, что посредством различных датчиков и соответствующего ПО, носимый компьютер можно превратить в подобие универсального анализатора окружающей среды. Технология носит название EM-Sense.

Если человек с подобным гаджетом прикасается, например, к работающему электроприбору или массивному металлическому предмету, то тело человека работает как антенна для распространения электромагнитного шума предмета. Для многих объектов подобная «электромагнитная подпись» уникальна, поэтому алгоритм, ранее обученный на этих предметах, легко сопоставляет подпись с физическим объектом.

К примеру, если прикоснуться рукой к 3D-принтеру, то на экран выведется информация о времени до завершения печати, при распознавании мотоцикла часы могут предложить короткий маршрут, а если в руке окажется электрическая зубная щетка, то умные часы запустят таймер обратного отсчета.

В рамках технологии исследователи предложили использовать технологии машинного обучения, когда пользователи будут сами вносить в базу данных название предмета, если он был не определён либо же определён неверно, а ПО будет самообучаться на основе получаемой информации. Но уже сейчас доля ошибочных определений составляет менее 4%.

Авторы проекта предлагают использовать их разработку для существующих сценариев. К примеру, можно создать напоминание, которое станет активным при касании к тому или иному предмету в том или ином помещении. Допустим, рассеянный человек может установить напоминание о том, что нужно не забыть выключить какой-нибудь домашний прибор при выходе из дома, то есть при касании ручки входной двери.

Также подобную технологию можно адаптировать для людей с проблемами зрения, когда наручный прибор будет озвучивать, к чему именно прикоснулся сейчас человек. На самом деле сценариев множество, причём новых также. Необходимые для работы технологии датчики стоят примерно $10, так что вопрос реализации не в цене, отмечают исследователи.