Бюро по патентам и товарным знакам США выдало Apple новый патент на разработку в области синхронизированной интерактивной дополненной реальности. Как сообщает Holographica, документ описывает систему, которая может найти применение в будущих iOS-устройствах, в том числе интегрированных с очками для просмотра AR/VR-контента.

Патент описывает разработки Apple в области наложения аннотаций на изображение с камеры устройства в реальном времени пользователем или автоматически из локальных и сетевых источников данных. Таким устройством может быть смартфон, планшет, игровая консоль, плеер или ПК. Аннотации могут быть текстовыми, мультимедийными или гипертекстовыми (содержащими отсылки к другим данным) и отображаются как в автоматическом режиме, так и в ответ на фиксируемые компьютером события.

Перед формированием информационного слоя объекты должны быть идентифицированы в реальном времени — автоматически или вручную. Используемые методы идентификации включают контурное распознавание, SIFT, сопоставление шаблонов, градиентные гистограммы, внутриклассовое трансферное обучение, эксплицитные или имплицитные трёхмерные модели объектов, глобальную репрезентацию сцен, затенение, отражающую способность, текстуры, тематические модели, трёхмерные знаки, контекст, задействование интернет-данных и т.д.

Аннотирование также может производиться во время передачи потокового видео между устройствами, когда на экране одного гаджета появляются данные, наложенные на картинку пользователем или автоматически с другого девайса.

Один из сценариев реализация дополненной реальности предусматривает использование инструмента «лупа» — области увеличенного изображения, которую пользователь может перемещать по экрану в реальном времени. Для трёхмерной съёмки с помощью одной камеры предлагается делать два снимка с разных углов, которые компьютер сшивает и интерпретирует по данным с датчиков положения устройства.

В качестве кейсов для здравоохранения описываются распознавание лиц пациентов и вывод информации о них на экран, диагностирование по внешним признакам (например, цвету кожи), передача потокового видео другим специалистам для консультаций, отображение в реальном времени данных с рентгена или МРТ. В качестве примера использования технологии для автомобильной индустрии приводится аннотирование видеосъёмки с двигателем для проведения ремонтных работ, а также распознавание отдельных деталей и выведение выдержек из руководств.

Также описывается потенциально очень полезный потребительский кейс. Он заключается в обмене потоковым видео между двумя гаджетами, один из которых распознаёт окружение и передаёт данные о расположении пользователя на второй, который показывает его как геолокационную метку на снимаемом им потоковом видео. Таким образом предлагается рассказывать знакомым о том, где находится пользователь.