что такое lidar scanner
Зачем iPhone 12 нужен лидар, или Самая бесполезная функция
Я всегда любил технику Apple за её практичность и продуманность. В отличие от Samsung, которая могла себе позволить совершенно бестолковые эксперименты в коммерческих смартфонах с технологиями слежения за взглядом или 100-кратным приближением изображений, компания из Купертино вела себя более осмотрительно и не предлагала своим пользователям инновации ради инноваций. Но в какой-то момент что-то пошло не так, и Apple сначала решила превратить планшет в компьютер, а потом и вовсе занялась освоением не применимых на практике AR и лидаров.
Лидар — бесспорно, очень интересная и сложная технология, но на практике мало применимая
Apple представила iPad Pro 2020 с новой камерой и клавиатурой как у MacBook
После того как Apple выпустила iPad Pro 2020 со встроенным лидаром, стало очевидно, что планшет является всего лишь тестовым полигоном для технологии компьютерного зрения перед по-настоящему важным релизом. Ведь планшет, тем более профессиональный, — это устройство узконаправленное, а вот смартфон, тем более флагманский, представляет собой гаджет более массовый. Поэтому сомнений в том, что iPhone 12 тоже получит поддержку лидара ни у кого не было с самого начала. Ведь не зря же Apple установила на корпус iPhone 11 такую большую площадку, где как раз осталось место ещё для одного модуля.
Лидар сканер — это…
В iPhone 12 тоже будет лидар, в этом почти нет сомнений. Но зачем он там нужен?
Если вы ещё не в курсе, лидар – это специальный сенсор, способный распознавать трёхмерные объекты благодаря технологиям поглощения и рассеивания света. Он просто излучает пучок света, который отталкивается от предметов, расположенных на его пути, и возвращается назад. Таким образом удаётся сформировать силует препятствий, находящихся в зоне видимости, и определить области, свободные от посторонних объектов. Как правило, лидары применяются в системах автопилотирования, выступая в роли глаз беспилотного автомобиля.
Все, что вам нужно знать о новом iPad Pro 2020
Но зачем это смартфону? Ну, на самом деле лидар можно приспособить как минимум для трёх целей. Его можно использовать для распознавания лиц, как поступила Samsung со своим Galaxy S10 5G, который разработчики компании обучили считывать рельеф лица не хуже, чем Face ID. Но поскольку Apple решила установить лидары на заднюю панель своих устройств, логично предположить, что и использоваться они будут если не конкретно для фотосъёмки, то по крайней мере в роли вспомогательного инструмента для камеры. Значит, остаются только два варианта: работа с дополненной реальностью и портретная съёмка.
Дополненная реальность на iPhone
Да, мы знаем, что Apple неровно дышит к дополненной реальности, а лидар может помочь ей в реализации намеченных целей, обучив AR-объекты работать с окружающим пространством и учитывать препятствия, чтобы не проваливаться в текстуры. Но, как видите на представленных выше изображениях, сейчас iPhone довольно неплохо справляются с размещением виртуальных предметов, создавая впечатление вполне материальных. Поэтому единственное, что улучшит лидар, — это замеры при помощи приложения «Линейка», сделав их более точными, и точность позиционирования при размещении виртуальной мебели из приложения «ИКЕА». Других сценариев я придумать пока не могу.
Сравнение iPad Pro 2020 и iPad Pro 2018: стоит ли покупать новинку?
Другое дело – насколько востребована будет эта функция у пользователей. На мой взгляд, AR – это именно та история, которая годится только в качестве вау-фактора. Ну, подумайте сами, сколько раз вы её запустите? Один? Два? Три? Уверен, что не больше, да и то только в первую неделю после покупки, пока хочется протестировать все возможности новинки. Нет, ну правда, вспомните, сколько раз вы пытались запускать AR на своём нынешнем iPhone или iPad? От силы раза полтора. Не изменит ситуацию и лидар, ведь дело не в том, что дополненная реальность плохо совмещается с повседневной, а в том, что это никому не нужно.
Как улучшить портреты на айфоне
Лидар может улучшить портретную съёмку, но зачем, если она на iPhone и так всегда была на высоте?
Портретная съёмка пока выглядит самым вероятным сценарием массового использования лидара. Благодаря тому что он позволяет распознавать трёхмерные объекты, он сможет добиться более естественного и правильного эффекта размытия. Но вот проблема – телеобъективы, которые Apple использовала в iPhone с 2016 года, и так справлялись со своей задачей на 100%. Что-то я не припомню, чтобы кто-то из экспертов негативно отозвался о портретной съёмке даже на iPhone 7 Plus, не говоря уже о более новых моделях. Напротив, флагманские аппараты Apple либо превосходили конкурентов, либо шли с ними вровень, но никак не уступали. Поэтому, в общем, и здесь лидар будет ни к чему.
Почему я думаю, что iPhone 12 не выйдет в сентябре 2020 года
Аналогичного мнения придерживается и Михаил Королёв, основатель AppleInsider.ru:
Можете забросать меня камнями, но я искренне не понимаю, зачем нужно встраивать лидар в iPhone. Ради крутых фоток с размытым фоном или ради дополненной реальности, которой никто никогда не пользовался? Удорожание смартфона в настоящее время — явно не лучшая идея. Лидару место в автомобилях Tesla или роботах Яндекса, которым он нужен для автономного передвижения, но никак не смартфону. Надеюсь, что я не прав и Apple откроет нам глаза на реальные сценарии применения лидара в iPhone 12, но пока верится с трудом, что это произойдёт.
Я бы тоже очень хотел ошибиться и в сентябре узнать, что Apple придумала для лидара в iPhone 12 совершенно гениальное применение, а не вот эти притянутые за уши сценарии вроде AR или портретной съёмки. Но, учитывая, что пока никто даже в теории не придумал, как ещё можно использовать этот аппаратный компонент, меня не покидает стойкое ощущение, что Apple действительно свернула куда-то не туда и уделяет время технологии, которая банально не нужна большинству пользователей.
Лидар: просто о сложном
LIDAR (Light Detection And Ranging — световая система обнаружения и измерения дальности) — технология, которая незаметно, но прочно входит в жизнь автолюбителей. Все больше автомобилей комплектуются лидар-сенсорами, а значит, пришло время рассказать, что здесь к чему. Тем более, что DENSO стоит у истоков автомобильных лидар-технологий.
В середине 1930-х годов был изобретен ЭОП — электронно-оптический преобразователь, в котором электроны, выбитые инфракрасным излучением с фотокатода, разгонялись и фокусировались электромагнитным полем на аноде, буквально рисуя видимое излучение. Технология заинтересовала военных, и на этой основе немецкие и советские конструкторы создали несколько экспериментальных систем ночного видения. Причем немецкая система к концу Второй мировой войны даже пошла в серию. Активный инфракрасный прожектор подсвечивал местность, а оптический приемник улавливал отражение ИК-волн и выводил (пусть и нечеткую) картинку ночной местности.
Приборы ночного видения, созданные на принципе улавливания отраженных в ИК-диапазоне волн, с тех пор прошли долгую эволюцию, и постепенно инфракрасные оптические технологии перестали быть военным эксклюзивом. Принцип взаимодействия с отраженными инфракрасными волнами использует и современный лидар.
Прогресс сделал возможным поместить активный источник инфракрасного излучения и его приемник в компактный корпус. Еще в начале 1990-х годов автомобильным инженерам стало понятно, что при современном росте скоростей и плотности движения необходимо создать технологию автоматического распознавания препятствий впереди машины.
В 1996 году компания DENSO показала оптический датчик, который широким горизонтальным лучом «сканировал» местность впереди машины. Еще через год, в 1997 году, DENSO разработала первый в мире оптический датчик, работающий в двух измерениях. Так компания представила первый лидар современного вида.
Лидар направляет перед собой инфракрасный свет в широком диапазоне (до 180̊) на расстояние до 400 м. Свет частично отражается от препятствий впереди, а частично рассеивается. Отраженный импульс возвращается обратно, где воспринимается фотодиодом. Ток на фотодиоде пропорционален воздействующему свету. На основании принятого цифрового сигнала процессор определяет расстояние до препятствия, а в случае с движущимся впереди автомобилем — и его скорость. Множество ИК-лучей и их одновременная обработка позволяют лидару строить 3D-изображение окружающей обстановки:
Мастер на все руки
Помимо этого, благодаря особенностям отражения, лидар «умеет» читать разметку — она отражает ИК-лучи иначе, чем асфальт. Лидару также под силу определить влажность воздуха, наличие осадков и тумана. Впрочем, при интенсивном дожде и снеге лидар пасует и не может адекватно оценить информацию — инфракрасные лучи хаотично преломляются и отражаются каплями воды в воздухе. По этой причине лидар практически всегда дублируется субмиллиметровым радаром (первенство в установке которого на автомобиль, к слову, также принадлежит DENSO).
Сегодня на основе информации, полученной от оптического датчика-лидара, функционируют многие системы безопасности автомобиля. Это и адаптивный круиз-контроль, и система аварийного торможения, и система распознавания дорожной разметки и удержания в полосе. Большим плюсом лидара по сравнению с радаром является его относительно дешевизна, а также простота и отработанный процесс производства. Лидар можно сравнить с оптической технологией, применяемой в дистанционных пультах для бытовой техники — никто уже давно не удивляется их наличию. Примерно то же ждет лидар в контексте использования в автомобильной промышленности.
Создание все более сложных, умных и надежных систем безопасности — это одна из глобальных целей DENSO. Однако не стоит забывать и о простом. К примеру, о том, что основа основ безопасности автомобиля – это нормальный обзор. Который обеспечивают качественные щетки стеклоочистителя. Подобрать подходящие щетки DENSO можно с помощью электронного каталога.
Для чего нужен LiDAR в iPhone и iPad Pro?
В iPad Pro 2020 года впервые появился LiDAR — сканер, измеряющий расстояние до окружающих объектов. Он, начиная с iPhone 12, присутствует в каждой Pro-модели айфона. Где можно применить эту фишку и как она работает?
Что за LiDAR и как он работает?
LiDAR (Light Detection And Ranging) испускает волну инфракрасных точек, измеряя время полёта каждой до ближайшего объекта и обратно. Это позволяет определить размеры пространства. Похожим образом функционирует камера TrueDepth, используемая в Face ID, однако LiDAR способен работать на большем расстоянии (до 5 м). Времяпролётные камеры во многих Android-гаджетах функционируют по схожему принципу, но там применяется один световой импульс, что снижает точность замеров.
Есть ли конкретная польза от LiDAR в iPhone? Конечно. Эта технология применяется во множестве сценариев.
LiDAR для фото
Времяпролётные камеры в смартфонах, как правило, используются для повышения точности и скорости фокусировки. LiDAR делает то же самое. Apple обещает ускорение фокусировки при слабом освещении до шести раз. Определение глубины тоже используется для улучшения качества работы портретного режима в темноте.
LiDAR для измерения расстояний
С появлением сканера заметно улучшилась работа приложения «Рулетка»: теперь оно точнее, быстрее и удобнее. Для этого в интерфейсе предусмотрены вертикальные и боковые направляющие. Специальный режим, обнаруживая в видоискателе человека, тут же измеряет его рост. Как утверждают обзорщики, точность «Рулетки» в некоторых ситуациях соответствует реальности, хотя чаще имеется небольшая погрешность. Впрочем, использовать приложение в профессиональном строительстве всё же не стоит.
LiDAR для приложений и гейминга
Преимущества датчика хорошо раскрываются в сторонних утилитах. Например, бесплатный Canvas: Pocket 3D Room Scanner позволяет сканировать помещение, чтобы получить 3D-проекцию и рассматривать её с любой точки. Snapchat открыл документацию по созданию линз с использованием LiDAR, а приложение IKEA Place помогает размещать виртуальные элементы интерьера из каталога магазина в квартире пользователя.
Возможность точного нанесения виртуальных объектов на реальные пригодится и на сайте Apple: для некоторых продуктов доступно их изучение в дополненной реальности. Так можно узнать, как будет смотреться iMac на рабочем столе.
А вы пользуетесь фишками LiDAR?
Как использовать сканер LiDAR в iPhone 12 Pro
У вас есть сканер LiDAR, если у вас есть iPhone 12 Pro, iPhone 12 Pro Max или iPad Pro, но Apple, похоже, не дает вам возможности его использовать. Вот как это сделать, что вам нужно и почему LiDAR так полезен.
LiDAR является частью iPhone 12 Pro, iPhone 12 Pro Max и iPad Pro, но вас простят за то, что вы этого не заметили. Apple почти не упоминает об этом, и на телефоне нет приложения LiDAR, которое можно было бы попробовать.
Учитывая, что одно из его основных применений — фотография, вы ожидаете каких-то элементов управления LiDAR в приложении камеры или, по крайней мере, чего-то в настройках. Но нет ни того, ни другого.
Также мало стимулов искать такие элементы управления, потому что, пока вы не увидите их в действии, трудно понять, что LiDAR может для вас сделать. Технология сканирует вашу среду, создавая ее трехмерное изображение, и это изменит качество работы AR и VR.
На данный момент Apple, похоже, рада позволить LiDAR тонко помочь вам тем, как он дополняет существующие приложения и функции.
Как вы уже используете LiDAR
Если вы ранее отказались от использования приложения Apple Measure, попробуйте еще раз. Приложению теперь помогает LiDAR, и это заметно улучшило его.
Теперь можно быстрее начать использовать Measure, потому что он быстрее распознает окружающую среду. А поскольку LiDAR работает для сканирования всей окружающей среды, измерения, которые вы выполняете, более точны.
Это теория, а на практике вы обнаружите, что Measure более полезен, чем раньше. Вместо приложения, которое вы использовали для грубых измерений, когда у вас не было рулетки, теперь оно достаточно хорошее и быстрое, чтобы использовать его где угодно.
Далее, хотя это и сложнее увидеть, LiDAR также ускорил работу автофокуса вашей камеры. Опять же, это потому, что LiDAR отображает окружающую среду вокруг вас, поэтому он начинает вычислять, насколько далеко или близко находится объект, когда вы нажимаете кнопку, чтобы сделать снимок.
Однако, если измерения и автофокус — единственные заметные варианты использования LiDAR от Apple, уже существуют сторонние приложения, которые будут делать гораздо больше. Их очень много, и большинство из них похоже на эксперименты по выяснению того, что возможно.
Но в целом они также, как правило, хороши в одном из двух. Либо они отлично справляются со съемкой трехмерного изображения вашего окружения, похожего на фотографию, либо лучше снимают изображение объекта.
Это баланс между достаточно медленным сканированием, чтобы избежать размытия, и достаточно быстрым, чтобы закончить, пока приложение все еще может хранить данные.
Захват всей вашей среды
Используйте Canvas: Pocket 3D Room Scanner для iPhone — бесплатно в магазине приложений iOS — и вы можете сканировать свое окружение. Встаньте посреди комнаты, коснитесь элементов управления, похожих на измерения, а затем медленно развернитесь.
То, что вы видите на экране холста, похоже на голодек из «Звездного пути». Рядом с камерой, видимой прямо перед вами, есть сетка. Когда вы поворачиваетесь, сетка заполняется изображением вашего окружения.
Двигайтесь слишком быстро, и получаемое изображение будет недостаточно детализированным. Если двигаться слишком медленно, приложению может не хватить памяти до того, как вы завершите сканирование. Так что это компромисс между деталями и полнотой, но он дает вам 360-градусное изображение вашей комнаты.
Прямо здесь, на iPhone, вы можете уменьшить масштаб, чтобы увидеть изоморфную проекцию комнаты, повернуть ее жестом и увеличить, чтобы увидеть ее под любым углом. Проведите пальцем по экрану, чтобы показать комнату крупным планом на весь экран, и затем вы можете провести пальцем по экрану, чтобы передвигаться, или физически переместить телефон.
Физическое перемещение телефона показывает, как выглядит захваченное окружение, когда вы поворачиваетесь. Но вам не обязательно находиться в той же среде, в которой вы запечатлели.
Вместо этого вы можете взять свой телефон и изучить сканированное изображение в любом другом месте. Встаньте, например, в поле и посмотрите на свой офис на экране iPhone. Двигайтесь по полю, и экран будет выглядеть так, как будто вы перемещаетесь по офису.
Нет сомнений — в будущем полицейские собираются делать снимки мест преступлений с помощью LiDAR. Это только вопрос времени, когда такое сканирование даст решающую улику в эпизоде «Морской полиции».
Технология LIDAR
Сканер LIDAR — это импульсный лазер, регистрирующий время с наносекундной скоростью, которое требуется для возвращения сигнала отраженного света к источнику. Он позволяет повысить точность измерения расстояний и сгенерировать 3D-модель с большей точностью, чем когда-либо могла сделать простая камера.
Некоторые системы камер имеют аналогичный датчик времени полета (Tof) для получения информации о глубине. Как правило, они делают обобщённый снимок с более широким лучом, в то время как более продвинутые системы LIDAR предлагают несколько лучей для большей точности.
LIDAR способен сканировать объекты на расстоянии до 5 метров. Поскольку лазер работает на уровне фотонов, он может функционировать ночью или днём, на улице или в помещении. Также LIDAR использовался в различных приложениях, наиболее выдающимися из которых являются автомобильные системы, разработанные для помощи автомобилям с автопилотом или функции автоматического рулевого управления. Есть также строительные приложения и многое другое.
Этот сканер идеально подходит для AR. Игра Hot Lava идеально демонстрирует плавную работу и неповторимый опыт (является эксклюзивной для Apple Arcade). По словам Apple, «Сканер LiDAR на новом iPad Pro включит новый режим AR в Hot Lava, который появится в конце этого года».
Также были продемонстрированы другие впечатляющие способы использования сканера LIDAR, например: CAD-приложение Shapr3D сканирует комнату и создает трёхмерную модель в приложении. Затем пользователи в AR-режиме смогут добавлять новые объекты, что являет собой незаменимый инструмент для дизайнеров.