что значит фотосъемка на базе ии включена
Модуль ИИ в камере Хуавей: что это такое
11.12.2019 7,666 Просмотры
Под аббревиатурой ИИ принято понимать искусственный интеллект. В настоящее время им оснащается большое количество устройств. И смартфоны HUAWEI – не исключение. Что представляет собой данный модуль, какие возможности он предоставляет и как им пользоваться, будет рассмотрено в статье.
Что это такое
Компания ХУАВЕИ в 2019 году на слуху у всех. И это неудивительно, ведь она создала большое количество разработок, которые призваны изменить мир к лучшему. Камеры устройств, выпущенных ею, оснащены специальным процессором, используемым в ходе проведения нейросетевых вычислений. Альтернативное его наименование – ускоритель искусственного интеллекта. Этот ход компании стал прогрессивным.
Зачем это нужно
Особого внимания заслуживает камера устройства. С ее помощью можно без труда распознавать всевозможные сцены в кадре, а также осуществлять поиск и выбор оптимальных настроек. Количество этих сценариев в последнее время увеличилось. Новый показатель стал равняться 1500. Это дало пользователям возможность объединять несколько элементов в кадре и делать уровень адаптации более высоким.
Наряду с этим доступно одновременно несколько фильтров, которые делают картинку более красивой. Основной цвет при этом заметно выделяется, а фон при желании пользователя может быть размытым. Вместе с этим модуль ИИ позволяет осуществлять анализ пользовательских действий и делать соответствующие выводы.
Компания постоянно радует пользователей оригинальными новинками, в числе которых не только смартфоны, но и прочие устройства. Качество их постоянно растет, а цены остаются на приемлемом уровне.
Создание не только лиц, но и личностей: как искусственный интеллект влияет на фотографию
Эксперты фотобанка Depositphotos рассказывают, какое будущее искусственный интеллект готовит для фотографии
ИИ (за)меняет фотографию
Cегодня ИИ меняет саму суть фотографии. Только представьте, что получить фото можно вообще без камеры. Это уже реально благодаря разработке Drawing Bot от компании Microsoft. Для того чтобы создать изображение, программе достаточно общего описания. Она может с нуля, пиксель за пикселем нарисовать что угодно — от пейзажа до абсолютно сюрреалистических картин. При этом каждое изображение содержит детали, которых не было в описании. Это доказывает, что ИИ не просто выполняет задачу, но и проявляет собственное воображение.
В основе этой технологии две модели машинного обучения. Одна создает изображения из текстовых описаний, а другая использует их, чтобы оценить подлинность сгенерированных картинок. Простыми словами, первая пытается создать поддельные изображения, а вторая не хочет, чтобы ее обманули. Поэтому обе постоянно совершенствуются. В результате получаются настолько реалистичные картинки, что их легко спутать с фотографиями.
Ваши удачные фото — заслуга ИИ
Развитие фотокамер движется в сторону все большей автоматизации. В первую очередь это касается камер смартфонов. Компания Apple использовала методы машинного обучения в портретном режиме для iPhone. Суть в том, что одна камера распознает людей, а вторая выделяет объект, размывая фон, в итоге получаются глубокие и выразительные кадры. И хотя технология распознавания людей с помощью машинного обучения не была новой, у обычных потребителей впервые появилась возможность применять ее в повседневной жизни с помощью своих смартфонов.
Последние модели iPhone оснащены уже полноценной ИИ-камерой. Прежде чем пользователь нажимает на кнопку, чтобы сделать фото, она снимает восемь кадров. После камера сравнивает полученные результаты и объединяет лучшие пиксели каждого из них в оптимальное изображение. В Apple эту инновационную функцию на базе нейронной сети назвали глубоким синтезом (deep fusion). Это первый раз, когда ее применили в фотосъемке.
ИИ создает новую реальность
Искусственный интеллект дает возможность буквально создать новую действительность. Компания Nvidia посвятила этому целое исследование, в ходе которого получила невероятно реалистичные фотографии фейковых знаменитостей. И хотя идея не нова, эти снимки стали самыми убедительными и детальными из когда-либо сделанных.
Современные технологии позволяют создавать не просто новые лица, но и личностей. Лил Микела — 19-летняя певица из Лос-Анджелеса и самый известный ИИ-инфлюенсер с более 1,9 млн подписчиков в Instagram. Она — творение компании Brud, которая специализируется на робототехнике и ИИ.
ИИ в камерах Xiaomi: реально работает?
Хороший модуль камеры в смартфоне – залог успеха той или иной модели. Если раньше борьба велась за счет “железа” и количества мегапикселей, то сейчас все больше производителей акцентируют внимание на программной составляющей камеры.
Xiaomi также создала фирменный искусственный интеллект (ИИ) для прокачки мобильной съемки. Действительно ли внедрение этой технологии помогает при создании фото/видео или это очередной маркетинговый ход компании? Давайте разбираться вместе!
Искусственный интеллект внутри камеры смартфона – это ИИ специально обученный алгоритм, который умеет определять сцену, объект съемки и автоматически применять специальный LUT после анализа картинки.
Основная цель ИИ в камерах Xiaomi – создание подготовленного снимка для публикации в социальных сетях.
Чтобы наглядно разобраться в чем разница, сравним снимки обычного модуля и камеры с ИИ.
Фото сделаны при хорошем освещении в режиме авто HDR. На снимке с использованием ИИ можно выделить хорошую контрастность, четкость и сочность картинки.
При фотографировании в режиме “Портрет” ИИ сглаживает кожу лица и задает ему здоровый цвет.
При съемке природных видов и флоры в целом искусственный интеллект может сделать цвета насыщеннее, однако только при ярком солнечном свете.
Ночная съемка получается с меньшим количеством шумов и хорошо проработанным светом, который исходит от фонарей, ламп и т.д.
Камера с ИИ обладает рядом преимуществ: это нововведение наверняка поможет во многих ситуациях. На данный момент поддержку режима получили Xiaomi Mi 8, Mi Mix 2S, Pocophone F1, Redmi Note 6 Pro.
Фототест: как работает Искусственный Интеллект при съемке?
Что за смартфон?
Huawei nova 3 — более «молодежная» и доступная «сестра» флагманских P20 Pro и Mate 20 Pro. При этом в nova 3 используется тот же мощный топовый процессор Kirin 970 c отдельным ядром для искусственного интеллекта (аналогичный P20 Pro), отличная двойная основная камера на 24 МП + 16 МП с зумом и двойная фронталка 24 МП + 2 МП — также с поддержкой искусственного интеллекта и аппаратного боке.
В нашем обзоре мы уже отмечали, что это одна из лучших камер в среднем ценовом диапазоне. Все при ней: и двукратный зум без потерь, и качественные модули, и ночная съемка. В нашем материале — тест камеры nova 3 в самых разных условиях на протяжении 10 дней. Получилась ли замена фотоаппарату?
Жесткий свет
Для тестов камеры мы прилетели в солнечный Севастополь. Богатство местной природы позволит произвести съёмку как при ярком контрастном свете, так и в полной темноте, мы найдем пещеры, животных, насекомых. И сделаем несколько селфи — куда же без них!
Большинство фотографий в этом материале представлены в формате слайдеров. С одной стороны представлен снимок в стандартном режиме, а с другой — с включенным AI режимом.
В ночном снимке искусственный интеллект не поскупился на двойную экспозицию — слабее освещенный тротуар на «умной» фотографии высветлен и смотрится значительно ближе к тому, как это выглядело в реальности. Тот же трюк днем может пригодиться при контровом свете, например, если съемка ведется из помещения или из тени в сторону освещенной улицы.
Мягкий свет
Если камера видит зеленую растительность, нейросеть автоматически накладывает специфический фильтр, который повышает насыщенность цветов. Без AI режима сцена с сотрудником аэропорта, который поливает зеленую стену с живыми папоротниками на высоте третьего этажа смотрится не так впечатляюще.
То же касается неба — днем над морем часто бывает не очень живописная белесая дымка, из-за которой вода некрасиво сливается с небом. Но искусственный интеллект приходит на помощь. Обученный миллионами примеров алгоритм точно определяет, небо и линию горизонта и добавляет синевы, отдельно улучшая другие видимые объекты, например, зеленый лес ялтинских предгорий.
Впрочем, в пасмурную погоду это режим работает не хуже.
Как работает ИИ в камере
К слову, в отличие от моделей прошлого года, в nova 3 AI режим работает не только на основной, но и на фронтальной камере.
Благодаря точному распознаванию сцен, смартфон одним щелчком затвора делает снимки, которые потом можно спокойно выгружать в Инстаграм с хештегами #снятонаhuawei и #безобработки — и не нужны ни сторонние редакторы, ни даже встроенные фильтры самой соцсети, кадры и так смотрятся ярко и вызывают зависьть (и лайки).
Но, пожалуй, куда более практически значимой особенностью «умной» камеры Huawei nova 3 можно назвать ее способность делать отлично детализированные, четкие снимки даже при очень плохом освещении.
Тут в дело вступают несколько характеристик. Во-первых, двойная камера уже традиционно для Huawei состоит из основного цветного и второго черно-белого сенсора. Так как ч/б матрице не надо улавливать цветовые оттенки, она способна захватывать больше света, подробнее прорабатывая объекты в темноте с меньшим количеством шумов. Одновременно с этим камера делает и цветной кадр, а потом объединяет сырую информацию с двух цифровых матриц в одно резкое цветное изображение.
Но это еще не все — смартфоны Huawei 2018 года используют комбинацию оптической и «интеллектуальной» цифровой стабилизации изображения. Так называемая AIS (AI image stabilization) предугадывает (почти всегда корректно) движения объектов и направление тряски рук, чтобы снимки с длинной выдержкой меньше смазывались. Работу в темноте можно оценить на кадрах из Мраморной пещеры в горе Чатырдаг, в которой никогда не было естественного света.
А еще продвинутая стабилизация отлично проявляет себя при макросъемке на телеобъектив. С двукратным зумом эффект от всех движений камеры удваивается, и сделать качественный резкий кадр сложнее. AIS решает эту проблему, а искусственный интеллект параллельно увеличивает контрастность и проработку структуры, чтобы мелкие объекты вроде цветов и насекомых лучше выделялись из фона.
В официальной рознице Huawei nova 3 стоит 29 990 рублей с учетом целого вороха подарков для отпуска и продолжительной фото-охоты со смартфоном: внешнего аккумулятора с поддержкой быстрой зарядки Huawei Charge, фитнес-трекера Huawei Band 2 Pro и монопода-штатива.
Как искусственный интеллект меняет фотографию
Если вас заботит вопрос о том, насколько будет хороша камера вашего следующего смартфона, то стоит обратить внимание на то, что производитель говорит о наличии искусственного интеллекта (ИИ). Если отбросить шумиху и чистый маркетинг, то нет смысла отрицать, что эта технология подняла прогресс фотографии на новый уровень за последние несколько лет и нет никаких сомнений полагать, что темп прогресса замедлятся.
Аппаратное обеспечение тоже не стоит на месте, но самые впечатляющие достижения в области фотографии за последнее время случились на программном уровне, и это во многом благодаря ИИ, который даёт понять объективам куда их навёл пользователь.
Сервис Google Фото продемонстрировал, как искусственный интеллект умеет взаимодействовать с огромными массивами снимков. До его запуска Google использовала машинное обучение для категоризации изображений в Google+, эти навыки перекочевали в Google Фото. ИИ привел в порядок миллиарды неорганизованных пользовательских библиотек в порядок.
Искусственный интеллект Google Фото основывался на предыдущей разработки компании DNNresearch, которую поисковый гигант приобрел в 2013 году. Компания создала нейронную сеть с контролируемым обучением, она могла находить визуальные подсказки на уровне пикселей, чтобы идентифицировать категорию. Со временем алгоритм научился правильно распознавать изображения с помощью шаблонов, например, по снимку панды он обучился правильно идентифицировать другие фотографии панд. Он определяет, где черный мех, а где белый, а также пропорции животного. Используя эту информацию ИИ отличает панд от коров голштинской породы. Все эти «знания» классифицируются и заносятся в базу данных, они используются для поиска снимков по абстрактным терминам, таким, как «животное» или «завтрак».
Подобный алгоритм требует много времени и вычислительной мощности, поэтому вся работа выполняется на серверах компании после того, как снимок загружается в облако. Как только фотографии попадают в центр обработки данных (ЦОД) Google начинает использование алгоритма для анализа и маркировки. Примерно через год после запуска сервиса Google Фото компания Apple анонсировала функцию поиска фотографий, которая аналогичным образом задействовала нейронные сети, но в рамках обязательств компании по обеспечению конфиденциальности категоризация выполняется процессором устройства без отправки данных на сервера. Обычно этот процесс занимает несколько дней и происходит в фоновом режиме.
Эти компоненты используются в «вычислительной» фотографии, под этот термин попадают такие явления современного мобильного фото, как эффект глубины резкости портретных режимов и алгоритмы, позволяющие создавать качественные изображения в смартфонах Pixel. Apple использует эту технологию для управления портретным режимом в смартфонах с двумя камерами. Процессор обработки изображений iPhone идентифицирует в кадре человека с помощью одной камеры, а вторая камера создает карту глубины резкости, чтобы отделить объект и размыть фон.
Google остается очевидным лидером в области «вычислительной фотографии» и превосходные результаты камер всех трех поколений Pixel тому доказательство. Режим HDR+ использует сложный алгоритм, объединяющий несколько снимков с разным уровнем экспозиции в одну фотографию. Наличие машинного обучения означает, что система продолжает улучшаться со временем. Google обучил свой искусственный интеллект огромному набору данных с помощью сервиса Google Фото и эти знания помогают камере Pixel в подборе правильной экспозиции.
Говоря о преимуществе смартфонов Google стоит упомянуть режим Night Sight, который с помощью длинных выдержек и алгоритма машинного обучения показывает впечатляющие результаты на съемках в условиях плохого освещения. Эта функция наилучшим образом реализована в Pixel 3, потому что алгоритмы разрабатывались с учетом аппаратного обеспечения этого устройства. Несмотря на это, Google сделала режим Night Sight доступным для всего модельного ряда смартфонов Pixel, даже для самых первых, в которых отсутствует оптическая стабилизация. Это решение доказывает, что программное обеспечение выходит на первый план, когда дело доходит до мобильной фотографии.
Тем не менее, аппаратная составляющая все еще имеет значение, особенно в случаях, когда она умеет взаимодействовать с искусственным интеллектом. Отдельные процессоры обработки изображения были очень важны для качества мобильной фотографии, но похоже, что чипы с ИИ будут играть более важную роль в развитии цифровой фотографии. Huawei была первой компанией, представившей систему на кристалле (SoC) с искусственным интеллектом — Kirin 970, хотя Apple Bionic A11 в конечном итоге первым добрался до пользователей. Крупнейший поставщик процессоров Qualcomm не уделяет особого внимания машинному обучению. Google разработала свой собственный чип под названием Pixel Visual Core, который помогает решать задачи связанные с ИИ. Последняя версия Apple A12 Bionic оснащена восьмиядерным нейронным движком, который может выполнять задачи в среде машинного обучения Apple до 9 раз быстрее, чем A11. Apple сообщает, что это дает камере лучшее понимание фокальной плоскости, а это помогает создавать более реалистичную глубину резкости.
Эта технология важнее для эффективного и производительного машинного обучения прямо на устройстве. Google продемонстрировала впечатляющую работу, которая снижает нагрузку на обработку с ghvhom. ЦОД, в то же время нейронные движки (Neural Engine) становятся быстрее с каждым годом. На раннем этапе развития «вычислительной» фотографии у камер смартфонов, которые разрабатывались для работы в тандеме с машинным обучением, есть реальные преимущества. Из всех возможностей искусственного интеллекта, фотография — наиболее практичная область применения. Камера — неотъемлемая часть любого смартфона, а ИИ — отличный способ её улучшить.