что такое апскейл до 4k

Пропасть между разрешениями: контент против телевизоров [перевод]

что такое апскейл до 4k. Смотреть фото что такое апскейл до 4k. Смотреть картинку что такое апскейл до 4k. Картинка про что такое апскейл до 4k. Фото что такое апскейл до 4k

Если вы покупали телевизор в последние годы, то велика вероятность, что это 4K-модель. Сейчас по объемам продаж более 50% продаваемых телевизоров — это 4K-модели, а их доля в ценовом выражении и того выше. Даже удивительно, что сегодня, когда HD-телевизоров почти не осталось на прилавках, они умудряются сохранять относительно немалую долю в продажах. Ведь у большинства производителей в модельном ряду таких телевизоров практически нет.

Впервые 4K-телевизоры вышли на рынок шесть лет назад и с тех пор они медленно, но верно отгрызали у HD-моделей популярность — поначалу в сегменте телевизоров с большими диагоналями, захватывая все меньшие и меньшие размеры, не дойдя лишь до самых крошечных.

Относительный успех 4K-моделей на рынке доказывает, что напоминающая дебаты о курице и яйце ситуация с контентом и устройствами, для которых этот контент создается, не всегда мешает развитию рынка. Производители поставили на высокое разрешение, стремясь таким образом побороть снижение цен на рынке телевизоров, который и так приносил уже мало прибыли.

И как, оказалось ли 4K успешным? Для кого как. Но такие телевизоры точно задержатся на рынке и уйдут только с заменой на 8K-модели — или же когда люди в принципе перестанут покупать телевизоры (и перейдут исключительно на мобильное потребление контента). Такой вариант развития можно представить, но реалистичным — по крайней мере, в обозримом будущем — он не выглядит. Производители не бросят 4K и не уйдут обратно в производство HD-телевизоров — хотя так и случилось с 3D, которое забросили и вернулись к 2D.

Так когда же нам ожидать того, что весь транслируемый контент, или хотя бы его большинство, будет в 4K? Скорее всего, никогда. Если посчитать, с момента первого появления формата HDTV прошло около 20 лет, и до сих пор многие телевещательные компании транслируют в формате SD. Можно ли считать это проблемой? Проблемой «первого мира» — безусловно. Все зависит от того, насколько у вас большой телевизор, как далеко вы сидите, насколько вам важно пространственное разрешение, насколько у вас хорошее зрение, насколько хорошо ваш телевизор масштабирует контент под свое разрешение, насколько вам важны местные новости, да и от многих других факторов.

Давайте рассмотрим источники контента для телевизоров и соотнесем их с продажами телевизоров с различным разрешением.

что такое апскейл до 4k. Смотреть фото что такое апскейл до 4k. Смотреть картинку что такое апскейл до 4k. Картинка про что такое апскейл до 4k. Фото что такое апскейл до 4k

Телевидение

Эфирное телевидение успешно перешло с аналоговых трансляций на цифровые во всем развитом мире. И, конечно, причиной тому послужило, в первую очередь, вовсе не качество. Цифровое телевидение намного более эффективно использует узкую полосу пропускания в отведенном для телевидения диапазоне, и поэтому операторы могут впихнуть больше каналов в эфирное пространство. Узость полосы пропускания и жадность операторов — причина, по которой до сих пор существует так много каналов, вещающих в формате SD: HD занимает примерно в четыре раза больше места, а уж 4K. Вместо него можно запустить 4 HD-канала или 16 SD. Если, конечно, не использовать абсолютно безбожное сжатие, которое нивелирует все плюсы такого высокого разрешения.

И хоть сейчас нет ни одной эфирной телестанции, вещающей в 4K, есть несколько спутниковых, кабельных и онлайн-каналов, работающих в этом разрешении. На них приходится 0,2% среди кабельных и онлайн-каналов и 0,3% среди спутниковых.

Для телевещательных компаний просто нет никакой выгоды в вещании в 4K, поскольку затраты у них вырастут, а доходы — нет. Они могут обновлять техпроцессы раз в несколько лет (обычно где-то раз в декаду), но с экономической точки зрения ценная узкая полоса пропускания не изменилась даже с ростом популярности 4K.

Физические носители

Блестящие диски лучше подходят в роли источников 4K-контента. Хоть доступных в этом разрешении фильмов по-прежнему всего несколько сотен в каталоге из десятков тысяч картин, их доля в современных продажах намного значительнее. Хоть SD в формате DVD все еще доминирует на рынке физических носителей (из-за низкой стоимости, конечно), UHD Blu-ray занял достаточно серьезную нишу, на которую приходится около 10% продаж от рынка дисков в штуках — и заметно больше в цене.

что такое апскейл до 4k. Смотреть фото что такое апскейл до 4k. Смотреть картинку что такое апскейл до 4k. Картинка про что такое апскейл до 4k. Фото что такое апскейл до 4k

Стриминг

Конечно, физические носители сами по себе становятся нишевыми вне зависимости от разрешения, в то время как стриминг занял центральное место в поставке видеоконтента для современного зрителя. И здесь дела идут несколько иначе. К сожалению, Netflix не делится конкретной статистикой популярности фильмов и шоу. Мы не знаем, сколько просмотров идет в SD, HD или в 4K. Но знаем кое-что другое. Например, что у Netflix есть три вида подписок: на SD, HD и 4K-контент, — и что количество этих подписок соотносится как 28%, 42% и 30%, соответственно.

Правда, это не самый точный индикатор популярности 4K-контента, поскольку стандартная и премиальная подписка, помимо разрешения, предлагают пользователю и другие плюшки, которых нет в базовом тарифе — например, одновременный просмотр двух или четырех трансляций. Вполне может быть, что пользователи выбирали подписку именно по этому параметру, а не по разрешению. Наверняка сказать нельзя, пока Netflix не соблаговолит раскрыть больше информации.

И вот еще. Сейчас в базе Netflix есть 530 картин в формате 4K — немало, но все равно меньше 10% от общего каталога (в США). С другой стороны, весь остальной контент Netflix предлагает в HD. Доля 4K-контента будет расти, поскольку Netflix стандартно выпускает свои эксклюзивы в этом разрешении.

На Netflix, конечно, свет клином не сошелся. Есть Amazon Video, YouTube, Apple iTunes/Movies и другие сервисы. Ситуация у них примерно такая же — у кого-то 4K побольше, у кого-то поменьше.

И что дальше?

К чему нас все это привело? С момента появления стандарта HD образовалась пропасть между разрешением, в котором работали телевизоры, и большинством контента, который на эти телевизоры поставлялся. И за два десятка лет эту пропасть закрыть не удалось — наоборот, она становится все шире. Около половины владельцев 4K-телевизоров ни разу не смотрели на них 4K-контент. На деле большая часть видео, которое смотрят на 4K-телевизоров, даже не в HD-разрешении, а в SD.

И при этом на рынок вылезли 8K-телевизоры. Консервативные прогнозы говорят, что в этом году доля их продаж составит 0,2%. Звучит убедительно.

что такое апскейл до 4k. Смотреть фото что такое апскейл до 4k. Смотреть картинку что такое апскейл до 4k. Картинка про что такое апскейл до 4k. Фото что такое апскейл до 4k

Сейчас скорее всего 8K-контента даже меньше, чем было 4K-контента пять лет назад. И маловероятно, что в ближайшем будущем его станет резко больше. Телекомпании еле-еле начали как-то работать с 4K (с его распространением — производство контента еще под большим вопросом), да и сам Голливуд тоже тормозит.

На данный момент большинство фильмов, даже снятых в более высоком разрешении, выпускаются в финальном варианте в разрешении 2K, а для дистрибуции в 4K подвергаются апскейлингу. Почти наверняка в будущем не появится дискового формата для 8K-фильмов. Скорее всего, лучшим местом, где можно будет найти такой контент, станет Netflix — они были практически первыми, кто вывел 4K на широкий рынок.

Они не встречаются с трудностями, стоящими на пути телевещательных компаний — им не нужно платить за полосы пропускания. За них платят пользователи. А для 8K-контента лучше добыть себе максимально широкую полосу. Скачивание контента постепенно уступает место стримингу, и для нормальной передачи всех этих пикселей понадобятся 60–100 Мбит/сек.

Пришла пора свыкнуться с мыслью, что теперь телевизор — это дисплей, который может больше, чем от него требует воспроизводимый на нем контент. Другими словами, телевизор — не тот элемент, который может негативно повлиять на просмотр. Пропасть между разрешениями есть и она никуда не денется. Привыкайте.

Источник

Как Full HD превращают в 4К, и может ли это выглядеть хорошо

Рассказываем про «умный» апскейлинг разрешения в играх.

Материал подготовлен при поддержке MSI

Технологии развиваются неравномерно. Например, визуальные эффекты в играх могут сделать скачок, из-за которого даже самое мощное «железо» перестаёт справляться. Или производители консолей и видеокарт задают настолько высокие стандарты качества, что разработчикам приходится догонять прогресс.

Геймерам приходится покупать и обновлять игровые системы, чтобы не остаться отрезанными от последних достижений индустрии. Но есть технология, которая может заставить графику и железо двигаться навстречу друг другу, а не бежать наперегонки. Речь об апскейлинге — это масштабирование разрешения при помощи нейросетей.

В самом по себе масштабировании разрешения нет ничего инновационного — существует несколько десятков алгоритмов, которые способны «в реальном времени» увеличивать или снижать разрешение изображения, подгоняя его под возможности экрана.

Апскейлинг может выполняться на стороне источника (компьютером, консолью или Blu-Ray плеером), на стороне монитора или телевизора и даже некоторыми специальными кабелями.

Чаще всего конвертация происходит всё же устройством отображения: источник отправляет кадр в заданном разрешении, а тем, чтобы он занимал всю площадь экрана и минимально терял в качестве, занимается уже монитор. Одна из самых распространённых технологий сегодня — бикубическое масштабирование, алгоритм, который увеличивает цифровое изображение попиксельно. Он достраивает недостающие точках, сверяясь с информацией о 16 окружающих каждую из них пикселях.

Другие алгоритмы могут использовать для сверки от одного до 36 пикселей — обычно производители не указывают, как именно их монитор или телевизор «растягивает» изображение и не дают пользователю вариантов выбора.

Но это не всегда оптимальный вариант. Обратите внимание на сравнение алгоритмов в пиксельной игре (скриншот выше) и при апскейлинге фотографии (скриншот ниже). Там, где присутствует очевидная пиксельная сетка, лучше всего справляется самый примитивный, но с более сложными изображениями он создаёт «лесенки», которых удаётся избежать при большей выборке смежных точек.

Многие современные телевизоры используют временной апскейлинг: перед выводом изображения система накапливает кадры в буфере и дорисовывает целевому кадру недостающие пиксели — учитывая при этом, как изображение будет меняться в динамике.

Это позволяет повысить чёткость и плавность изображения в неинтерактивном контенте и снизить количество артефактов., Но для игр это не подходит, так как создаёт дополнительную задержку ввода — изображение выводится на экран с запозданием, делая управление неотзывчивым.

Продвинутые «умные» телевизоры и некоторые ТВ-приставки вроде NVIDIA Shield предлагают «умный» апскейлинг изображения.

Каким бы умным ни был телевизор, в «игровом» режиме все технологии для улучшения картинки отключаются, в том числе, увеличение разрешения. Если пренебречь рекомендациями производителя и оставить «улучшайзеры», задержка ввода может возрасти до нескольких сотен миллисекунд, что создаст дискомфорт из-за задержки ввода даже в самых размеренных играх.

Уже больше пяти лет игры в 4К — мечта и цель для многих геймеров. Но «грубой силой» производительного железа покорить эту высоту не получилось — сменилось уже три поколения видеокарт и полтора поколения консолей, но компромиссов избежать всё ещё не получается.

Консоли нового поколения чаще всего не «вытягивают» полное 4К-разрешение 2160р даже при 30 fps и далеко не максимальных настройках графических эффектов. И даже флагманские видеокарты, по цене сравнимые с недорогой иномаркой, только в 2021 году достигли достаточной мощности, чтобы гарантировать 40-60 кадров в секунду в нативном 4К при максимальных настройках с трассировкой лучей.

Но если не получается добиться «честного 4К», приходится искать способы создать достаточно убедительную иллюзию.

На консолях прошлого и текущего поколений большинство игр работают в разрешении значительно ниже 4096 на 2160 пикселей. чтобы изображение достаточно чётко выглядело на 4К-телевизорах, применяется шахматный рендеринг.

Это не совсем апскейлинг — при таком подходе изображение изначально рендерится под 4К, но с пропусками по одному или несколько пикселей, что напоминает шахматную доску. На каждом кадре пропуски располагаются в разных местах, чтобы алгоритм мог заполнять недостающие пиксели информацией с предыдущих кадров.

Шахматный рендеринг хорош тем, что эффективно снижает нагрузку на систему и не требует дополнительных аппаратных средств. На ПК шахматный рендеринг обычно не применяется, однако на многих более-менее актуальных видеокартах доступен режим апскейлинга с похожим эффектом.

Integer Scaling или «целочисленное масштабирование» производится видеокартой, а не монитором, не добавляет значимой или видимой задержки. Алгоритм дробит каждый пиксель изображения в низком разрешении на несколько суб-пикселей одинакового цвета, благодаря чему чёткость повышается без размытия и искажений.

Целочисленное масштабирование доступно на следующих видеокартах:

Такой апскейлинг подходит для игр с пиксельной графикой. Кроме того, в старых тайтлах с фиксированным низким разрешением ассетов, например, в «Героях 3», интерфейс и карта будут иметь привычные пропорции.

Правда, по краям объектов на экране могут появляться «лесенки», а цветовые переходы становятся резкими.

Для игр только две большие компании предлагают технологии апскейлинга: DLSS от NVIDIA и FSR от AMD (если не считать любительских наработок). Принцип работы у них разный, но обе задействуют нейросети в дополнение к стандартным алгоритмам.

Использовать их можно только в самих приложениях и играх (а не на уровне экрана или видеокарты). В 2021 году DLSS от NVIDIA интегрировали в движок Unreal Engine 4, а в будущем собираются добавить в Unity и UE5. AMD FidelityFX Super Resolution (FSR) стала доступна рядовым пользователям только в конце июня 2021 года и пока поддерживается лишь восьми играх. Алгоритм анализирует объекты на каждом отдельном кадре, увеличивает разрешение и применяет различные эффекты, включая сглаживание, увеличение резкости.

У FSR нет временного компонента: система не учитывает ни предыдущие кадры, ни положение объектов на будущих кадрах с учётом векторов, поэтому работает система неидеально и иногда допускает артефакты. Но зато и никаких особенно строгих системных требований у FSR нет: подходят видеокарты NVIDIA GeForce GTX 10-й серии и новее, AMD Radeon RX 460 и новее и даже графические ускорители от Intel.

Использование FSR снижает нагрузку на видеокарту от 40% до 60% в зависимости от разрешения и режима. В будущем технология может появиться и на консолях нового поколения, которые используют графическую архитектуру AMD.

NVIDIA DLSS (Deep Learning Super Sampling) устроена сложнее и обеспечивает более высокое качество масштабирования изображения, но и требования у неё намного выше. Технология опирается на специальные тензорные ядра, предназначенные для быстрого обсчёта матриц нейросетей, которыми оснащаются только видеокарты серий RTX 20 и RTX 30.

Согласно статистике Steam, такие карты есть примерно у 17% пользователей (это довольно много). В Steam порядка 120 миллионов учётных записей, то есть карты RTX используют порядка 20,5 миллионов человек. Однако подавляющим большинством этих пользователей назвать тяжело, поэтому не все разработчики считают DLSS необходимостью.

В DLSS первой версии нейросеть нужно было обучать на конкретной игре (это сотни часов), при этом рядовые геймеры и игровые журналисты жаловались на мерцание, низкую чёткость и другие проблемы.

Однако в DLSS 2.0 многое изменилось. Технология анализирует прошлые кадры и определяет векторы движения объектов в поле зрения, чтобы корректно обрабатывать динамичные сцены — без мерцания и артефактов.

В поддерживаемых играх прирост производительности с DLSS 2.0 достигает от 40% до 120% в зависимости от игры. DLSS поддерживается в большинстве крупных релизов: владельцев видеокарт GeForce RTX всё больше, вместе с этим растёт число потребителей новых технологий.

FSR и DLSS — не все технологии, которые снижают нагрузку на железо и повышают производительность игр с минимальным влиянием на качество графики. Microsoft активно тестирует продвинутую систему работы с памятью DirectStorage, на основе которой NVIDIA разрабатывает собственную RTX IO. Она ускоряют загрузку, упрощает обращение игры к ассетам и «агрессивнее» сжимает файлы на диске.

Сами графические API вроде DirectX 12 Ultimate и Vulkan интегрируют всё больше инструментов, чтобы оптимизировать производительность и снизить системные требования. Например, Variable rate shading помогает разработчикам разбивать отображаемое на экране пространство на зоны и рендерить их с разной степенью детализации. А Sampler feedback повышает производительность, позволяя игре повторно использовать уже отрендеренные текстуры или обходить рендеринг поверхностей за кадром, а также быстрее загружать текстуры.

Источник

Все об искусственном интеллекте в телевизорах: апскейлинг, улучшение яркости, балансировка цвета и прокачка звука

Вряд ли мы сильно ошибемся, назвав искусственный интеллект (далее ИИ) главным трендом последних лет. Никого уже не удивить возможностями ИИ в камерах телефонов, дипфейками, голосовыми ассистентами или «умными» лампочками. Одной из самых быстро-развивающихся областей для подобных технологий неожиданно для многих стали телевизоры. Впрочем, называть это полноценным ИИ и в 36-й раз вспоминать Скайнет не стоит, пока это не столько интеллект, сколько комплекс узконаправленных хорошо натренированных алгоритмов для улучшения изображения или звука. Просто, искусственный интеллект звучит одновременно круче и понятнее.

что такое апскейл до 4k. Смотреть фото что такое апскейл до 4k. Смотреть картинку что такое апскейл до 4k. Картинка про что такое апскейл до 4k. Фото что такое апскейл до 4k

Как работает ИИ в телевизорах и что умеет?

Многие современные телевизоры ― это как бы уже и не совсем телевизоры. Когда на борту имеется процессор, оперативная память и небольшое хранилище, это уже больше похоже на компьютер. Однако с внедрением ИИ большинство крупных производителей позаботились о том, что для улучшения картинки в телевизоре использовался отдельный предназначенный для этого процессор. LG использует процессоры серии Alpha, у Samsung стоят чипы Crystal и Quantum, у Sony X, а у Phillips ― P5. Дальше мы разберемся с преимуществами и недостатками самых популярных чипов, а пока вернемся к вопросу, что именно и как они улучшают.

что такое апскейл до 4k. Смотреть фото что такое апскейл до 4k. Смотреть картинку что такое апскейл до 4k. Картинка про что такое апскейл до 4k. Фото что такое апскейл до 4k

Развитие биг дата и машинного обучения открыло перед производителями новые возможности для автоматического улучшения изображения. Процессор способен определять, что именно происходит на экране, после чего увеличивать яркость или контрастность всего изображения, локально подсвечивать или затемнять определенные участки изображения, увеличивать разрешение и все в таком духе. И это лишь на самом базовом уровне. К примеру флагманский чипсет LG Alpha 9 умеет анализировать условия окружающей среды, подстраивая под него яркость и контрастность, а процессоры Quantum от Samsung весьма хороши в апскейлинге, вплоть до 8K.

Подробнее о том, как именно ИИ улучшает звук и картинку

что такое апскейл до 4k. Смотреть фото что такое апскейл до 4k. Смотреть картинку что такое апскейл до 4k. Картинка про что такое апскейл до 4k. Фото что такое апскейл до 4k

Мощность флагманских процессоров вроде LG α9 и Philips P5 позволяет им в режиме реального времени анализировать и улучшать все изображение или какие-то отдельные его части. Сначала процессор определяет, что именно сейчас выводится на экран. Например, пейзаж с закатом над Токио, рвущие к финишу гоночные машины, пара дерущихся носорогов или сияющие бицепсы Дуэйна Джонсона. Алгоритмы тренировали, прогоняя через сотни тысяч изображений, чтобы они могли их лучше понимать, на что смотрят (животные, спорт, пейзажи и т. д.), а потом обрабатывать изображение согласно этой классификации. В общем-то, в этом нет никакой фантастики, похожие алгоритмы распознавания мы не первый год используем в камерах смартфонов.

Собственно после этого в дело и вступают алгоритмы подстройки, которые выбирают оптимальные показатели для шумоподавления, повышения детализации, усиления резкости, подстройки яркости, гаммы и т. д. У каждого производителя эти «улучшайзеры» могут по разному называться и отличаться в деталях, но на самом деле все сводится к нескольким схожим между собой процессам, которые проходят в несколько этапов.

Апскейлинг

что такое апскейл до 4k. Смотреть фото что такое апскейл до 4k. Смотреть картинку что такое апскейл до 4k. Картинка про что такое апскейл до 4k. Фото что такое апскейл до 4k

За малопонятным термином апскейлинг на самом деле прячется довольно простой по своей сути процесс искусственного масштабирования изображения. Чтобы купив телевизор с 4K вы могли нормально посмотреть любимый фильм или сериал в этом самом 4K. Иначе, зачем вообще нужен такой телевизор? Идея апскейлинга не нова, вы могли встретить ее в некоторых DVD-плеерах от BBK, консоли Sony PlayStation 3 и многочисленных шпионских боевиках, в которых герой смотрит на фотографию с камеры наблюдения с гигантскими пикселями, потом говорит «компьютер, увеличить» и нам сразу же становятся видны черты лица злодея на фото. Первые 4K-телевизоры создавались без ИИ-процессоров и в этом плане тоже не блистали, просто масштабируя SD-ролики на всю площадь матрицы с помощью простого увеличения пикселей.

Технология апскейлинга в современных ТВ позволяет нейросети не только растягивать картинку, но и дорисовывать недостающие пиксели, сглаживать неровности, убрать лишний шум и размытость объектов, которые находятся в движении. Конечный результат в одних случаях смотрится практически идеально, в других терпимо. Зависит это как от конкретного телевизора и процессора, так и от типа контента. Поэтому многие производители оптимизируют алгоритмы масштабирования под разные типы контента (кино, спорт, игры), чтобы получить наилучший результат при просмотре того или иного контента. От себя добавим, что во время тестов некстген консолей мы сравнивали наитивное 4K разрешение в Xbox Series X с апскейлом до 4K в младшей Xbox Series S. И вот разница была видна только если подойти к телевизору ближе, чем на метр. Сравнивали мы на панели Samsung QE-55Q77TA, а играли в Gears 5 и Battlefield V.

Источник

Upscale: что это такое и где применяется

Авторизуйтесь

Upscale: что это такое и где применяется

что такое апскейл до 4k. Смотреть фото что такое апскейл до 4k. Смотреть картинку что такое апскейл до 4k. Картинка про что такое апскейл до 4k. Фото что такое апскейл до 4k

Директор по технологии IVI

Технологии не стоят на месте. Ещё 20 лет назад контент в HD-качестве был пределом наших мечтаний. А сегодня телевизор с поддержкой 4K — норма. Но что делать с фильмами и сериалами, снятыми в прошлом столетии? Разбираемся, как улучшают качество изображения, с какими трудностями сталкиваются и к каким результатам приходят.

Что такое upscale?

Upscale — это перевод видео из меньшего разрешения в большее: из HD — в Full HD, из Full HD — в Ultra HD и так далее. Это ремастеринг (то есть обработка и улучшение) картинки кадр за кадром. Вручную провести его невозможно, поэтому процессом руководят алгоритмы, в том числе нейросети.

Сейчас есть ряд моделей, которые могут быстро улучшить качество изображения. Данными для их обучения служат уже существующие 4K-фильмы. Специалисты берут видеофрагмент нужного разрешения (допустим, 4K) и снижают его качество до 1080р. А затем на большом датасете из таких пар — истинные 4K и 1080р — модель учится менять разрешение кадра.

В IVI upscale работает в рамках собственной системы подготовки контента к стримингу. Она написана на Python, первая её версия появилась ещё в 2009 году и с тех пор регулярно обновляется. Её задача — получить видеофайл и преобразовать его в разные форматы, доступные на всех типах устройств, которые поддерживает IVI.

3–5 декабря, Онлайн, Беcплатно

Все, что связано с кодированием, в системе находится в docker-контейнерах. Это позволяет избежать сложностей с настройкой инфраструктуры, сборкой FFmpeg, версиями. В системе есть API, админка для разработчиков, админка для операторов кодирования, управление контейнерами и оркестрация.

Чтобы преобразовать видео в другой формат, сначала проверяют битрейт, пропорции, количество кадров в секунду, звуковые дорожки и другие параметры оригинала, который прислал правообладатель. Потом происходит кодирование оригинала в нужный битрейт, упаковка в нужный контейнер (иногда с шифрованием), отправка на origin-сервер, контроль качества и запуск контента на всех платформах, которые поддерживает IVI.

В эту систему входит и модуль upscale. Он написан на Python, модель обучалась на 30 000 изображений. На его разработку ушло полгода, но ещё больше — на предварительные исследования и метания. Сейчас этот модуль работает так: оператор создаёт новую задачу на кодирование, выбирает тип преобразования и запускает отдельный контейнер, внутри которого выполняется процедура upscale. Файлы-результаты загружаются на специальные серверы для хранения оригиналов, откуда через CDN они становятся доступны пользователям.

Сложности upscale

Как и у любой технологии, у upscale есть свои ограничения.

Например, из видео хорошего качества с разрешением 1080р можно восстановить 4K. Сложности возникают на этапе ремастеринга более старых фильмов — производства 90-х годов и раньше. Особенно тяжело работать с картинами, снятыми на плохую пленку и впоследствии оцифрованными. Это связано с тем, что любой дефект — будь то пятно, волос или блик — в «искусственном» 4K будет гиперболизирован за счёт особенностей обучения модели.

Так появляется необходимость искать дефекты и избавляться от них. Существуют алгоритмы поиска и классификации дефектов и последующей их ликвидации. Один из методов обучения моделей по ликвидации дефектов — подход, используемый для обучения моделей upscale. На изображения без дефектов наносятся дефекты. Затем пары (изображение с дефектом, изображение без него) используются для обучения.

К сожалению, полностью автоматизировать данный процесс ещё не получилось, поэтому пока что его результаты модерируют люди.

Можно ли отличить истинный 4K от upscale?

Не так давно в IVI проводили слепое тестирование, чтобы проверить, смогут ли зрители отличить видео в оригинальном 4К от видео, которое прошло upscale до 4К. Взяли видео в изначальном 4K, ухудшили его качество до 1080р, а потом провели upscale и повысили качество снова до 4K. Показали оба варианта выборке в 300 человек.

В результате исследования истинный 4K смогли определить только люди, которые профессионально занимаются монтажом, графикой и операторской деятельностью. Остальные зрители поделились ровно пополам: кому-то понравился исходник, кому-то — upscale. При этом абсолютное большинство поставили высокую оценку качеству обоих видео (от 93 до 95 из 100) и сказали, что не заметили в анализируемых роликах никаких графических помех или шумов. С помощью этого эксперимента мы убедились, что алгоритмы, которыми мы пользуемся, работают качественно.

Все ли фильмы можно апскейлить?

В теории, конечно, можно всё. Но это попросту не имеет смысла: дорого и долго. Фильмы, которые проходят upscale, тщательно отбирают. Обычно это популярные, зрелищные кинокартины с экшен-сценами.

Источник

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *