апскейлинг что это такое
Какие бывают функции улучшения изображения в телевизорах
Содержание
Содержание
Телевизоры последних поколений предлагают насыщенную, сочную и яркую картинку. Все это стало возможным благодаря использованию ряда технологий. Мы расскажем о каждой из них подробно, а также разберем путаницу в маркетинговых названиях.
Технология HDR
Данную аббревиатуру вы нередко встречаете в характеристиках телевизора и слышите в рекламе. Это одна из самых распространенных и важных технологий, которая дает ощутимое улучшение качества изображения.
HDR (High Dynamic Range) — стал дальнейшим развитием SDR (Standard Dynamic Range). Ранее из-за технологических ограничений в передаче информации данные урезались, поэтому изображение на телевизоре теряло в сочности, насыщенности и других деталях. Сейчас же с появлением HDMI 2.0 передача больших объемов данных не проблема, поэтому видеоконтент можно передавать практически без сжатия.
Расширенный диапазон оперирует тремя основными характеристиками изображения:
Другое принципиальное отличие последних версий HDR — наличие динамических метаданных. В них зашифрованы значения всех этих параметров, но не для фильма в целом,
а для каждого отдельного кадра и даже участка. HDR фактически «подкручивает» яркость, контрастность и цветопередачу в каждый отдельный момент видео так, чтобы картинка была максимально приближенной к оригиналу. Однако здесь есть несколько нюансов.
При слабой яркости эффект HDR практически незаметен, 8-мибитные матрицы не обеспечивают достаточную цветопередачу, а коннекторы ниже HDMI 2.0 не обладают достаточной пропускной способностью. Да, чтобы смотреть ТВ в HDR необходимо не только устройство с поддержкой этого стандарта, но и соответствующий контент. Обычно полную поддержку HDR имеют фильмы и сериалы со стриминговых сервисов, Blu-Ray-диски и некоторые игры, например, Horizon Zero Dawn или Metro Exodus.
Главная проблема — как узнать, действительно ли ваш телевизор поддерживает эту технологию? Маркетологи придумали десятки названий. Например, HDR+ и HDR Effect —
это маркетинговые названия имитации технологии HDR. Такие телевизоры лишь приближенно имитируют повышенное качество изображения.
ЕСли вам нужен настоящий HDR, то обращайте внимание именно на поддержку стандартов:
Если в технических характеристиках ТВ есть упоминание одного из этих четырех стандартов, то устройство способно воспроизводить видео с HDR. Главная сложность — найти соответствующий контент.
OLED-технология
Появление OLED действительно можно считать прорывом на фоне классической LED-подсветки, причем с ощутимым улучшением картинки. Обычные телевизоры со светодиодной подсветкой делятся на Edge LED и Direct LED. Первая предполагает размещение светодиодов по периметру, что приводит к появлению засветов по бокам. Вторая уже имеет светодиоды по всей площади, но все еще не способна обеспечить насыщенный черный цвет.
Принципиальное отличие OLED заключается в том, что в конструкции используются органические светодиоды, каждый из которых способен сам генерировать свет. Благодаря этому пропадает необходимость в использовании подсветки позади и других слоев. OLED-телевизоры способны контролировать яркость каждого отдельного пикселя, что делает картинку более контрастной, а черный цвет — супернасыщенным. Другое достоинство — такие модели более тонкие.
Телевизоры с OLED стоят ощутимо дороже, а главной проблемой является постепенное выгорание пикселей. Однако эта технология никакая не маркетинговая уловка, а самый настоящий прогресс в качестве.
Технология Motion Smoothing
У каждого бренда свое название этой технологи: Samsung Motion Rate, Sony MotionFlow, LG TruMotion. Несмотря на разные названия, принцип работы практически всегда идентичный. Motion Smoothing способна как улучшить изображение, так и ухудшить, поэтому ее использование актуально не для всех типов контента.
Видео может иметь частоту 24, 30 или 60 кадров в секунду в зависимости от источника. Однако телевизоры обладают частотой обновления экрана в 50, 60 и 120 Гц. Чтобы устранить несоответствие частоты обновления экрана и источника видео, применяется технология Motion Smoothing. Есть несколько алгоритмов ее работы:
Black Frame Insertions (BFI). Метод заключается в добавлении кадров с черным фоном. Это позволяет подтянуть частоту, уменьшает эффект размытия, но изображение становится менее ярким из-за мелькания черных кадров.
Дублирование. Вместо недостающих кадров алгоритм выставляет повторы в необходимом количестве. Но из-за этой методики изображение иногда ненадолго зависает или, наоборот, быстро прыгает.
Интерполяция. Процессор анализирует два соседних кадра и формирует на их основе промежуточный. Это самая продвинутая методика, но именно она приводит к эффекту «мыльной оперы», когда изображение теряет в четкости. Также такие алгоритмы не всегда корректно отрисовывают некоторые кадры.
Включать Motion Smoothing рекомендуется в сценах с постоянной динамикой. Это могут быть гонки, футбол, баскетбол и другие виды спорта. При просмотре фильмов или сериалов функцию лучше отключить, чтобы повысить четкость изображения. Практически в каждом телевизоре это можно сделать через стандартное меню.
Технология апскейлинга (Upscaling)
Если по-русски, то это обычное масштабирование. Большинство контента все еще поставляется в форматах HD (720p) и Full-HD (1080p). Соответственно, для просмотра такого видео на 4К или 8К-телевизорах картинку придется растягивать и дополнять данными. Чем больше разница в разрешении, тем больше пикселей придется дорисовать.
Самый простой алгоритм решения этой проблемы — выполнить дублирование пикселя и заполнить «клонами» недостающее пространство. Однако это дает посредственную картинку, которая получается размытой. Алгоритмы бикубической и билинейной интерполяции дают лучший результат, но изображение все равно получается неточным.
В большинстве телевизоров, способных делать апскейлинг до 4К и выше, используется ИИ на базе нейросетей. У каждого разработчика не только свой алгоритм, но и собственная база изображений в разных разрешениях, которые используются нейросетью для анализа.
Функция апскейлинга незаменима для 4К и 8К телевизоров, но ее эффективность можно узнать только на практике, поскольку каждый производитель использует свои процессоры и технологии. Однако применение ИИ однозначно дает лучший результат, чем ранее описанные классические методы.
Цифровое шумоподавление
Даже «цифра» подвержена помехам, например, белые пятна, расплывчатость картинки, «соль и перец». Если вы столкнулись с этими проблемами, то стоит поискать функцию шумоподавления. В каждом ТВ она может иметь свое маркетинговое название, однако в основе обычно используются идентичные алгоритмы с некоторыми доработками.
2D DNR (Digital Noise Reduction). Простейший метод устранения шумов, который анализирует пиксели в одном из двух направлений — пространственном или временном. В первом случае анализируются пиксели одного кадра, а во втором пиксели сравниваются с двумя соседними. Используется компенсационный или адаптивный методы фильтрации. Недостаток 2D DNR — расплывчатость изображения и возможная потеря в цветности.
3D DNR использует и пространственный и временной анализ пикселей, что позволяет эффективно удалять помехи и не терять в качестве изображения. Алгоритм учитывает и вектор движения, и положение пикселей в кадре. Поскольку большинство помех не статические, то они легко устраняются.
Каким бы не было название функции шумоподавления, обычно в ее основе лежит 2D или 3D DNR. Включать шумоподавление рекомендуется только для контента в низком качестве. Например, если вы смотрите аналоговое или не самое качественное цифровое ТВ. Для Blu-Ray или контента из стриминговых сервисов шумоподавление лучше отключить, поскольку картинка может потерять в четкости.
Динамический контраст
Часть телевизоров предлагает и такую функцию. Суть заключается в том, что ТВ автоматически подбирает уровень контрастности в зависимости от изображения, как правило, путем регулировки отдельных светодиодов подсветки. Соответственно, динамический контраст работает лучше всего на Direct LED с большим количеством светодиодов, а также на OLED телевизорах, где можно контролировать буквально любой пиксель.
Однако многие пользователи утверждают, что динамическая контрастность по факту ухудшает качество картинки. Проблема в том, что освещенность комнаты остается неизменной, поэтому оптимальный уровень контрастности следует подбирать именно под окружение, а не постоянно менять его в зависимости от сцены. К тому же, увеличение яркости белого обычно отрицательно сказывается на насыщенности черного. Иногда изменение подсветки просто не успевает под смену кадров, что также вносит дискомфорт при просмотре.
Локальное затенение и микродимминг
Еще одна пара технологий, которые частично связаны с динамическим контрастом и между собой. Локальное затенение аналогично динамической контрастности регулирует уровень подсветки отдельных светодиодов/пикселей. Это позволяет делать черный цвет более насыщенным. Эффект напрямую зависит от плотности и возможностей светодиодов.
Технология микродиминга (Samsung — Micro Dimming, Panasonic и Toshiba — Local Dimming, LG — Edge) — это фактически то же самое, что и локальное затенение. Отличия лишь в размере массива светодиодов, яркость которых можно менять. Эффективность зависит от динамичности видео и уровня освещенности помещения.
Теперь вы точно знаете, какие технологии принесут вам пользу, а какие — нет. Поделитесь в комментариях своим опытом использования функций улучшения изображния на ТВ.
Как Full HD превращают в 4К, и может ли это выглядеть хорошо
Рассказываем про «умный» апскейлинг разрешения в играх.
Материал подготовлен при поддержке MSI
Технологии развиваются неравномерно. Например, визуальные эффекты в играх могут сделать скачок, из-за которого даже самое мощное «железо» перестаёт справляться. Или производители консолей и видеокарт задают настолько высокие стандарты качества, что разработчикам приходится догонять прогресс.
Геймерам приходится покупать и обновлять игровые системы, чтобы не остаться отрезанными от последних достижений индустрии. Но есть технология, которая может заставить графику и железо двигаться навстречу друг другу, а не бежать наперегонки. Речь об апскейлинге — это масштабирование разрешения при помощи нейросетей.
В самом по себе масштабировании разрешения нет ничего инновационного — существует несколько десятков алгоритмов, которые способны «в реальном времени» увеличивать или снижать разрешение изображения, подгоняя его под возможности экрана.
Апскейлинг может выполняться на стороне источника (компьютером, консолью или Blu-Ray плеером), на стороне монитора или телевизора и даже некоторыми специальными кабелями.
Чаще всего конвертация происходит всё же устройством отображения: источник отправляет кадр в заданном разрешении, а тем, чтобы он занимал всю площадь экрана и минимально терял в качестве, занимается уже монитор. Одна из самых распространённых технологий сегодня — бикубическое масштабирование, алгоритм, который увеличивает цифровое изображение попиксельно. Он достраивает недостающие точках, сверяясь с информацией о 16 окружающих каждую из них пикселях.
Другие алгоритмы могут использовать для сверки от одного до 36 пикселей — обычно производители не указывают, как именно их монитор или телевизор «растягивает» изображение и не дают пользователю вариантов выбора.
Но это не всегда оптимальный вариант. Обратите внимание на сравнение алгоритмов в пиксельной игре (скриншот выше) и при апскейлинге фотографии (скриншот ниже). Там, где присутствует очевидная пиксельная сетка, лучше всего справляется самый примитивный, но с более сложными изображениями он создаёт «лесенки», которых удаётся избежать при большей выборке смежных точек.
Многие современные телевизоры используют временной апскейлинг: перед выводом изображения система накапливает кадры в буфере и дорисовывает целевому кадру недостающие пиксели — учитывая при этом, как изображение будет меняться в динамике.
Это позволяет повысить чёткость и плавность изображения в неинтерактивном контенте и снизить количество артефактов., Но для игр это не подходит, так как создаёт дополнительную задержку ввода — изображение выводится на экран с запозданием, делая управление неотзывчивым.
Продвинутые «умные» телевизоры и некоторые ТВ-приставки вроде NVIDIA Shield предлагают «умный» апскейлинг изображения.
Каким бы умным ни был телевизор, в «игровом» режиме все технологии для улучшения картинки отключаются, в том числе, увеличение разрешения. Если пренебречь рекомендациями производителя и оставить «улучшайзеры», задержка ввода может возрасти до нескольких сотен миллисекунд, что создаст дискомфорт из-за задержки ввода даже в самых размеренных играх.
Уже больше пяти лет игры в 4К — мечта и цель для многих геймеров. Но «грубой силой» производительного железа покорить эту высоту не получилось — сменилось уже три поколения видеокарт и полтора поколения консолей, но компромиссов избежать всё ещё не получается.
Консоли нового поколения чаще всего не «вытягивают» полное 4К-разрешение 2160р даже при 30 fps и далеко не максимальных настройках графических эффектов. И даже флагманские видеокарты, по цене сравнимые с недорогой иномаркой, только в 2021 году достигли достаточной мощности, чтобы гарантировать 40-60 кадров в секунду в нативном 4К при максимальных настройках с трассировкой лучей.
Но если не получается добиться «честного 4К», приходится искать способы создать достаточно убедительную иллюзию.
На консолях прошлого и текущего поколений большинство игр работают в разрешении значительно ниже 4096 на 2160 пикселей. чтобы изображение достаточно чётко выглядело на 4К-телевизорах, применяется шахматный рендеринг.
Это не совсем апскейлинг — при таком подходе изображение изначально рендерится под 4К, но с пропусками по одному или несколько пикселей, что напоминает шахматную доску. На каждом кадре пропуски располагаются в разных местах, чтобы алгоритм мог заполнять недостающие пиксели информацией с предыдущих кадров.
Шахматный рендеринг хорош тем, что эффективно снижает нагрузку на систему и не требует дополнительных аппаратных средств. На ПК шахматный рендеринг обычно не применяется, однако на многих более-менее актуальных видеокартах доступен режим апскейлинга с похожим эффектом.
Integer Scaling или «целочисленное масштабирование» производится видеокартой, а не монитором, не добавляет значимой или видимой задержки. Алгоритм дробит каждый пиксель изображения в низком разрешении на несколько суб-пикселей одинакового цвета, благодаря чему чёткость повышается без размытия и искажений.
Целочисленное масштабирование доступно на следующих видеокартах:
Такой апскейлинг подходит для игр с пиксельной графикой. Кроме того, в старых тайтлах с фиксированным низким разрешением ассетов, например, в «Героях 3», интерфейс и карта будут иметь привычные пропорции.
Правда, по краям объектов на экране могут появляться «лесенки», а цветовые переходы становятся резкими.
Для игр только две большие компании предлагают технологии апскейлинга: DLSS от NVIDIA и FSR от AMD (если не считать любительских наработок). Принцип работы у них разный, но обе задействуют нейросети в дополнение к стандартным алгоритмам.
Использовать их можно только в самих приложениях и играх (а не на уровне экрана или видеокарты). В 2021 году DLSS от NVIDIA интегрировали в движок Unreal Engine 4, а в будущем собираются добавить в Unity и UE5. AMD FidelityFX Super Resolution (FSR) стала доступна рядовым пользователям только в конце июня 2021 года и пока поддерживается лишь восьми играх. Алгоритм анализирует объекты на каждом отдельном кадре, увеличивает разрешение и применяет различные эффекты, включая сглаживание, увеличение резкости.
У FSR нет временного компонента: система не учитывает ни предыдущие кадры, ни положение объектов на будущих кадрах с учётом векторов, поэтому работает система неидеально и иногда допускает артефакты. Но зато и никаких особенно строгих системных требований у FSR нет: подходят видеокарты NVIDIA GeForce GTX 10-й серии и новее, AMD Radeon RX 460 и новее и даже графические ускорители от Intel.
Использование FSR снижает нагрузку на видеокарту от 40% до 60% в зависимости от разрешения и режима. В будущем технология может появиться и на консолях нового поколения, которые используют графическую архитектуру AMD.
NVIDIA DLSS (Deep Learning Super Sampling) устроена сложнее и обеспечивает более высокое качество масштабирования изображения, но и требования у неё намного выше. Технология опирается на специальные тензорные ядра, предназначенные для быстрого обсчёта матриц нейросетей, которыми оснащаются только видеокарты серий RTX 20 и RTX 30.
Согласно статистике Steam, такие карты есть примерно у 17% пользователей (это довольно много). В Steam порядка 120 миллионов учётных записей, то есть карты RTX используют порядка 20,5 миллионов человек. Однако подавляющим большинством этих пользователей назвать тяжело, поэтому не все разработчики считают DLSS необходимостью.
В DLSS первой версии нейросеть нужно было обучать на конкретной игре (это сотни часов), при этом рядовые геймеры и игровые журналисты жаловались на мерцание, низкую чёткость и другие проблемы.
Однако в DLSS 2.0 многое изменилось. Технология анализирует прошлые кадры и определяет векторы движения объектов в поле зрения, чтобы корректно обрабатывать динамичные сцены — без мерцания и артефактов.
В поддерживаемых играх прирост производительности с DLSS 2.0 достигает от 40% до 120% в зависимости от игры. DLSS поддерживается в большинстве крупных релизов: владельцев видеокарт GeForce RTX всё больше, вместе с этим растёт число потребителей новых технологий.
FSR и DLSS — не все технологии, которые снижают нагрузку на железо и повышают производительность игр с минимальным влиянием на качество графики. Microsoft активно тестирует продвинутую систему работы с памятью DirectStorage, на основе которой NVIDIA разрабатывает собственную RTX IO. Она ускоряют загрузку, упрощает обращение игры к ассетам и «агрессивнее» сжимает файлы на диске.
Сами графические API вроде DirectX 12 Ultimate и Vulkan интегрируют всё больше инструментов, чтобы оптимизировать производительность и снизить системные требования. Например, Variable rate shading помогает разработчикам разбивать отображаемое на экране пространство на зоны и рендерить их с разной степенью детализации. А Sampler feedback повышает производительность, позволяя игре повторно использовать уже отрендеренные текстуры или обходить рендеринг поверхностей за кадром, а также быстрее загружать текстуры.
Как нейросети помогают делать ремастеры
Наиболее очевидный способ освежить игру — увеличить в ней разрешение, обновить текстуры и можно снова выкладывать в стор. В том числе по этой причине GTA V выходит уже на третьем поколении консолей, но сейчас не об этом.
Есть примеры и легендарных проектов, которым переиздание было просто необходимо. Среди таких, например, Mass Effect Legendary Edition. Игра стала одним из первых AAA-ремастеров, где разработчики, чтобы облегчить себе жизнь, использовали нейросети для апскейлинга текстур. Наткнулись на подробный разбор, что это за технология, чем отличается от DLSS и как работает. Примеры тоже имеются. Подробности — под катом.
С каждым поколением железа качество графики растет. Многие тайтлы ремастерят или просто переиздают, чтобы их можно было запускать на современных платформах. Они рендерятся с высоким фреймрейтом и разрешением, но текстуры остаются такими же, как в оригинальных играх. Чтобы решить эту проблему, некоторые разработчики используют искусственный интеллект, который апскейлит текстуры. Они становятся больше, живее и четче.
Логика перехода к сверхвысокому разрешению проста: скармливаем картинку алгоритму глубокого обучения, получаем ее новую версию с более высоким разрешением, сохраняя оригинальную визуальную идею.
Зачем нужен апскейлинг текстур
В старых двухмерных играх объекты создавались с помощью пиксельной графики: так получали изображение персонажа, бэкграунда и всего, что расположено между ними. Для движущихся героев собирали атлас спрайтов: он менял активный спрайт во время игры и отражал поведение героя. Однако в трехмерных играх объекты состоят из множества частей, ключевые — модель и ее текстуры.
Любой объект в 3D-игре, будь то персонаж, пропс или окружение, создается «пустым». 3D-художник вылепливает модель, а затем детализирует ее с помощью текстур. К каждому объекту применяется несколько текстур: основная (диффузная) и дополнительные (помогают визуализировать объект в различных условиях освещения). Сюда входит карта нормалей для добавления вершин, карта отражений для отображения цвета и карта свечений. Их стали использовать лет десять назад в связи с развитием Physically Based Rendering или PBR в игровых движках. Обычно к поверхности применяют несколько текстур, а затем детализируют модель.
Разные текстуры для одного материала
Благодаря эстетике спрайт-арта, двухмерные тайтлы в отличие от 3D не так сильно теряют визуальное качество со временем. 2D-игры предназначены для рендеринга с фиксированным разрешением, невозможно изменить его, не искажая изображение. Поэтому, когда их переносят на современные платформы, обычно происходит масштабирование, которое помогает сохранить исходное соотношение сторон. Даже если картинка начинает выглядеть немного коряво, можно применить сглаживание.
Однако пиксельная фрагментарность обостряется при отображении старых 3D-игр на мониторах с современным разрешением. Модели выглядят более резкими и, да, изображение становится четче, но текстуры, используемые на объектах, выглядят очень плохо. Они вытянутые и пестрят пикселями. Почему? Потому что эти текстуры разработаны для поддержки игры на оборудовании с целевым разрешением на момент релиза. Никто из разработчиков Doom в 1993 году не предполагал, что люди будут играть в нее 30 лет спустя на 32-дюймовом широкоэкранном 4K-мониторе. Проект был разработан с учетом развития графики и памяти своего времени и адаптирован под мониторы, на которых он должен был отображаться тогда. Игры последних 20 лет для Nintendo Gamecube, Playstation 2 и оригинальной Xbox постигла та же участь.
DOOM (1993)
Более современные игры обошли эту проблему: художники предусмотрительно создают исходные текстуры с более высоким разрешением. Игра получает пакет текстур с высоким разрешением в качестве DLC или патча на PlayStation 5 и Xbox Series X. То есть, когда тайтл релизили с текстурами 1080p на Playstation 4 и Xbox One, их разрешение было снижено по сравнению с исходными 4K-текстурами, созданными во время разработки. Снижение разрешения текстур — обычная практика, особенно для кроссплатформенных игр.
Текстура становится меньше, резкость изображения снижается, но все основные детали оригинала сохраняются, сводя к минимуму пикселизацию или артефакты. Современные игровые движки с легкостью позволяют воспроизводить этот процесс. Но обратный путь невозможен: нельзя просто увеличить исходную текстуру, она будет выглядеть замыленной. И здесь на помощь приходит ИИ.
При апскейлинге ИИ пытается увеличить разрешение исходного изображения, сводя к минимуму пикселизацию и артефакты. Для этого модель машинного обучения определяет основные детали изображения и улучшает его по мере увеличения. ИИ не может «добавлять» информацию, которой еще нет (размытый неразборчивый текст нельзя сделать разборчивым, поскольку не известно, что именно было написано). Но ИИ может удалить шум и зернистость, чтобы сделать картинку более резкой и менее пиксельной. Это применимо, как к спрайтам и арту классических 2D-игр, так и ко всем слоям текстур, используемых в 3D. Параллельно идет работа по синтезу текстур: где ИИ используется, чтобы выяснить, как существующая текстура была бы нарисована на большем артборде, но это тема для другой статьи.
Пример увеличения разрешения картинки
Апскейлинг текстур постепенно становится отдельной отраслью, и многие компании, такие как Topaz Labs, продают программное обеспечение для сверхвысокого разрешения, шумоподавления и повышения резкости изображений и даже видео (ведь это тоже просто серия статических изображений, создающих иллюзию движения). У Nvidia есть собственные инструменты разработки NGX для апскейлинга, которые предназначены для работы на графическом процессоре с поддержкой RTX, а Adobe недавно интегрировала функцию сверхвысокого разрешения в свою программу Camera Raw. Многие инструменты разработки ИИ, который выдает сверхвысокое разрешение, можно найти в свободном доступе в интернете, и поэтому создатели модов начали применять его к своим любимым играм.
Апскейлинг текстур vs DLSS
Все это замечательно, но очень напоминает технологию под названием DLSS (Deep Learning Super Sampling). DLSS — это технология апскейлинга, разработанная Nvidia и работающая на их видеокартах RTX. Несмотря на сходства, в работе DLSS и апскейлинга текстур есть различия.
DLSS обеспечивает масштабирование и сглаживание изображения, но апскейлинг происходит при выводе картинки. DLSS позволяет видеокарте рендерить игру с более низким разрешением, чем обычно, чтобы использовать меньше ресурсов, а ИИ затем апскейлит картинку, и она отображается на экране. То есть GPU может, к примеру, рендерить игры с разрешением 1080p, а DLSS затем масштабирует изображение до 4K, чтобы вывести его на ваш монитор. Это возможно благодаря тому, что у DLSS есть модель, обученная для этой игры, которая знает, как картинка должна выглядеть в более высоком разрешении.
DLSS Апскейлинг текстур
Однако апскейлинг текстур выполняется заранее: их размер масштабируется в игре в процессе разработки, а затем ими заменяют существующие ассеты с текстурами в игровом движке. Естественно, новая игра потребует больше мощности и памяти графического процессора, ведь теперь изображения будут рендериться с более высоким разрешением. Но ни один из процессов масштабирования не происходит во время игры: все они выполнены задолго до того, как пользователь получил к ней доступ.
Как работает апскейлинг текстур
Он основан на глубоком обучении: использует глубокие сверточные нейронные сети, которые обучены масштабировать изображение. Если копнуть глубже, он основан на генеративно-состязательных сетях, их там целых две. Одна сеть пытается повысить качество изображения, а вторая действует как критик-дискриминатор, оценивая, насколько хороша полученная картинка, и определяя, поддельная она или нет. Если изображение объявлено фейковым, от него отказываются. Генерация и критика крайне важны для процесса апскейлинга: обе сети должны получить информацию об изображениях, с которыми они имеют дело. Дискриминатор должен выявить определенные характеристики картинки. Генератор же должен создавать изображения, сохранив художественную ценность оригинала в достаточном объеме, чтобы обмануть дискриминатора.
Многие игры из статьи переработаны при помощи особого типа генеративно-состязательной сети: ESRGAN (Enhanced Super-Resolution Generative Adversarial Network или расширенная генеративно-состязательная сеть сверхвысокого разрешения). Алгоритм-генератор ESRGAN работает благодаря сверточной нейронной сети, использующей сверточные слои для сбора информации об исходном изображении с низким разрешением. При передаче это изображение захватывает так называемое «пространство признаков». Этот набор свойств используется для описания визуальных паттернов, например: изображен ли на картинке мех, кирпич или какой-то другой известный материал. Сверточные слои нужны для обработки и хранения этой информации, чтобы при создании изображения со сверхвысоким разрешением оно сохраняло то же пространство признаков, что и исходник. Получив эту информацию, генератор начинает масштабировать изображение.
Модифицированный дискриминатор в сочетании с изменениями в генераторе GAN позволяет выделить ESRGAN среди других GAN сверхвысокого разрешения: он лучше воссоздает резкость и детализацию текстур. Многие существующие методы сильно размывают такие текстуры, как мех, усы, волосы, или теряют детальность таких элементов, как кирпичная кладка или плитка.
ESRGAN отлажена очень хорошо, но не идеально. Сверхвысокое разрешение работает отлично, если на входе — изображение высокого качества. Апскейлинг с 1080p до 4K проходит намного проще, чем в случае с исходником с более низким разрешением. Во втором случае могут появляться ненужные артефакты. Эта проблема многих проектов, которые мы обсудим позже.
Все это лишь краткое изложение, если вы хотите более детально изучить тонкости работы ESRGAN в конце статьи вы найдете ценный список ресурсов для изучения. Теперь давайте посмотрим, как эта технология влияет на игровую индустрию.
Апскейлинг текстур в модах
Бум использования технологий сверхвысокого разрешения приходится на последние три года. ESRGAN впервые увидел свет в 2018 году, но он уже оказывает огромное влияние на игровую индустрию, и в основном благодаря сообществам моддеров. Они создают обновленные пакеты текстур для любимых игр. Например, New Vision 1.5 mod для Deus Ex (2000).
Сейчас выходят моды со сверхвысоким разрешением. Их создатели извлекают из игр оригинальные текстуры и переделывают их с помощью технологий глубокого обучения. Тут много примечательных примеров, включая Deus Ex New Vision 2.0. Рассмотрим некоторые из них детальнее.
DOOM Neural Upscale 2x
Этот мод можно скачать бесплатно и запустить с любой установкой GZDOOM. Он произвел фурор в начале 2018 года. Мод основан на инструментах Nvidia GameWorks, предшественнике нынешней Nvidia NGX. Плюс они использовали апскейлер Topaz Labs. Этот набор текстур DOOM интересен тем, что разрешение было увеличено не так сильно, как ожидалось. Как следует из названия, текстуры здесь всего в два раза больше первоначального размера. А все потому, что разработчики мода хотели сохранить художественную целостность и четкость исходника.
Во время разработки текстуры были увеличены в восемь раз, но в процессе перехода к сверхвысокому разрешению стали появляться артефакты. Причина, конечно, в том, что исходные изображения слишком маленькие. Как упоминалось ранее, сверхвысокое разрешение зависит от информации, которая заключена в изображении и от захвата его пространства признаков. Легко преобразовать изображение с 1920×1080 до 4K, потому что в базовом изображении много деталей, с которыми можно работать. Размер большинства оригинальных текстур DOOM всего 64х128, у некоторых — 128×128. Попытка увеличить их в восемь раз приведет к проблемам, поскольку в них слишком мало информации. Таким образом, после увеличения в восемь раз, их уменьшили до 2x, а затем очистили вручную, чтобы удалить артефакты. Кроме того, все маски прозрачности тоже пришлось обрабатывать без помощи ИИ.
Max Payne Remastered (неофициальный релиз)
Этот замечательный пример работы ESRGAN выпущен в конце 2018 года и получил несколько обновлений в начале 2019. Как и в DOOM, тут задействованы процессы автоматического создания новых текстур и небольшая ручная доработка.
Max Payne Remastered заменяет пару тысяч текстур — около 95% оригинальных арт-ассетов игры. Одни текстуры в этом моде были увеличены всего в два раза, другие — в восемь. Игра действительно выглядит намного четче и приятнее на современных устройствах. Устранено почти все размытие, возникающее при растяжении небольших текстур на мониторах с высоким разрешением.
Апскейлинг на консолях
Эта технология работает не только в десктопных играх. На рынке появились и пакеты текстур для консольных тайтлов. Например, пак для Metroid Prime для Nintendo Gamecube. Сообщество моддеров, предоставляющих наборы текстур для эмулятора Dolphin, растет медленно, но верно. Они улучшают многие классические игры для GameCube, включая Metroid Prime, Tony Hawk’s Pro Skater и Super Mario Sunshine.
Примеры в AAA-играх
Недавний релиз Mass Effect Legendary Edition показал, что и студии применяют эти технологии для работы с артом. Апскейлинг с помощью нейросетей стал лишь частью масштабной работы по восстановлению визуала трилогии Mass Effect. Шейдеры материалов и системы частиц обновили наряду с базовыми моделями персонажей. Но разрешение некоторых шейдеров материалов было слишком низким, ИИ им бы не помог, поэтому разработчикам пришлось переделать их вручную.
Трилогия Mass Effect разработана на Unreal Engine 3, который полностью соответствовал графическим ожиданиям оборудования того времени. Первая игра вышла в 2007 году, с тех пор возможности рендеринга заметно возросли. Многие игры Mass Effect работали с разрешением 720p на Playstation 3 и Xbox 360. Текстуры и модели персонажей часто уменьшались по сравнению с их исходными версиями. Для ремастера BioWare перешла к более поздней версии UE3, которая могла обрабатывать исходную модель и размеры текстур, а затем увеличивать масштаб исходных файлов. Апскейл с помощью ИИ помог сократить время и ресурсы, затрачиваемые на проект. Команда старалась ремастерить как можно больше текстур из оригинальной трилогии. Серьезное мероприятие: более тридцати тысяч текстур увеличены примерно в четыре раза по сравнению с исходниками.
Несмотря на автоматизацию, за процессом следило много людей. Важно наблюдать за согласованностью диффузных текстур, карт бликов и нормалей, иначе многое будет отображаться криво. В итоге арт-команда вручную почистила все текстуры, масштабированные с помощью ИИ. Кроме того, многие модели персонажей в ремастере, основаны на версиях более высокого качества, созданных в последних играх. Многие текстуры персонажей получились еще более сочными, поскольку команда художников решила улучшить их.
В конечном итоге ИИ выполнил лишь часть работы по обновлению арта игры. Художники все так же самостоятельно выявляют и устраняют проблемы, возникающие в результате апскейлинга, и даже добавляют детали, которые глубокие нейронные сети просто не могут сгенерировать.
Апскейлинг был применен не только в текстурах: были обновлены некоторые кат-сцены. Большинство роликов было переработано в движке в разрешение 4K, но с некоторыми это оказалось невозможно. Пришлось увеличить масштаб исходных видеофайлов. Кстати, то же самое сделали с кат-сценами в Command and Conquer Remastered. Почти все в этой игре было переработано вручную до 4K, но ролики были масштабированы с помощью ИИ, потому что исходные видеофайлы потерялись.
Заключение
Апскейлинг текстур до сверхвысокого разрешения — новый захватывающий способ помочь играм выглядеть свежо и адаптироваться к современному оборудованию. Хотя с его помощью нельзя полностью обновить изображение, дополнив его новыми деталями, он служит отличной отправной точкой, которую могут использовать художники. Новейшие достижения в области сверхвысокого разрешения все еще находятся в стадии разработки, поэтому в ближайшие годы мы точно увидим еще больше модов и ремастеров классических игр.