Нейросеть Adobe Firefly и Generative Fill в Photoshop — новые способы генерировать картинки

К 2023 году, наверное, осталось не так много людей, которые совсем ничего не знают и не слышали про нейросети. Хотим мы того или нет, но постепенно искусственный интеллект и нейронки интегрируются не только в работу крупных компаний и технологических отраслей, но и в повседневную жизнь каждого человека. Будь то автоматические переводчики текста, таргетированная реклама, умная бытовая техника, оплата через распознавание лица и даже штрафы за превышение, которое считывают камеры, — все это уже может работать на базе нейронных сетей.

Если заглянуть в прошлое, то можно смело сказать, что мы уверенно шли к такой жизни, по крайней мере начиная с 2010 года. Тогда, как сообщают Secuteck, появилась база ImageNet, которая содержала до 15 млн различных изображений. На их основе и обучали нейросети. Хотя мы привыкли к тому, что специалисты пишут код для алгоритмов и создавсоздают программное обеспечение (ПО), сейчас искусственные алгоритмы обучаются без участия программистов, а программа улучшает себя сама. 

Иными словами, вычислительные мощности теперь в принципе позволяют разрабатывать нейросети любым компаниям. Более того, уже есть готовые и обученные нейронки, на базе которых можно создавать новые приложения, притом не тратя большое количество времени на подготовку к работе. 

Но, самое главное, пользователям это нравится, а за развлечения и удобство готовы платить все, поэтому сервисы на базе ИИ и нейросетей стали пользоваться популярностью. 

Ярким примером можно назвать видео- и фото-селфи приложение MSQRD, запущенное в далеком 2015 году. Белорусские разработчики, как сообщает Forbes, и не могли представить, что сервис обретет аудиторию в 40 млн человек. Неожиданная популярность привела к тому, что Facebook выкупил его за $85 млн. А ведь небольшая компания из двух приятелей не только не рассчитывала на широкий охват, но и даже не вкладывалась в маркетинг и рекламу.

Компания Adobe не осталась в стороне

В марте 2023 года американская компания и разработчик программного обеспечения Adobe выпустила собственную нейронку, сообщают The Verge. 

Adobe Firefly — это семейство генеративных моделей ИИ, одна из которых работает по принципу Midjourney и DALL-E, позволяя пользователям создавать стилизованные изображения, а другая, похожая на WordArt из Microsoft Word, генерирует текст.

Подход Adobe несколько отличается от способа обучения других ИИ-сервисов, генерирующих изображения. Как сообщает источник, у авторов изображений, чьи работы сохранены в базу Creative Cloud, была возможность отказаться от использования их творчества с целью обучения нейронки. 

Помимо того, в отличие от других подобных генеративных сервисов, в Firefly пользователи могут детально дорабатывать получившиеся изображения: удалять или добавлять объекты, настраивать цветокоррекцию и многое другое. Для этого, как утверждает разработчик, в новом продукте добавили генеративные технологии, которые компания уже использует в остальных продуктах, таких как Lightroom и Photoshop. 

Предполагается, что новая нейросеть станет ассистентом авторов фото- и видеоконтента, упрощая рутинную или времязатратную работу, а не просто будет генерировать картинки ради развлечения. 

В скором времени компания планирует расширить возможности новой модели. Например, добавить функцию создания 3D-контента для превращения двухмерных картинок в реалистичные объемные изображения. 

Сейчас Firefly еще в процессе доработки и пока доступна для пользователей в бета-тесте. В целом разработчики отмечают удобства использования ИИ-модели — нет необходимости вводить консольные команды, интерфейс получился относительно интуитивным, сообщают «Ведомости». 

Новый инструмент от Adobe — Generative Fill

В мае 2023 года Adobe добавила в бета-версию Photoshop новую фичу «Генеративная заливка» — это ИИ, который работает на базе Adobe Firefly и позволяет дорабатывать фотографии на основе текстовых запросов вроде «добавь», «убери», «заблюрь» или «затемни». 

Эта функция дает пользователям возможность расширять границы изображения и дополнять их на основе имеющейся картинки при помощи нейросети, сообщает «Тинькофф Журнал».

К примеру, чтобы отредактировать картинку, понадобится лишь выделить нужную область, а после попросить сервис о конкретном действии, которое следует произвести с изображением. На этом все — Generative Fill все сделает сам, учитывая при этом стилистику, тональность и перспективу. 

Автор «Тинькофф Журнала» поделился тем, как работает новый инструмент. Текстовые запросы, как и в Midjourney, можно вводить только на английском, а в ходе генерации менять или же вообще оставлять поле ввода пустым. В этом случае инструмент автоматически его заполнит на основе прошлых запросов. После выбора действия «Генерировать» нейросеть предложит три варианта изображения, а по количеству генераций ограничений нет — можно делать это хоть до бесконечности.

В Fotosklad подчеркивают еще одно из преимуществ нового инструмента — нейросеть работает на облачных серверах. То есть для создания и доработки изображения не нужен мощный компьютер — вполне подойдет, например, смартфон. 

Генеративной заливкой может обвладеть любой человек, даже не дружащий с инструментами Photoshop. Нейросеть проста в использовании — практически не нужно запариваться над текстовыми запросами, как в Midjourney.

Но говорят и о значительном минусе — при добавлении к фотографии объектов стилистика изображения часто теряется и в большинстве случаев смотрится это неуместно.

Fotosklad тоже упоминает минусы ИИ — это постоянное подключение к сети и требование доступа к только свежим официальным версиям Photoshop, которое в России получить не так уж и просто. 

«Генеративная заливка» пока тоже находится в бета-версии Photoshop. Новая функция сразу полюбилась пользователям —  в интернете делятся, как с ее помощью расширяют обложки альбомов, постеры фильмов и генерируют новые мемы.