Нейрокомикс от Demis Group: «Басня о продавце Лисе и мудрой Сове»
Жил-был Лис, коммерческая жилка ему покоя не давала. В деревне на базаре решил он продавать. Как все с энтузиазмом нашел товар и стал народ зазывать. Но в очередь к нему не становились сначала. Как так и почему? Ведь продавать легко. Ты отдаешь товар. А жители деревни дают тебе монеты. Но проходили мимо звери и проезжали кареты. И тут Сова, что мудрый маркетолог, пришла на помощь нашему герою. Сказала, что важен не товар, а то как он решит проблемы жителей деревни. И чтобы это все узнать, подумать стоит об их задачах повседневных. Мораль сей басни такова: поставить в центр человека — вот ценность, что идет от века к веку.
Стиль комикса был найден. Оставалось написать техническое задание и передать его дизайнеру для работы.
В выборе стиля будущего комикса помогал Google. Были выбраны наиболее понравившиеся, узнаваемые и интересные рисовки комиксов. Референсы добавлялись в Midjorney и через функцию /describe получались текстовые описания комиксов от Микки Мауса до аниме. В фокусе было сохранить мультяшность, но придать ей атмосферность и новый уникальный вид.
В итоге нашелся микс между комиксами про Робина Гуда, DC и творческим взглядом нейросети на тот вариант, что смог чем-то зацепить. Так родился главный герой басни-комикса Лис.
По одному изображению уже стало понятно, какого стиля, героев и атмосферы нужно добиваться на всем протяжении комикса. На помощь пришел --sref, который не требовал описывать стиль, а сам копировал его с референса — основной картинки с Лисом.
Далее стало понятно, что просто текстового описания и фраз главных героев будет недостаточно.
Комикс примечателен тем, что не все главные герои, ведущие диалог, должны располагаться в одном кадре, они могут находиться где угодно. Поэтому, если никак не удается совместить Лягушку и Лиса в одном кадре в определенных позах, можно прибежать к такой вот маленькой хитрости.
Так как за референс стиля было выбрано изображение с главным героем по центру, нейросеть генерила признаки главного героя на всех персонажей в кадре, даже если в описании было указано иное.
Выйти из этой ситуации удалось, сгенерировав изображение предполагаемого мира, где обитает Лис, после чего, его исключили из кадра совсем при помощи --no fox.
На протяжении всего комикса дизайнер стремился менять погодные условия, атмосферу, создавая ощущение времени. Поэтому первый диалог Лиса состоялся на рынке, в помещении. Дальше пригодились кадры деревни. Второй диалог — вечером дома у медведя, потом — ночью на болоте в лесах у Лягушки, а разговор с Петухом — в пшеничном поле и уже на рассвете. Таким образом, при сохранении единого стиля, и, казалось бы, однообразии единственного главного героя появилась динамика и развитие сюжета.
Еще пришлось помучаться с надписями и мелкими деталями, которая генерила нейросеть. Особенно проблематично это было в кадрах, где на заднем фоне требовалось показать полки товаров. Здесь помогло использование --no text или перекомпоновка кадра, чтобы на полках магазина были овощи, покупатели или окна.
Если не удавалось получить желаемый результат, на помощь приходил старый добрый фотошоп.
Сложности были и с нестандартными задачами. Хотя, казалось бы, творческие креативы это как раз по части нейросети. Требовалось изображение, где Лягушка использует морковь в качестве тренажера для занятий спортом и укрепления ног. Нейросеть выдавала много странных картинок. Приходилось генерить длинные запросы. Но в таком случае это могло поменять вид самого героя, который отличался от нужного, часто не соблюдался фон, или, наоборот, добавлялись лишние детали.
Примерно то же происходило со всеми героями комиксов, особенно если описание главного героя кадра имело много деталей.
На таких длинных описаниях нейросеть выдавала странные сочетания, допускала ошибки и слишком уходила от реальности изображения предметов.
Здесь помогло сокращение и упрощение описываемых образов, ну и, конечно, выборка из миллиона предложенных вариантов и докручивание их до нужного состояния.
Завершающим штрихом с Источник: www.sostav.ru