Нейрокомикс от OMD OM Fuse: «Слово о лаптях игоревых»

Когда мы представляем себе русскую деревню — в голове сразу появляются образы природы, бревенчатых домишек, коровы, ну и деревенских жителей, в своей такой простой одежде и лаптях. Хотя погодите, какие же лапти? А вот такие, из лыка! Знаете ли вы, что в 1916 году лапти внезапно стали ультрамодной обувью и в них начал щеголять весь высший свет Петрограда?

Отсюда и родилась история OMD OM Fuse о том, как современный маркетолог make lapti great again!

Работа с нейросетью

О выборе героя. В ходе обсуждения истории, не сговариваясь, команда начала делиться друг с другом референсами на персонажа из фильма 99 франков, почти каждый представил себе главного героя именно таким — так и решили, что это судьба, и использовали Октава как референс для отрисовки героя.

Midjourney уже достаточно хорошо работает с референсами персонажей, и вполне неплохо получается генерировать новые изображения в разных ракурсах или с разными эмоциями на лице таким образом, чтобы оно оставалось узнаваемым.

Однако проблемы начинаются, когда в одном кадре хочется показать несколько людей — нейросеть будет применять референс на них всех.

Поэтому авторы сделали вывод, что диалоги двух героев крупным планом лучше либо разводить по разным кадрам, либо генерировать отдельно героев и соединять их вместе уже силами дизайнера.

Дальше, для того, чтобы начать иллюстрировать историю с нейросетью, нужно было выбрать одну из наиболее часто использующихся в комиксах стилистик.

Авторы решили, что история должна быть яркой и визуально интересной, поэтому выбрали стиль пин-ап.

Однако, решив задать Midjourney два референса одновременно, на персонажа и на стилистику, еще раз убедились, что пока совмещения даются нейросетям не очень удачно.

Поигравшись еще немного, создатели поняли, что нашли свою стилистику для комикса где-то между пин-апом и картинами Энди Уорхола.

Отдельно стоит отметить, что если с лицами и эмоциями нейросети более менее научились справляться, то со всем, что касается надписей, пока все гораздо сложнее. Например, важно было показать надпись Made in China на борту грузового судна, но даже с заданной конкретной фразой нейросеть выдала изображение с лишней буквой.

Ответ нейросети:

Ну и самое интересное оставили напоследок — историю о лаптях. Даже с использованием референсов оказалось очень сложно объяснить нейросети, что же это такое.

Авторы даже попробовали обмануть нейросеть, воспользовавшись функцией описания картинки, которую они загрузили в нее и попросили сгенерить изображение по получившейся фразе.

Запрос с использованием описания нейросети выдал следующее:

Попытки показать, как плетутся лапти, не увенчались успехом даже с использованием референсов. Вот как по мнению нейросети плели лапти на Руси:

Учитывая все трудности с восприятием лаптей нейросетью, команда пошла по пути генерации отдельных частей запланированных сцен и объединения их силами дизайнера. Надо отметить, что тут не обошлось без лишних конечностей, которые также требовали ручной доработки полученных изображений.