Метод Ватоко: тренировка генеративной модели

Когда человек в кадре полностью, модель рисует его плохо. Лучше всего получается, когда он изображён по плечи или по пояс. Если до колен — лицо размывается. А если целиком помещается на фото, лицо уже практически не узнаваемо.

Проблема

Генеративные модели по-разному справляются с лицом в зависимости от кадрирования. Крупный план — отлично. Поясной — ещё хорошо. В полный рост — качество падает. Это ограничение знакомо всем, кто тренирует LoRA и персональные модели.

Решение: дорисовка по краям

В четвёртой версии модели Насти я добавил в обучающий датасет изображения персонажа целиком в кадре. Такие картинки создаются дорисовкой по краям: берётся качественное изображение лица и тела, а фон расширяется так, чтобы человек помещался в кадр целиком. Изображение остаётся максимально качественным и точным — модель изучает лицо в связи с телом и запоминает детали.

Преимущества метода

Модели, созданные по такой схеме, точно запоминают лицо человека. Это снижает время на получение нужного изображения и количество итераций. Меньше цепочек — меньше затрат. Уровень брака тоже получается сравнительно низким.

Метод Ватоко

Метод заключается в том, чтобы создать около двадцати идеальных изображений лица персонажа. Но лица мало. Необходимо получить полное изображение и показать модели, как выглядит этот человек в полный рост. Так мы показываем модели объект целиком: как соотносятся части тела относительно друг друга, какие у них пропорции.

Один фокус — важная деталь

Есть маленькая хитрость: фотографировать человека нужно с одним фокусным расстоянием. Наделать портретов головы и тела целиком — в одной оптике, без скачков перспективы. Так модель получает согласованные данные о пропорциях.

Эксперимент

Я хочу провести такой эксперимент и задокументировать его: написать статью о тренировке генеративной модели по методу Ватоко. Для этого нужна помощь человека, который умеет держать фотоаппарат в руках и может сделать со мной серию снимков — головы и тела целиком, с одним фокусным расстоянием. Если вы такой человек и готовы поучаствовать — напишите.