Нейросети для 3D: как сгенерировать модель по тексту и фото

Habr ·

Нейросети для 3D: как сгенерировать модель по тексту и фото

Генерация 3D из текста перестала быть демо-фокусом где-то между 2024 и 2026 годом. Сейчас почти любой человек без существенного опыта в Blender может написать «деревянный сундук с металлическими уголками» и через минуту получить файл, который откроется в Unity или в любом другом приложении. То есть тут вопрос уже не о том, можно ли сделать, а о том, какое будет качество, как правильно сгенерировать модель и что делать с ней дальше. Есть два типа источника: фото и текст. Из одного снимка нейросеть способна построить геометрию лучше, чем из текста, если ракурс и освещение позволяют восстановить глубину. Текст выигрывает в контроле над деталями, по типу материалов, пропорций, вещей которые необычны для данного объекта. На практике оба подхода дают модель, которую иногда приходится дорабатывать руками, если хочется красивый результат. В этой статье мы разберем, как устроен пайплайн генерации от промпта или снимка до экспорта, какие сервисы закрывают отдельные этапы и где результат все еще требует вмешательства человека. Читать далее

Генерация 3D из текста перестала быть демо-фокусом где-то между 2024 и 2026 годом. Сейчас почти любой человек без существенного опыта в Blender может написать «деревянный сундук с металлическими уголками» и через минуту получить файл, который откроется в Unity или в любом другом приложении. То есть тут вопрос уже не о том, можно ли сделать, а о том, какое будет качество, как правильно сгенерировать модель и что делать с ней дальше. Есть два типа источника: фото и текст. Из одного снимка нейросеть способна построить геометрию лучше, чем из текста, если ракурс и освещение позволяют восстановить глубину. Текст выигрывает в контроле над деталями, по типу материалов, пропорций, вещей которые необычны для данного объекта. На практике оба подхода дают модель, которую иногда приходится дорабатывать руками, если хочется красивый результат. В этой статье мы разберем, как устроен пайплайн генерации от промпта или снимка до экспорта, какие сервисы закрывают отдельные этапы и где результат все еще требует вмешательства человека. Читать далее

Источник: Habr