Stability AI представила Stable Diffusion 3 – інноваційний генератор зображень наступного покоління. Ця модель синтезу зображень використовує передові розробки своїх попередників, щоб створювати детальні, багатооб’єктні зображення вищої якості і точності за текстовим описом.
За словами компанії, родина моделей Stable Diffusion 3, яка приймає текстові описи або “підказки” і перетворює їх на відповідні зображення, має від 800 мільйонів до 8 мільярдів параметрів. Це дозволяє запускати різні версії моделі на різних пристроях – від смартфонів до серверів. Кількість параметрів відображає можливості моделі у генерації деталей. Більші моделі вимагають більше VRAM на графічних прискорювачах для роботи.
Stability розробляє прогресивні моделі генерації зображень з 2022 року, включаючи Stable Diffusion 1.4, 1.5, 2.0, 2.1, XL, XL Turbo та тепер 3. Компанія відома як відкрита альтернатива пропрієтарним моделям синтезу зображень, таким як DALL-E 3 від OpenAI, хоча також є суперечки стосовно використання захищених авторським правом даних, упередженості і можливості зловживань. Моделі Stable Diffusion можна налаштовувати локально для досягнення бажаних результатів.
Генеральний директор Stability Емад Мостак пояснив, що використовується новий тип дифузійного трансформатора, подібного до Sora, разом із узгодженням потоку та іншими покращеннями. Це дозволяє моделі масштабуватися і працювати з мультимодальними вхідними даними.
Stable Diffusion 3 також використовує “узгодження потоку”, метод створення ШІ-моделей, які генерують зображення, плавно переходячи від випадкового шуму до структурованого зображення. Це здійснюється без необхідності моделювати кожен крок процесу, а зосереджується на загальному напрямку або потоці для створення зображення.
Наразі Stable Diffusion 3 ще не доступний для широкого загалу, але після завершення тестування може бути безкоштовно завантажений і запущений локально.
