Исследователи использовали машинное обучение для создания своего ПО и обучения нейронных сетей на наборе из 5000 фотографий, созданных в Adobe и MIT. Каждый снимок этого набора был отретуширован пятью различным профессиональными фотографами, а алгоритмы Google и MIT использовали эту информацию для того, чтобы научить ИИ улучшать соответствующим образом фотографии автоматически. Речь идёт об улучшениях вроде усиления яркости в одном месте, снижении насыщенности в другом, изменения баланса белого и так далее.
Машинное обучение для улучшения фотографий использовалось и ранее, но настоящим плюсом нового исследования является создание небольших и эффективных алгоритмов, способных исполняться на потребительских устройствах прямо во время съёмки. Размер всего ПО не превышает размера одной цифровой фотографии и, согласно публикации в блоге MIT, может использоваться для обработки снимков в различных стилях.
Другими словами, нейронная сеть может быть натренирована на новом наборе изображений, чтобы имитировать стиль определённых фотографов. Примерно так работают художественные фильтры в приложениях от компаний Prisma и Facebook, имитирующих стилистику тех или иных живописцев. Конечно, современные смартфоны и камеры уже обрабатывают захваченные данные в реальном времени, но новые методы позволяет дополнительно развить возможности фотографирования на смартфонах.
С целью уменьшения сложности алгоритмов исследователи применяли несколько различных методов. Например, все вносимые в фотографии изменения они представляли в виде формул и использовали сетку с координатами, чтобы сразу отбрасывать незатронутые участки. Google считает, что это исследование позволит существенно улучшать фотографии на смартфонах в реальном времени без особого влияния на заряд батареи и без возникновения заметных задержек при съёмке. Возможно, подобные технологии появятся уже в смартфонах Pixel 2 в этом году?
