Selfie jak od mistrza fotografii

W sierpniu podczas konferencji Siggraph badacze z MIT-u, Adobe Systems i University of Virginia zaprezentują algorytm, który zmieni selfie w artystyczne zdjęcia podobne do dzieł znanych fotografów.

Mistrzowie aparatu zyskują sławę dzięki wypracowaniu własnego unikatowego stylu. Wyjątkowe efekty, jakie uzyskują, wymagają m.in. bardzo drobiazgowego kontrolowania światła. Nowy algorytm ma dać użytkownikom smartfonów możliwość wybrania mistrzowskiego stylu przy wykonywaniu autoportretów, tzw. selfie.

Eksperci zajmujący się grafiką od dawna pracują nad „transferem stylów”. Jednak, jak się okazuje, dotychczasowe techniki nie sprawdzają się podczas pracy z ludzką twarzą. Rozpoczęliśmy nasze badania od tych stylów, ale okazało się, że nie współpracują one dobrze z twarzami. Nasze oczy są niezwykle wrażliwe właśnie na ludzkie twarze i nie tolerujemy najmniejszych błędów - mówi YiChang Shih z MIT-u.

Shih i współpracujący z nim eksperci nazwali swoją technikę „local transfer”. W przeciwieństwie do obecnych technik, opierających się na globalnych ustawieniach, do których dostosowywana jest fotografia, w przypadku nowej techniki przeprowadzana jest bardziej szczegółowa analiza. Jeśli np. mamy do czynienia z osobą noszącą okulary i podczas wykonywania zdjęcia od szkieł odbije się światło, współczesne techniki będą kompensowały to światło w skali całego obrazu. Nowy algorytm skompensuje tylko część obrazu, a oczy – bardzo ważny element twarzy – będą podlegały osobnej obróbce.

Jednak, jak przyznaje Shih, nawet „local tranfer” nie powoduje, że zmodyfikowane zdjęcia wyglądają całkowicie naturalnie. Dlatego też naukowcy wykorzystali kolejny algorytm, nazwany „multiscale matching”. Na twarzy występują rózne tekstury w różnych skalach. Chcemy, by na zdjęciu małe tekstury, jak np. pory na skórze czy włosy, wyglądały podobnie. Jednak ich obróka może zepsuć wygląd dużych tekstur - nosa lub ust - i negatywnie wpłynąć na oświetlenie całej sceny. Tutaj przychodzi z pomocą właśnie "multiscale matching". Dla każdego nowego obrazu tworzy on wykorzystywaną w obróbce grafiki piramidę Laplace'a, dzięki czemu możliwe jest zidentyfikowanie charakterystycznych cech obrazu w różnych skalach. Następnie algorytm koncentruje się na modyfikacji tych cech.

Na obecnym stadium rozwoju technologia działa najlepiej w przypadku zdjęć, których charakterystyki są do siebie podobnie. Tam, gdzie występują duże różnice może dać dziwaczne efekty, np. na twarzy dziecka mogą pojawić się zmarszczki. Eksperymenty przeprowadzone na 94 fotografiach wykazały jednak, że zwykle efekty obróki są dobre.

Robert Bailey z Disruptive Innovation Group firmy Adobe przyznaje, że koncern będzie chciał stworzyć, na bazie opisanych badań, aplikację przeznaczoną dla konsumentów. Dodaje, że już teraz nowa technika daje lepsze wyniki niż tradycyjne filtrowanie obrazów. Obecne filtry nie dają tak wiarygodnej stylizacji - mówi.

obraz obróbka selfie twarz