Sekretów jest tu kilka. Po pierwsze - telefon troszkę oszukuje. Po drugie - przeprowadza wiele chytrych operacji, by wyprodukować możliwie najlepszy obraz. Po trzecie - potrafi odgadnąć intencje i podciągnąć parametry fotki tak, aby klient był bardziej zadowolony. 2/30

Po kolei więc. Oszukiwanie zaczyna się już wtedy, gdy uruchomisz aplikację aparatu. Tobie wydaje się, że czekasz na pojawienie się w kadrze obiektu, wciskasz przycisk migawki i aparat robi zdjęcie. Tak było kiedyś, gdy fotografowaliśmy kompaktami lub lustrzankami. 3/30

Telefon ma na to inny pomysł. W rzeczywistości seria zdjęć jest robiona bez ustanku, raz za razem. Fotki wpadają do zapętlonego bufora, gdzie spędzają sekundę lub dwie, by zrobić miejsce kolejnym. Gdy wciskasz spust - wtedy telefon zatrzymuje proces i zaczyna analizować

kilka zdjęć zrobionych mniej-więcej wtedy, kiedy naciśnięto przycisk. Głównym kryterium będzie ostrość - do dalszej obróbki trafi ta fotka, która będzie najmniej rozmyta. Jeśli takiej nie ma, trzeba którąś wyostrzyć, ale o tym za chwilę.

To nie koniec oszukiwania. Nie jest przecież powiedziane, że każda fota musi mieć taką samą ekspozycję. Mamy w końcu do czynienia z migawką cyfrową, więc aparat może bez trudu wykonywać fotografie o różnej "jasności". Jeśli robisz zdjęcie jasnego placu z ciemnej bramy, dwa

niedoskonałe kadry (niedoświetlony i prześwietlony) pozwolą na złożenie jednego zdjęcia o pełnej rozpiętości tonalnej. To technika znana pod nazwą HDR, kiedyś trzeba ją było aktywować ręcznie, dziś rzeczy dzieją się same.

Nie każdy wie, że piksele w matrycy aparatu rejestrują tylko odcienie szarości. Nad nimi montowane są więc kolorowe filtry, dzięki którym da się wyliczyć kolory - skutkuje to jednak obniżeniem efektywnej rozdzielczości obrazu.

Gdy robisz zdjęcie z ręki, obiektyw nigdy nie jest absolutnie nieruchomy. Można więc zrobić kilka ujęć w bardzo krótkim odstępie czasu i wykorzystać te mikroprzesunięcia do tego, aby zebrać brakujące informacje o kolorach.

Funkcja ta będzie szczególnie przydatna, gdy użyjesz cyfrowego przybliżenia - jakość obrazu pochodzącego z małego fragmentu matrycy będzie istotnie niższa, więc liczy się każdy piksel wiernie odwzorowujący rzeczywistość.

Załóżmy więc, że fotka została wykonana. Surowy zrzut danych z matrycy (tzw. RAW) może laika zaskoczyć - obraz jest ciemny, mało kontrastowy, wyprany z kolorów. Teraz zaczyna się cała magia fotografii obliczeniowej czyli procesu cyfrowego udoskonalania obrazu.

Pamiętajmy, że każdy współczesny telefon ma moc obliczeniową superkomputerów sprzed raptem kilku dekad. Ponadto jakość zdjęć jest często podstawowym kryterium wyboru aparatu. Każdy z dużych producentów inwestował więc masę środków, aby jego produkt wyróżniał się na rynku.

Proces postprodukcji zaczyna się od segmentacji, podziału obrazu na elementy składowe. Każdy rozpoznany element będzie przetwarzany osobno. Skóra twarzy zostanie wygładzona, tęczówki rozjaśnione, usta zaróżowione. Niebo stanie się bardziej niebieskie a chmury bielsze.

To nie wszystko! Sieci neuronowe w ułamku sekundy określą, czy fotka przedstawia plażę, las, krajobraz, architekturę, sportowców czy zachód słońca - każda z tych kategorii może mieć przypisane osobne filtry "poładniające" dane ujęcie. I wiecie co? To naprawdę działa!

Już kilkanaście lat temu mieliśmy na komputerach programy, które jednym przyciskiem udoskonalały każdą fotkę (tak, Picasa, to o tobie...). Dziś telefony mają dostateczną moc obliczeniową, aby takie operacje przeprowadzać od razu po pstryknięciu foty.

Jest jeszcze lepiej. Telefon zna przecież twoją lokalizację oraz bieżącą godzinę - może więc dostosować przetwarzanie do okoliczności powstania zdjęcia. Fotka została cyknięta podczas tzw. złotej godziny, przed zachodem słońca? Znakomicie, nie będziemy

więc dociągać jej do typowego, "dziennego" balansu bieli. Wręcz przeciwnie - dostanie jeszcze więcej ciepłych żółci i czerwieni, niż zarejestrowała matryca.

Zdjęcie jest robione w złych warunkach oświetleniowych? Nie stosujemy długiego czasu naświetlania, bo wyjdzie poruszone - lepiej zrobić serię zwykłych ujęć, połączyć je razem a następnie przepuścić przez sieć neuronową normalizującą kolory pochodzące z tej konkretnej matrycy.

Czy to już wszystko? Nie! Jeśli obiektyw aparatu ma zmienną ogniskową, w podobny sposób możemy tworzyć doskonalsze zdjęcia makro - kilka fotek, kilka punktów ostrości, jedno wynikowe zdjęcie łamiące prawa optyki!

A jeśli w normalnej matrycy przeanalizujemy drobne różnice kadru między pikselami z rzędów parzystych i nieparzystych, to będziemy w stanie wyznaczyć głębię tego obrazu. Stąd już tylko krok do cyfrowego rozmywania tła - by odtworzyć lubiany efekt płytkiej głębi ostrości

Technika HDR przydaje się także wtedy, gdy korzystamy z lampy błyskowej - ten stosunkowo prosty trik likwiduje odbicia i symuluje doświetlenie drugiego planu.

Czy to już wszystkie możliwości cyfrowego przetwarzania obrazu? A skąd! Nie wszystkie triki trafiły już do telefonów komórkowych, ale wyścig trwa. Jednym z pomysłów jest np. użycie kodowanej przysłony, która pomaga w wyostrzaniu poruszonych kadrów

Znajomość tzw. jądra przekształcenia sprawia bowiem, że jesteśmy w stanie odzyskać choć część informacji pomieszanych w rozmytej smudze światła.

Tu przykładowe wyostrzenie obrazu o prostszym kernelu

Podobnej sztuczki można użyć w tzw. kodowanej migawce, gdzie kontrolowana sekwencja kadrów o różnej długości naświetlania pozwala zrekonstruować rozmyty element przesuwający się przed obiektywem.

Ten wątek nie pomieści wszystkich pomysłów realizowanych przez fotografię obliczeniową. Zapraszam do przeczytania artykułu autorstwa Wasilija Zubariewa, z którego pochodzą ilustracje i opisy https://informatykzakladowy.pl...

W artykule na blogu przeczytasz również o: nakładaniu temporalnym (time stacking)

o aparatach plenoptycznych rejestrujących obrazy, w których ostrość można regulować na komputerze po zrobieniu zdjęcia

o lidarach i sensorach Time-of-flight

a także o eksperymentach z wieloma (WIELOMA!) obiektywami robiącymi naraz jedno zdjęcie.

Jeśli wątek ci się spodobał, proszę o lajka i retweeta, pierwszy wpis wątku znajdziesz poniżej! Z góry dzięki! https://x.com/InfZakladowy/sta...

@InfZakladowy Wyglada lepiej na ekranie telefonu po obrobce cyfrowej w telefonie. Do „prawdziwego” aparatu nawet się nie zbliza przy powiekszeniu.

@Rafi197403 Owszem, ale każda fotka z aparatu wymaga ręcznej obróbki. Coś za coś, a konkretnie doskonałość kontra wygoda.

@InfZakladowy Aż przypomniała mi się aferka z Samsungami i rozpoznawaniem czy robimy zdjęcie księżycowi, a jeśli tak - fotka mogła być podrasowana bo przecież księżyc zawsze zerka na nas z tej samej strony ;)

@lkincel Hułałeje to były