Ay’ın “sahte” fotoğrafları bize akıllı telefon fotoğrafçılığının geleceği hakkında neler söylüyor? Geçen yıl olduğu gibi, Samsung’un amiral gemisi akıllı telefonunun gigazoom’u, Ay çekimleriyle tartışmalı. Telefonlarımızın yakaladığı görüntülerin anlık görüntülerden daha fazlası olduğunu bize hatırlatan bir “moongate”. Bu da bir sürü soruyu gündeme getirmeyi başaramaz. Hem teknik hem felsefi.
Samsung’un yeni üst düzey akıllı telefonundan Ay’ın görüntüleri bir kez daha eleştirmenlerin ateşi altında! Geçen yıl Galaxy S22 Ultra’da olduğu gibi, geçen Şubat ayında piyasaya sürülen S23 Ultra’nın da kullanıcılar, doğal uydumuzun fotoğraflarını “sahte ettiğinden” şüpheleniyor. “Sahtekarlık” derken, “doğaya aykırı” bir imaj iyileştirmesinden bahsediyoruz burada. Anlayın ki Uzay Yakınlaştırması akıllı telefonun yüzdesi aslında Ay’ın yalnızca kaba hatlarını yakalayarak ona bir filtre uygulardı. Bu sadece ayrıntıyı iyileştirmez: daha fazlasını ekler.
Henüz bir karşı-uzmanlıkla meşgul olamadıysak, gelişmekte olan müfettişlerin işleyiş tarzlarını hallettikleri anlaşılmalıdır. Yani web’de Ay’ın bir fotoğrafını çekin, dosyayı çok düşük çözünürlüklü (170×170 piksel) dönüştürün, bir ekranda görüntüleyin, ardından ekranın bir resmini çekin… Ve kaynakta eksik olan ayrıntılara dikkat edin – bir Ay düşük çözünürlükte – Galaxy S23 Ultra tarafından çekilen son fotoğrafta görünün!
Özellikle AppleInsider gibi “profesyonel” Apple sitelerinde yaygın olarak aktarılan bilgiler, açıkça çok fazla (dijital) mürekkebin akmasına neden oluyor. Ancak bu “olay örgüsüne” isyan etmeden veya “teknik beceriyi” övmeden önce – ki daha sonra göreceğimiz gibi aslında budur – akıllı telefon fotoğrafçılığının doğasına dair birkaç hatırlatma yapalım. “Gerçek” kameralardan düşündüğünüzden çok daha uzak olan.
Tüm akıllı telefonlar zaten fotoğrafları yeniden oluşturuyor
Bale “Giselle”, Bükreş Ulusal Operası. (dansçı: Rin Okuno) © Adrian BRANCO / Haberler
Önceki görüntünün kırpılması. © AB / Haberler
Bu hafta sonu Romanya’daki Bükreş Operası’nda çekilen yukarıdaki kareye bakın. Yakalama terminali, çok iyi Oppo Find X6 Pro’dur (50 MPix ana sensör). İkinci görüntüyü %100 yakınlaştırarak, dansçının yakalama sürecinin işareti olan “hayalet” konturları ortaya çıkardığını görüyoruz. Yani tek bir görüntü değil, bir dizi eşzamanlı çekim. Skandal? İşleme? Yalan ? Hayır, akıllı telefon fotoğraf standardı. Ve her zaman harika fotoğraflara sahip olmanın bedeli.
Hepsi bir arada akıllı telefon işlemcilerinin (burada Snapdragon 888’inki) ISP’leri, dinamik aralığı iyileştirmek için uzun süredir birkaç görüntüyü birleştiriyor. © Qualcomm
Akıllı telefonlarda sensörler büyümeye devam ederse – özellikle Tip 1 inç sensörün entegrasyonuna yönelik bu eğilimle – teknolojik bağlam her zaman aynıdır: akıllı telefonların kamera modüllerinin kaliteli resimler üretmek için desteklenmesi gerekir. Sony, HDR teknolojilerini (dinamik aralığı iyileştirmek için üç donanım çekimi) veya yeniden düzenleme sonrası için görüntüleri daha hızlı yakalayabilen yığın sensör Exmor RS’yi akıllı telefon sensörlerinde ilk kez kullandı. . Küçük sensörlerin sınırlarını aşmayı mümkün kılan teknolojiler.
Fiziksel kısıtlamaların üstesinden gelin
Sony RX100 Mk III
Xiaomi 13 Pro yandan görülüyor. Sony kompakt ile aynı sensör tipini (Tip 1 inç) içerir, ancak bir optiği entegre etmek için çok daha az alana sahiptir.
Ardından, “gerçek” kameralardan çok daha kısıtlayıcı olan fiziksel kısıtlamalara bakmalısınız. Bu nedenle, her ikisi de Tip 1 inç sensörle donatılmış bir Sony RX100 Mark III ve bir Xiaomi 13 Pro’nun optik bloğu. Birincisi, kalın bir muhafaza gövdesinin yanı sıra açılan bir optik birime sahiptir, böylece bütüne değişken ve parlak bir yakınlaştırma sunar (geniş açıda f / 1,8 ve yakınlaştırma sonunda f / 2,8). Karşı karşıya, OLED ekranının ve terminalin ana kartının arkasına bastırılan Xiaomi 13 Pro’nun kamera modülü, sensör ve optik takmak için yalnızca birkaç milimetreye sahip.
Bütünün Aşil topuğu olduğu ortaya çıkan bir optik. Camların plastik kalitesine yapılan milyarlarca dolar yatırımla dengelenen bir zayıflık (cam koymak genellikle çok pahalı, çok riskli ve çok karmaşıktır). Ama aynı zamanda ve her şeyden önce görüntü işlemcilerinde (ISP) ve algoritmalarda. Akıllı telefon geliştirme yılları boyunca, işlemcilerin sürekli artan gücünden yararlanan az çok karmaşık bir dizi numarayı doğuran şok edici bir ikili. Bu, tüm terminallerin mevcut gerçekliğini vurgular: “Fotoğraf” uygulamanızın tetiğine her bastığınızda, bir yığın görüntü yakalanır, binlerce hesaplama yapılır. Böylece öznenizin gözü odaktadır, gökyüzündeki bulutlar sönmez, ağaç gölgesi mantarlanmaz ve hareket telafi edilir. Bu nedenle şu soru ortaya çıkıyor: Fotoğraf makinenizdekiyle aynı fotoğraf mı?
Fotoğrafın ne olduğunu tasarlama sorunu
Samsung Galaxy S23 Ultra’nın kamera modülleri sürüsü. ©Lionel MORILLON / Haberler
Galaxy S23 Ultra, Ay’ın fotoğrafını çektiğinde, algılayamayacağı ayrıntıları yeniden keşfederek görüntünün gerçek bir yeniden bileşimini gerçekleştiriyor gibi görünüyor – astrofotoğraf tutkunları bize süper telefoto’nun optik formülleri hakkında ayrıntılı bilgi verebilirler. lensler ve uzaktan detay algısının sınırı!
Eğer durum gerçekten buysa, portreleri yeniden aydınlatma teknolojilerine (Apple, Google) kıyasla süreçte rahatsız edici olan unsuru sormalıyız. yüzlerin ışığı “alma” biçiminde – ve burada doğa acımasızdır çünkü güzel insanlar mutlaka fotojenik değildir. Akıllı telefonun bir öznenin hareketini görüntünün arka planından sonra entegre ettiği bir gece fotoğrafının gerçekten bir enstantane mi yoksa sahnenin yeniden inşası mı olduğu merak edilebilir.
Akıllı telefonlar, küçük optiklerinin fiziksel sınırlarını aşmak için işlemcilerinin muazzam bilgi işlem gücüne güveniyor. Görüntüleri geliştirmek (veya yeniden oluşturmak) için özellikle AI güdümlü algoritmaları kullananlar. Burada, Snapdragon 888 ISP. © Qualcomm
Konuşmanın başlangıcı tekniktir – akıllı telefonlar, teknik sınırlarını aşmak için görüntüleri yeniden düzenler ve bilgisayarda yeniden çalışmak zorunda kalmadan güzel fotoğraflar üretir. Bu, en büyük sayıyı karşılar ve herkesin “iyi” fotoğraflar çekmesini sağlar. Ancak konuşmanın geri kalanı neredeyse felsefi görünüyor: Galaxy S23 Ultra’m 13 Mart 2023 Pazartesi günü Ay’ın bir fotoğrafını çektiğinde – ki bu, ayın evresi konumlarına inanacak olursak, %67 aydınlatmayla küçülen kambur bir Ay olacak -, kaydettiği gerçekten bu Ay mı… yoksa yüceltilmiş bir versiyonu mu? Bununla birlikte, kendi testlerimizi bile yapmadan önce, Samsung’un bu gönderide üst düzey akıllı telefonlarıyla Ay’ın fotoğraflarını çekmeyi çevreleyen mekanizma hakkında iyi iletişim kurduğunu unutmayın.
Bu nedenle yalan veya aldatma yoktur, ancak Ay’ı tanımak (pozlama, renk sıcaklığı) ve çekim sırasında bir iyileştirme rutini (derin öğrenmeden) uygulamak için büyük bir yazılım geliştirme çabası vardır. Kötüleyenler tarafından ekranda algılanan görüntünün kalitesinin kanıtına gelince, bunlar akıllı telefon ekranının gerçek zamanlı görüntüsünün akıllı telefonla çekim yaparken sıkıştırılmış bir video akışı olduğunu unutuyor gibi görünüyor. Ara belleğin çoğu, birkaç RAW görüntüsünü, işlenmesi ve görüntülenmesi çok pahalı olacak dosyaları depolamak için kullanılır. Ancak tartışma açıkça bu Ay klişesinden daha da ileri gidiyor.
Algoritmaların fayda/risk faktörü
Kaydedilen “anı” görüntüsüne ilişkin felsefi tartışmanın yanı sıra, daha çetrefilli bir soru daha var: Akıllı telefonlar tarafından üretilen “yeniden oluşturulmuş” fotoğrafların ne ölçüde gerçeği temsil ettiği söylenebilir? Ay Ay değilse, algoritmalar yüzleri “geliştiriyorsa”, o zaman ne tür bir fotoğraf mahkeme jürisi önünde delil olarak kabul edilebilir? Akıllı telefon fotoğrafçılığındaki teknik ilerlemenin tüm paradoksu budur: Çekimleri daha okunabilir, daha temiz ve teknik olarak daha “doğru” hale getirirken (birkaç bulanıklık, daha az tıkanmış veya yanmış alan, daha fazla ayrıntı vb.), yeni “kara kutular” Algoritmalar klişelerin güvenilirliğini alt üst ediyor.
Genel halk tarafında tartışma belki de şu veya bu moddaki fotoğrafların “geliştirildiğini” belirten logolarda duracaksa, yine de görüntülerin üretimini denetlemek için teknik bir çerçevenin başlangıcı zaten vardır. Content Authenticity Initiative için CAI olarak adlandırılan bu donanım (SoC, kameralar) ve yazılım doğrulama paketi, bir görüntünün çekimden kesmeye ve daha fazlasına kadar olan yolculuğunu izler. renk düzeltmeleri, eğriler vb.
Content Authenticity Initiative iş akışı ve sertifikası.
Adobe ve New York Times tarafından başlatılan, ardından ilk uyumlu çipi geliştiren Qualcomm tarafından başlatılan CAI, artık kamera markaları olan Leica, Nikon ve Sony tarafından dikkate alınmaktadır. Ancak bu çerçeve, çekimden sonra görüntüleri onaylamak için yararlıysa, şu anda çekim sırasında yazılım öğütmeyi düzenlemek için hiçbir şey planlanmamaktadır. Bu nedenle, Samsung’un Space Zoom’u etrafındaki kargaşa, “doğal” ve dolayısıyla kabul edilebilir iyileştirmeler yapmak için bir başlangıç noktası olabilir. Ve sahtecilik kapsamına girenlerden. Hala geniş çapta açık bir tartışma.
Kaynak :
Apple Insider
Samsung’un yeni üst düzey akıllı telefonundan Ay’ın görüntüleri bir kez daha eleştirmenlerin ateşi altında! Geçen yıl Galaxy S22 Ultra’da olduğu gibi, geçen Şubat ayında piyasaya sürülen S23 Ultra’nın da kullanıcılar, doğal uydumuzun fotoğraflarını “sahte ettiğinden” şüpheleniyor. “Sahtekarlık” derken, “doğaya aykırı” bir imaj iyileştirmesinden bahsediyoruz burada. Anlayın ki Uzay Yakınlaştırması akıllı telefonun yüzdesi aslında Ay’ın yalnızca kaba hatlarını yakalayarak ona bir filtre uygulardı. Bu sadece ayrıntıyı iyileştirmez: daha fazlasını ekler.
Henüz bir karşı-uzmanlıkla meşgul olamadıysak, gelişmekte olan müfettişlerin işleyiş tarzlarını hallettikleri anlaşılmalıdır. Yani web’de Ay’ın bir fotoğrafını çekin, dosyayı çok düşük çözünürlüklü (170×170 piksel) dönüştürün, bir ekranda görüntüleyin, ardından ekranın bir resmini çekin… Ve kaynakta eksik olan ayrıntılara dikkat edin – bir Ay düşük çözünürlükte – Galaxy S23 Ultra tarafından çekilen son fotoğrafta görünün!
Ayrıca okuyun: Düşük ışık ve “sinema”: Galaxy S23 Ultra’nın fotoğraf ve video vaatlerini çözüyoruz (Şubat 2023)
Özellikle AppleInsider gibi “profesyonel” Apple sitelerinde yaygın olarak aktarılan bilgiler, açıkça çok fazla (dijital) mürekkebin akmasına neden oluyor. Ancak bu “olay örgüsüne” isyan etmeden veya “teknik beceriyi” övmeden önce – ki daha sonra göreceğimiz gibi aslında budur – akıllı telefon fotoğrafçılığının doğasına dair birkaç hatırlatma yapalım. “Gerçek” kameralardan düşündüğünüzden çok daha uzak olan.
Tüm akıllı telefonlar zaten fotoğrafları yeniden oluşturuyor
Bale “Giselle”, Bükreş Ulusal Operası. (dansçı: Rin Okuno) © Adrian BRANCO / Haberler
Önceki görüntünün kırpılması. © AB / Haberler
Bu hafta sonu Romanya’daki Bükreş Operası’nda çekilen yukarıdaki kareye bakın. Yakalama terminali, çok iyi Oppo Find X6 Pro’dur (50 MPix ana sensör). İkinci görüntüyü %100 yakınlaştırarak, dansçının yakalama sürecinin işareti olan “hayalet” konturları ortaya çıkardığını görüyoruz. Yani tek bir görüntü değil, bir dizi eşzamanlı çekim. Skandal? İşleme? Yalan ? Hayır, akıllı telefon fotoğraf standardı. Ve her zaman harika fotoğraflara sahip olmanın bedeli.
Hepsi bir arada akıllı telefon işlemcilerinin (burada Snapdragon 888’inki) ISP’leri, dinamik aralığı iyileştirmek için uzun süredir birkaç görüntüyü birleştiriyor. © Qualcomm
Akıllı telefonlarda sensörler büyümeye devam ederse – özellikle Tip 1 inç sensörün entegrasyonuna yönelik bu eğilimle – teknolojik bağlam her zaman aynıdır: akıllı telefonların kamera modüllerinin kaliteli resimler üretmek için desteklenmesi gerekir. Sony, HDR teknolojilerini (dinamik aralığı iyileştirmek için üç donanım çekimi) veya yeniden düzenleme sonrası için görüntüleri daha hızlı yakalayabilen yığın sensör Exmor RS’yi akıllı telefon sensörlerinde ilk kez kullandı. . Küçük sensörlerin sınırlarını aşmayı mümkün kılan teknolojiler.
Fiziksel kısıtlamaların üstesinden gelin
Sony RX100 Mk III
Xiaomi 13 Pro yandan görülüyor. Sony kompakt ile aynı sensör tipini (Tip 1 inç) içerir, ancak bir optiği entegre etmek için çok daha az alana sahiptir.
Ardından, “gerçek” kameralardan çok daha kısıtlayıcı olan fiziksel kısıtlamalara bakmalısınız. Bu nedenle, her ikisi de Tip 1 inç sensörle donatılmış bir Sony RX100 Mark III ve bir Xiaomi 13 Pro’nun optik bloğu. Birincisi, kalın bir muhafaza gövdesinin yanı sıra açılan bir optik birime sahiptir, böylece bütüne değişken ve parlak bir yakınlaştırma sunar (geniş açıda f / 1,8 ve yakınlaştırma sonunda f / 2,8). Karşı karşıya, OLED ekranının ve terminalin ana kartının arkasına bastırılan Xiaomi 13 Pro’nun kamera modülü, sensör ve optik takmak için yalnızca birkaç milimetreye sahip.
Bütünün Aşil topuğu olduğu ortaya çıkan bir optik. Camların plastik kalitesine yapılan milyarlarca dolar yatırımla dengelenen bir zayıflık (cam koymak genellikle çok pahalı, çok riskli ve çok karmaşıktır). Ama aynı zamanda ve her şeyden önce görüntü işlemcilerinde (ISP) ve algoritmalarda. Akıllı telefon geliştirme yılları boyunca, işlemcilerin sürekli artan gücünden yararlanan az çok karmaşık bir dizi numarayı doğuran şok edici bir ikili. Bu, tüm terminallerin mevcut gerçekliğini vurgular: “Fotoğraf” uygulamanızın tetiğine her bastığınızda, bir yığın görüntü yakalanır, binlerce hesaplama yapılır. Böylece öznenizin gözü odaktadır, gökyüzündeki bulutlar sönmez, ağaç gölgesi mantarlanmaz ve hareket telafi edilir. Bu nedenle şu soru ortaya çıkıyor: Fotoğraf makinenizdekiyle aynı fotoğraf mı?
Fotoğrafın ne olduğunu tasarlama sorunu
Samsung Galaxy S23 Ultra’nın kamera modülleri sürüsü. ©Lionel MORILLON / Haberler
Galaxy S23 Ultra, Ay’ın fotoğrafını çektiğinde, algılayamayacağı ayrıntıları yeniden keşfederek görüntünün gerçek bir yeniden bileşimini gerçekleştiriyor gibi görünüyor – astrofotoğraf tutkunları bize süper telefoto’nun optik formülleri hakkında ayrıntılı bilgi verebilirler. lensler ve uzaktan detay algısının sınırı!
Ayrıca okuyun: Röportaj: Eksantrik direktörü Simon Liu ile Oppo’nun fotoğraf vizyonunun kalbine dalmak (Mart 2022)
Eğer durum gerçekten buysa, portreleri yeniden aydınlatma teknolojilerine (Apple, Google) kıyasla süreçte rahatsız edici olan unsuru sormalıyız. yüzlerin ışığı “alma” biçiminde – ve burada doğa acımasızdır çünkü güzel insanlar mutlaka fotojenik değildir. Akıllı telefonun bir öznenin hareketini görüntünün arka planından sonra entegre ettiği bir gece fotoğrafının gerçekten bir enstantane mi yoksa sahnenin yeniden inşası mı olduğu merak edilebilir.
Akıllı telefonlar, küçük optiklerinin fiziksel sınırlarını aşmak için işlemcilerinin muazzam bilgi işlem gücüne güveniyor. Görüntüleri geliştirmek (veya yeniden oluşturmak) için özellikle AI güdümlü algoritmaları kullananlar. Burada, Snapdragon 888 ISP. © Qualcomm
Konuşmanın başlangıcı tekniktir – akıllı telefonlar, teknik sınırlarını aşmak için görüntüleri yeniden düzenler ve bilgisayarda yeniden çalışmak zorunda kalmadan güzel fotoğraflar üretir. Bu, en büyük sayıyı karşılar ve herkesin “iyi” fotoğraflar çekmesini sağlar. Ancak konuşmanın geri kalanı neredeyse felsefi görünüyor: Galaxy S23 Ultra’m 13 Mart 2023 Pazartesi günü Ay’ın bir fotoğrafını çektiğinde – ki bu, ayın evresi konumlarına inanacak olursak, %67 aydınlatmayla küçülen kambur bir Ay olacak -, kaydettiği gerçekten bu Ay mı… yoksa yüceltilmiş bir versiyonu mu? Bununla birlikte, kendi testlerimizi bile yapmadan önce, Samsung’un bu gönderide üst düzey akıllı telefonlarıyla Ay’ın fotoğraflarını çekmeyi çevreleyen mekanizma hakkında iyi iletişim kurduğunu unutmayın.
Bu nedenle yalan veya aldatma yoktur, ancak Ay’ı tanımak (pozlama, renk sıcaklığı) ve çekim sırasında bir iyileştirme rutini (derin öğrenmeden) uygulamak için büyük bir yazılım geliştirme çabası vardır. Kötüleyenler tarafından ekranda algılanan görüntünün kalitesinin kanıtına gelince, bunlar akıllı telefon ekranının gerçek zamanlı görüntüsünün akıllı telefonla çekim yaparken sıkıştırılmış bir video akışı olduğunu unutuyor gibi görünüyor. Ara belleğin çoğu, birkaç RAW görüntüsünü, işlenmesi ve görüntülenmesi çok pahalı olacak dosyaları depolamak için kullanılır. Ancak tartışma açıkça bu Ay klişesinden daha da ileri gidiyor.
Algoritmaların fayda/risk faktörü
Kaydedilen “anı” görüntüsüne ilişkin felsefi tartışmanın yanı sıra, daha çetrefilli bir soru daha var: Akıllı telefonlar tarafından üretilen “yeniden oluşturulmuş” fotoğrafların ne ölçüde gerçeği temsil ettiği söylenebilir? Ay Ay değilse, algoritmalar yüzleri “geliştiriyorsa”, o zaman ne tür bir fotoğraf mahkeme jürisi önünde delil olarak kabul edilebilir? Akıllı telefon fotoğrafçılığındaki teknik ilerlemenin tüm paradoksu budur: Çekimleri daha okunabilir, daha temiz ve teknik olarak daha “doğru” hale getirirken (birkaç bulanıklık, daha az tıkanmış veya yanmış alan, daha fazla ayrıntı vb.), yeni “kara kutular” Algoritmalar klişelerin güvenilirliğini alt üst ediyor.
Genel halk tarafında tartışma belki de şu veya bu moddaki fotoğrafların “geliştirildiğini” belirten logolarda duracaksa, yine de görüntülerin üretimini denetlemek için teknik bir çerçevenin başlangıcı zaten vardır. Content Authenticity Initiative için CAI olarak adlandırılan bu donanım (SoC, kameralar) ve yazılım doğrulama paketi, bir görüntünün çekimden kesmeye ve daha fazlasına kadar olan yolculuğunu izler. renk düzeltmeleri, eğriler vb.
Content Authenticity Initiative iş akışı ve sertifikası.
Adobe ve New York Times tarafından başlatılan, ardından ilk uyumlu çipi geliştiren Qualcomm tarafından başlatılan CAI, artık kamera markaları olan Leica, Nikon ve Sony tarafından dikkate alınmaktadır. Ancak bu çerçeve, çekimden sonra görüntüleri onaylamak için yararlıysa, şu anda çekim sırasında yazılım öğütmeyi düzenlemek için hiçbir şey planlanmamaktadır. Bu nedenle, Samsung’un Space Zoom’u etrafındaki kargaşa, “doğal” ve dolayısıyla kabul edilebilir iyileştirmeler yapmak için bir başlangıç noktası olabilir. Ve sahtecilik kapsamına girenlerden. Hala geniş çapta açık bir tartışma.
Kaynak :
Apple Insider