Jak vidí obraz informatici? Je to záznam o fyzikálním stavu věcí, říkají

Říká se, že jeden obrázek vydá za tisíc slov. Vydá ale také za celou pravdu? S fotografiemi se dnes dá lehce manipulovat, svět jedniček a nul čím dál více rozostřuje hranice mezi realitou a iluzí. V aktuálním čísle časopisu A / Věda a výzkum jsme se s Barbarou Zitovou a Janem Blažkem z Ústavu teorie informace a automatizace AV ČR vydali po stopách analýzy obrazu – malířských pláten, kamerových záznamů i rentgenových snímků.

Benzinová stanice byla tehdy v noci skoro prázdná. Za pokladnou stál jen pumpař a do konce jeho života zbývalo jen pár okamžiků. Otevřely se dveře, dovnitř vstoupil muž se zakrytým obličejem, začal ohrožovat pumpaře a nakonec vystřelil. Jeho čin sice nahrála bezpečnostní kamera, ale rozlišení záznamu bylo mizerné. Přesto se podařilo pachatele najít, obžalovat a odsoudit. Mezi podpůrnými důkazy během soudního řízení byl i nenápadný detail, který vynikl až po digitálním zpracování nekvalitního videozáznamu. Ukázalo se, že vrah střílel netradičně, ukazováček měl položený podél hlavně, a ne na spoušti. Jedna z vyšetřovacích verzí policie tedy byla, že pachatel prodělal úraz ruky.

Zhruba tak nějak se udál skutečný případ, který policie vyřešila díky expertize vědců z Ústavu teorie informace a automatizace AV ČR. Vytvořili pro vyšetřovatele sadu softwarových nástrojů umožňujících zvýšení kvality fotografií a videí, odstranění šumu a rozmazání nebo zaostření detailů.

„Některé bezpečnostní kamery, zejména ty levnější, poskytují záznamy v ne příliš dobré kvalitě, ale i tady mohou metody zpracování obrazu policii zjednodušit práci,“ říká vedoucí oddělení zpracování obrazové informace jmenovaného ústavu Barbara Zitová. Spolupráce s kriminalisty neskončila dodáním programu, vyšetřovatelé se na vědce obracejí, když potřebují pomoci s komplikovanějšími případy.

Barbara Zitová z Ústavu teorie informace a automatizace AV ČR

Pomoc s podpůrnými důkazy může mít různou podobu, například určení pravosti obrazového materiálu v soudním sporu pacienta s lékařem po nepodařené léčbě. Pacient chtěl posoudit věrohodnost dvou rentgenových snímků, které podle lékaře odůvodňovaly provedený zákrok. „Náš závěr ale byl, že druhý snímek je pouze dodatečně upravenou kopií toho prvního, ve skutečnosti totiž není reálné během dvou návštěv ordinace nasnímat rentgenové snímky úplně stejným způsobem,“ vysvětluje Barbara Zitová.

Obraz je číslo
Fotografie, obrázky i videozáznamy se dají upravovat, moderní technologie je totiž převádějí na čísla a ta se dají „přepočítat“. Zatímco milovník obrazových magazínů obdivuje estetickou stránku fotografií a čtenář denního tisku sleduje informační hodnotu snímku, matematik a informatik vnímá i jejich číselné souvislosti.

„Pro nás jsou obrazy čísla, která vznikají fyzikálním procesem. Třeba fotka postavy. Vy k ní můžete mít vztah a do popředí vystupuje jasná představa toho, co vidíte, ale pro nás to jsou fotony, záznam o fyzikálním stavu věcí,“ popisuje Jan Blažek, postdoktorand z oddělení zpracování obrazové informace.

Pro úpravu, třeba zlepšení kvality obrázku, je důležité dobře uchopit vstupní data. „Musíme se dostat k podstatě, zjistit, co bylo vstupem pro daný obraz. Získáváme tedy data a snažíme se je pochopit. Na straně druhé pak předkládáme příjemci srozumitelný výsledek. Jsme takovým prostředníkem mezi světem, často plným fyzikálních jevů, a konzumentem našich aplikací,“ dodává vědec.

Algoritmy vyvinuté a prozkoušené pracovníky z oddělení zpracování obrazové informace Ústavu teorie informace a automatizace AV ČR se přitom zdaleka neomezují jen na vyšetřování trestných činů. Pomoci mohou i lékařům při diagnostice, léčbě a také restaurátorům výtvarných děl a historikům umění.

Madona s králíkem
Existují dvě velmi podobné malby, obě známé pod jménem Madona s králíkem. Dělí je od sebe více než tři staletí, což ovšem běžný pozorovatel nepozná. Originál namaloval v roce 1530 Tizian, dokonalou kopii pak v roce 1850 Édouard Manet.

Madona s králíkem. Vlevo Tizianův originál, vpravo Manetova kopie

Druhý zmíněný obraz v letech 2017–2019 restaurovala florentská dílna Opificio delle Pietre dure a při té příležitosti provedla sken na unikátním přístroji, jejž vyvinula v předchozích letech. „Jeho jedinečnost tkví ve schopnosti pořídit snímek obrazu ve dvaatřiceti pásmech vlnového spektra, které se perfektně slícují tak, že jsou porovnatelné,“ říká Jan Blažek. Díky spolupráci s restaurátory z italské Florencie a tamnímu Národnímu institutu optiky měl možnost data detailně prozkoumat. Výsledky jejich společné studie vyšly nedávno v časopise Angewandte Chemie.

Tým podrobil Manetovu malbu multispektrální analýze ve viditelném infračerveném pásmu a rentgenové fluorescenci, čímž se podařilo zmapovat chemickou a prostorovou charakterizaci pigmentů. Druhou malbu, Tizianův originál, už dříve prozkoumali francouzští odborníci, data o ní poskytl archiv Centre de Recherche et de Restauration des Musées de France. Cílem studie bylo porovnat obě malby, konkrétně použití jednotlivých pigmentů, a zároveň navrhnout vhodnou metodu pro posuzování obrazových dat vedoucí k jasnému závěru.

Pro malířské pigmenty jakožto chemické látky je snaha vytvořit „otisk prstu“ (fingerprint) neboli soubor vlastností, který by jednoznačně identifikoval použitou barvu. S částečným úspěchem zde lze využít právě multispektrální (neinvazivní) skeny. Tam, kde pro daný fingerprint existuje více možných chemických látek, pomáhají experti z oboru dějin umění, například s datací obrazu.

Touto metodou se podařilo určit, jaké pigmenty modré barvy umělci použili na konkrétních místech Madony s králíkem, protože i když se na první pohled může zdát, že modrá je pořád modrá, analýza prozradí, že se jedná o jinou chemickou látku. Takové podrobnosti často doplňují zajímavý příběh vzniku díla (čímž zvyšují jeho hodnotu na trhu s uměním) a využít je lze také při budoucích restaurátorských zásazích.

Ukázalo se třeba, že Manet ve snaze vytvořit dokonalou kopii malby použil barvy, které viděl na Tizianově obrazu. Jenže ty se liší od barev, jež na Tizianově plátnu vidíme dnes po restaurátorském zásahu. Odlišnosti jejich chemického složení prokázala spektrální analýza.

Jan Blažek měl v týmu na starosti právě onu výpočetní část, tedy návrh algoritmu, který porovnává naměřený spektrální fingerprint (ve formě souboru čísel) a nachází k němu odpovídající barvu v databázi. „Z našeho úhlu pohledu v publikovaném článku není zas až tak atraktivní samotný algoritmus, ale je přínosné, že jsme našli konzumenta, pro kterého je srozumitelný. To je náš úspěch, který v tom vidím,“ dodává informatik.

Jan Blažek z Ústavu teorie informace a automatizace AV ČR

Konzumenty myslí mimo jiné historiky umění, kteří sestavují životní příběh malíře. Platí to třeba v případě Vincenta van Gogha, v jeho tvorbě se totiž časem měnily barvy, které používal, a díky analýzám lze jeho obrazy datovat s přesností na roky, možná i měsíce. To umožní stanovit jejich posloupnost, navrhnout genezi motivů, prostě doplnit dosud ne úplně známý příběh vzniku jeho děl.

Dívka s perlou
Pro české informatiky je velmi cenné, když mohou spolupracovat se zahraničními pracovišti, jež disponují špičkovými skenery, a poskytnou tak potřebná data k výpočtům. V oblasti výtvarného umění tým z oddělení zpracování obrazové informace nyní spolupracuje také s univerzitou v belgických Antverpách, která vlastní skener schopný provést rentgenovou fluorescenční difrakci. Tato metoda umí pro každý daný pixel obrazu nejenom stanovit, kolik kterých atomů obsahuje, ale i o jakou chemickou sloučeninu se jedná, což může pomoci například rozlišit jednotlivé druhy použité běloby.

„Když chcete pro Policii ČR vyvinout software na rozpoznávání espézetek, nafotíte třeba auta kolegů a můžete vyvíjet algoritmy, ale v oblasti umění je velmi těžké najít někoho, kdo je ochoten vám poskytnout data. Není jich totiž mnoho a výzkumná pracoviště si je hlídají,“ doplňuje Barbara Zitová. „Je proto velkým úspěchem, že jsme navázali aktivní spolupráci jak s Florencií, tak s Antverpami.“

Pracoviště ve Florencii má snazší přístup k obrazům renesančních umělců, antverpští odborníci zase úzce kooperují s místními muzei, a dostanou se tak k výjimečným dílům Petera Paula Rubense, Jana Vermeera nebo Vincenta van Gogha. I s daty naměřenými na obrazech některých z těchto velikánů čeští informatici pracovali.

„Třeba slavný obraz Dívka s perlou od Vermeera je velmi zajímavý. Je jednou z nejlépe prozkoumaných maleb, je prokazatelně pravý a je na něm minimum restaurátorských zásahů, data jsou proto vhodná k výpočetní analýze,“ vysvětluje Jan Blažek. Jako opačný příklad zmiňuje gotický oltář ve Vlašském dvoře v Kutné Hoře, u nějž se zjistila až třicítka přemaleb. V takovém případě není snadné udělat jednoznačný závěr, jak dílo restaurovat.

Postupně se daří rozšiřovat spolupráci také s českými restaurátory. Vědci z oddělení zpracování obrazové informace udržují kontakty například s litomyšlskou Fakultou restaurování Univerzity Pardubice nebo s Akademickou laboratoří materiálového průzkumu malířských děl (ALMA), což je společné pracoviště Akademie výtvarných umění v Praze a Ústavu anorganické chemie AV ČR.

V laboratoři ALMA spolupracují restaurátoři a chemici s informatiky na materiálových analýzách.

V oblasti vývoje pokročilých algoritmů ale platí, že pro informatiky je v současné době cenné zejména partnerství se zahraničními institucemi. „Pro nás je mezinárodní spolupráce zásadní, co se týče kvality vstupních dat, na nichž můžeme ověřovat své hypotézy. Jednou z mých velkých snah je vzít algoritmy, které otestujeme na kvalitních datech, a upravit je do podoby, aby se mohly používat v naší restaurátorské obci,“ dodává Jan Blažek.

Propojování jiných světů
Pro vývoj algoritmů jsou tedy zásadní data. A je vcelku jedno z jakého oboru. Ústav teorie informace a automatizace AV ČR proto loni uspořádal mezinárodní seminář s cílem více propojit zástupce oborů, které mohou informatikům poskytnout data a zároveň těžit z jimi vyvinutých algoritmů. Akce nazvaná Multi-source data analysis workshop se konala v listopadu 2019 a přijeli na ni odborníci z různých oblastí (medicíny, výtvarného umění i dálkového průzkumu Země).

Jedním z hostů workshopu byl také Koen Janssens z Antverpské univerzity, jemuž procházejí pod rukama nejlepší obrazy od Rembrandta a dalších umělců. Vědci z Ústavu teorie informace a automatizace s ním úzce spolupracují a pomáhají jim přitom jejich už dříve nabyté zkušenosti ze zpracování medicínských dat, konkrétně dat z magnetické rezonance.

Ačkoli to nevypadá, obě oblasti se prolínají a mají si co vzájemně nabídnout. Zkušenosti, které nyní pražský tým nabírá při analýze uměleckých děl, proto bude moci využít při analýze medicínských dat. „I když možná zpočátku potrvá, než se podaří najít společný slovník,“ podotýká Barbara Zitová.

Rakovina, logopedie a dojící krávy
Ostatně, několik úspěšných projektů v medicínské sféře má Ústav teorie informace a automatizace AV ČR už za sebou. Před pár lety se například vědci z oddělení zpracování obrazu věnovali vývoji doprovodného softwaru pro ultrazvukové diagnostické zařízení, jež umožňuje časný záchyt karcinomu prsu. Vyvinuté řešení pomáhá sledovat pohyb sondy, a zjednodušuje tak navigaci během vyšetření.

Správná diagnostika prsu umožní včas zachytit případné rakovinové bujení. Pomáhá k tomu i algoritmus na zpracovávání obrazu.

„Když lékař vyšetřuje ruční sondou prs, je dobré, aby věděl, které místo prošetřil dostatečně a které ještě ne. Slepá studie – to znamená, že lékaři přesně nevěděli, jaká data vyhodnocujeme – ukázala, že průměrný čas preventivního vyšetření je často kratší, než se doporučuje,“ zmiňuje Barbara Zitová. Projekt vyústil také ve vytvoření certifikované metodiky sonografického vyšetření prsu, využitelné v klinické praxi.

Metody digitálního zpracování obrazu našly uplatnění rovněž při analýze kmitání lidských hlasivek. Vyvinutý software lékařům nabízí možnost jednoznačně zaznamenat parametry tohoto pohybu a díky němu se zvyšuje šance, že případné poškození hlasivek, či dokonce nádorové onemocnění bude včas zachyceno.

Řečového aparátu se týká i další projekt. Terapie motoriky mluvidel je součástí většiny logopedických diagnóz, ať už u malých dětí nebo u dospělých pacientů po mozkových příhodách. U běžně prováděné terapie pacient cviky provádí před zrcadlem, navržené softwarové řešení přichází s možností procvičovat s pomocí aplikace v počítači. Kamera sleduje, jak žáček pohybuje jazykem a rty, a ihned vyhodnocuje, jak mu to jde. „Speciálně pro děti vyvíjíme program na bázi hry. Dítě snímá kamera a v rozšířené realitě na obrazovce se mu například přimaluje šlehačka kolem pusy a ono ji musí správně slíznout, za to pak dostává hvězdičky,“ vysvětluje Barbara Zitová.

Jak dodává, možnosti využití vyvíjených algoritmů jsou skutečně široké. Aktuálně její oddělení pracuje na aplikaci v oblasti chovu hospodářských zvířat, konkrétně krav určených k dojení mléka. Veterináři mnohdy nasazují zvířatům v případě bakteriálních zánětů vemen širokospektrální antibiotika. To ale není zcela ideální. Lepší je identifikovat ze vzorku mléka konkrétní druh bakterie a na základě takového zjištění nasadit specifický druh léku.

Vědci proto spolupracují s firmou LabMediaServis, která vyrábí diagnostické sety pro stanovení původců mastitid dojnic přímo na farmě. Funguje to tak, že veterinář či chovatel nanese vzorek mléka a podle barvy a textury nakultivovaných kolonií může určit druh přítomných bakterií. Aby šla identifikace snadněji a přesněji, vyvíjejí informatici rozhodovací algoritmus, který na základě fotografií kolonií podá informaci o pravděpodobném výskytu bakterií.

Vyvíjený algoritmus pomůže s identifikací bakterií podle barvy a textury kultivovaných kolonií.

Skutečnost a iluze
Vědci působící v Ústavu teorie informace a automatizace AV ČR jsou zpravidla vystudovaní matematici nebo informatici. Nabízí se otázka, jestli je ve škole vůbec napadlo, pro jak rozmanité oblasti budou jednou navrhovat algoritmy. „V takové aplikace, jaké dnes děláme, jsem ani nedoufala. Šla jsem studovat matematiku, protože mě bavila, a postupně mě chytla i počítačová grafika. Pak jsem navštívila přednášku profesora Flussera a bylo rozhodnuto – nebudu se věnovat tvorbě, ale analýze obrazu,“ vzpomíná Barbara Zitová. Jan Flusser, kterého zmiňuje, je dnes jejím kolegou a zástupcem ředitele ústavu (v minulosti vedl oddělení zpracování obrazové informace a v letech 2007–2017 i celý Ústav teorie informace a automatizace AV ČR).

V jaké oblasti bude působit, nevěděl zpočátku úplně přesně ani Jan Blažek. „Pro mě byla informatika na matfyzu jasnou volbou už od gymnázia, ale samozřejmě tehdy jsem neměl jasnou představu, co jednou budu programovat. Dnes je automatizace úplně všude, i tam, kde by ji člověk nečekal,“ dodává. Oba potvrzují, že jejich obor se rozvíjí neuvěřitelným tempem. Stačí srovnat konferenční příspěvky dnes a před pouhými pěti lety. Zcela nové možnosti představují vysoce výkonné počítače a všude hrají klíčovou roli umělé neuronové sítě.

S novými příležitostmi ale přibývá i rizik. Fotografie se dají upravovat a falšovat ve velkém a laik vůbec nemá šanci rozeznat zmanipulovaný snímek od pravého. S pomocí umělé inteligence mohou vznikat dokonalá falza, a obrazové manipulace se tak stávají jednou z vážných hybridních hrozeb.

Více než kdy dřív je proto potřebné, abychom slepě nedůvěřovali vizuálním záznamům, které mohou být spíše iluzí než realitou. Nemusí jít ale nutně jen o cílenou manipulaci totalitních režimů nebo pojišťovacích podvodníků. Ani fotografie, které si pořizujeme mobilním telefonem, totiž nezachycují úplně věrohodně to, co vidíme očima. Současné chytré mobily s kamerami mívají zabudované algoritmy, které realitu trochu „vylepšují“ (typicky v režimu selfie fotek). Nafocený snímek si navíc můžeme následně upravit pomocí nejrůznějších filtrů, které sofistikované mobilní přístroje nabízejí.

S tím, jak rostou znalosti fyzikálních vlastností objektů reálného světa i naše schopnost je popsat maticí čísel, které říkáme obraz, se také zvyšují možnosti aplikace algoritmů pro zpracování obrazu. Zatímco v oblasti restaurování se daří zachytit dříve neviditelné, v oblasti bezpečnosti jde čím dál více o to, kdo bude mít navrch. Zločinci, kteří úpravami fotografií a videozáznamů napáchají další škody, anebo bezpečnostní složky, jež díky spolupráci s vědci snáze dopadnou pachatele trestného činu?

V rámci hlavního tématu aktuálního čísla jsme si o obrazech povídali i s Klárou Benešovskou a věnovali jsme se také proměnám krajiny, které kdysi zachytili čeští malíři na svých plátnech. To vše i další zajímavé články najdete v aktuálním čísle časopisu A /Věda a výzkum.

4/2020 (verze k listování)
4/2020 (verze ke stažení)

Připravila: Leona Matušková, Divize vnějších vztahů SSČ AV ČR
Foto: Shutterstock; Jana Plavec, Divize vnějších vztahů SSČ AV ČR; Musée du Louvre, archiv ÚTIA

Přečtěte si také

• V Praze odstartovala největší mezinárodní konference o materiálovém modelování
• Z čeho se skládá kosmické záření? Napoví přelomová metoda českého fyzika
• Tuk je možné vydolovat i z tisíce let staré keramiky, říká Veronika Brychová
• Svérázná říše umělé inteligence. Máme se jako lidstvo bát, nebo být nadšení?
• Přelomové datování. První lidé přišli do Evropy už před 1,4 milionu let
• Přitažlivá nepřitažlivost. Vědci experimentálně potvrdili novou formu magnetismu
• Krása neviditelného krystalu. Jak se zkoumá skrytý svět atomů a molekul
• Planetky neboli asteroidy: jak pomáhají vědcům při dobývání a výzkumu vesmíru
• Nová krystalografická metoda pomůže ve vývoji léků i rychlejších počítačů
• Dva bratři Jungwirthové, dva prestižní evropské granty ve výši 120 milionů korun