Mesterséges intelligencia segíti a művészeti alkotások azonosítását
Strukturált tudásgráfok alkalmazásával tették hatékonyabbá a festmények és más kulturális javak felismerését egy újonnan fejlesztett mesterséges intelligencia modell segítségével, állítják a Machine Learning című tudományos folyóirat legfrissebb számában. Az olasz és német kutatók által megalkotott rendszer a korábbiaknál eredményesebben köti össze a vizuális és szöveges információkat a művészettörténeti adatokkal. A technológia az absztrakt vagy hiányosan dokumentált műalkotások esetében is pontosabb azonosítást tesz lehetővé a hagyományos nyelvi modellekhez képest.
- Olasz és német kutatók egy új mesterséges intelligencia alapú rendszert fejlesztettek ki a műalkotások pontosabb azonosítására.
- A KARAMEL elnevezésű szoftver a puszta kép- és szövegfelismerés helyett strukturált tudásgráfokat használ a történelmi összefüggések értelmezéséhez.
- A Machine Learning folyóiratban bemutatott technológia jelentősen megkönnyítheti a kulturális örökség digitalizálását és archiválását.
A KARAMEL elnevezésű rendszert a bari Aldo Moro Egyetem, a potsdami Hasso Plattner Intézet, valamint a kieli egyetem kutatói fejlesztették ki. A szoftver a multimodális entitás-összekapcsolás technológiájára épül, amely egy adott képi vagy szöveges utalást egy adatbázis, jelen esetben a Wikidata megfelelő eleméhez rendel. A művészeti terület különösen nehéz feladat elé állítja az algoritmusokat, mivel a puszta képpontokon vagy szavakon alapuló egyezés nem elegendő az ikonográfiai témák vagy mitológiai hivatkozások pontos és biztonságos értelmezéséhez.
Az architektúra két komponenst ötvöz. Az első egy vizuális-nyelvi kódoló, amely a képeket és a szövegeket dolgozza fel, míg a második egy gráf neurális hálózat. Ez utóbbi a Wikidata kontextuális tudását kódolja, összekapcsolva a műalkotásokat alkotóikkal, a keletkezés idejével és a használt anyagokkal.
A tesztek során a rendszer felülmúlta a kizárólag nagy nyelvi modellekre épülő korábbi megoldások teljesítményét. Az eredmények igazolják, hogy a strukturált tudás integrációja hatékonyabb, mint a számítási kapacitás puszta növelése.
A fejlesztés részeként a kutatócsoport egy új, nyilvános adatbázist hozott létre WikiMuSA néven. A referenciaadatkészlet felépítéséhez a Wikipédia 2023. novemberi állapotát vették alapul, majd a különböző hosszúságú szócikkeket a Llama 3 modell segítségével egységes, harminc és száz szó közötti összefoglalókká sűrítették. Ez biztosította, hogy az algoritmusok tanítása során a szövegek hossza ne torzítsa a végeredményt. A koncepcionális felépítés más tudományágakban, például az orvosbiológiában is sikerrel alkalmazható lehet.
Ez is érdekelhet
A képzőművészeti alkotások digitalizációja az elmúlt évtizedekben felgyorsult, ami több millió műtárgy elektronikus archiválását eredményezte. A múzeumok számára a legnagyobb kihívást ezen adathalmazok pontos katalogizálása jelenti.
A mesterséges intelligencia eddig jellemzően egyszerű mintafelismerésre támaszkodott, ami megnehezítette az olyan többértelmű utalások feloldását, mint egy Vénusz-ábrázolás azonosítása az ókori római istennő, egy Botticelli-festmény vagy egy ismeretlen flamand mű között. A most bemutatott hibrid megközelítések ezt a hiányosságot küszöbölik ki a történelmi összefüggések beépítésével.
