Mesterséges intelligenciával mentik meg az erdélyi magyar sajtóörökséget
Sikeresen lezárult az Eötvös Loránd Tudományegyetem (ELTE) vezette Digitális Örökség Nemzeti Laboratórium (DH-LAB) és az Erdélyi Digitális Tudománytár (Digitéka) közös projektje. Az együttműködés eredményeként több mint 333 ezer oldalnyi történelmi, erdélyi magyar sajtóanyag vált a modern kutatás számára kereshetővé, egyúttal lefektették egy új, mesterséges intelligencián alapuló, kifejezetten a magyar történeti szövegekre optimalizált szerkezetfelismerő rendszer alapjait is.
A projekt elsődleges célja a határon túli magyar kulturális örökség megmentése, digitális megőrzése és a 21. századi követelményeknek megfelelő kutathatóságának biztosítása volt. A munka során összesen 26 erdélyi történeti újság 333 492 oldalát dolgozták fel modern optikai karakterfelismerő (OCR) technológiákkal. Az elkészült, digitalizált archívumot a Digitéka számára kétrétegű, teljes szövegű keresést is lehetővé tevő PDF formátumban, egységes vízjellel ellátva adták át.
A projekt legfontosabb tudományos újdonsága a puszta digitalizáláson túlmutató technológiai fejlesztés. A történelmi, sokszor töredezett, rossz minőségű papírra nyomtatott és bonyolult tördelésű (többhasábos) újságoldalak gépi olvasása komoly kihívást jelent az eddig ismert szoftverek számára. Ennek leküzdésére az ELTE kutatási infrastruktúrájára támaszkodva a szakemberek közösen fejlesztettek egy úgynevezett „layout analysis” (lapszerkezet-elemző) rendszert.
A munka során a Digitéka és a DH-LAB szakemberei (annotátorai) összesen 4078 újságoldalt láttak el aprólékos kézi magyarázó címkékkel. Ez a munka egy egyedülálló „tanítóadatbázist” eredményezett. A létrehozott adathalmaz segítségével a gépi tanulási algoritmusok (mesterséges intelligencia) képesek lesznek sokkal pontosabban felismerni a régi magyar és erdélyi nyomtatványok sajátos szerkezeti elemeit, ami a jövőben drasztikusan javítja az OCR-eredmények pontosságát a hasonló történelmi dokumentumoknál.
Ez is érdekelhet
A 19. század végének és a 20. század első felének erdélyi magyar sajtója (olyan lapok, mint az Ellenzék, a Keleti Újság, vagy a Brassói Lapok) a korszak társadalom-, politika- és kultúrtörténetének pótolhatatlan forrása. A trianoni békediktátum utáni kisebbségi lét, a két világháború közötti pezsgő szellemi élet és a romániai rendszerváltások mind e lapok hasábjain tükröződnek. A fizikai példányok azonban az elmúlt évtizedek viszontagságai – könyvtári selejtezések, cenzúra, papírromlás – miatt végveszélybe kerültek, gyakran csak hiányos sorozatok maradtak fenn. A digitalizáció az egyetlen esély ezen információk megmentésére.
A Digitéka (Erdélyi Digitális Tudománytár) egy hiánypótló erdélyi kezdeményezés, amely az erdélyi magyar tudományos és kulturális írott örökség online elérhetővé tételén dolgozik, elsősorban folyóiratok és könyvek szkennelésével. Az ELTE konzorciumi vezetésével működő Digitális Örökség Nemzeti Laboratórium (DH-LAB) a mesterséges intelligencia és a nyelvitechnológia (NLP) legújabb vívmányait alkalmazza a magyar kulturális vagyon feldolgozásában. A most lezárult közös kutatás és fejlesztés (a layout analysis tanítóadatbázis) nemcsak a magyar, hanem a nemzetközi digitális bölcsészeti (Digital Humanities) térben is jelentős eredménynek számít, mivel a "kisebb" nyelvek és a speciális történeti tipográfia felismerése a globális technológiai óriáscégek számára ritkán élvez prioritást.
