Mi az AI alapú adatkinyerés? Hogyan működik és miért jobb, mint az OCR

Az adatkinyerés az a folyamat, amely során strukturált adatokat nyerünk ki egy számladokumentumból. Szállító neve, dátum, számlaszám, tételek, áfa összege, végösszeg. Kézi feldolgozás esetén egy személy elolvassa a számlát, és beírja az értékeket egy táblázatba vagy könyvelési rendszerbe. Automatizálás esetén a szoftver elolvassa a dokumentumot, és ugyanezt teszi. De nagy mennyiségben és emberi fáradtság nélkül.

Az AI alapú adatkinyerés több millió számladokumentumon betanított gépi tanulási modelleket használ a feladat elvégzésére. Ez a cikk pontosan elmagyarázza, hogyan működik, és mi különbözteti meg a régebbi OCR megközelítésektől.

Az adatkinyerés három rétege

1. réteg: Dokumentum digitalizálás

Digitális PDF-eknél (a PDF-be ágyazott szöveg) a kinyerés közvetlenül olvashatja a szöveget szkennelés nélkül. Szkennelt PDF-ek és képek esetén az első lépés az OCR. A képpontokból álló kép átalakítása géppel olvasható szöveggé.

A modern AI rendszerek neurális hálózat alapú OCR-t (például Google Cloud Vision vagy Tesseract 5) használnak, amely jelentősen felülmúlja a régebbi, szabályalapú OCR-t az alacsony minőségű szkenneléseknél, kézzel írott megjegyzéseknél és nem szabványos elrendezéseknél.

2. réteg: Szemantikai megértés

Amint a szöveg elérhető, az AI elnevezett entitásfelismerő (NER) vagy dokumentumértelmező modellt alkalmaz annak azonosítására, hogy mit képvisel az egyes szövegrészek. Itt rejlik az intelligencia.

Egy dokumentumértelmező modell nemcsak azt látja, hogy "1 250,00 €", hanem megérti, hogy ez egy olyan pozícióban és környezetben jelenik meg, amely összhangban van a "végösszeg" mezővel. Felismeri, hogy a "Számla dátuma:" melletti szöveg egy dátum, és hogy a "23% áfa:" utáni szám egy adóösszeg.

Ezeket a modelleket általában pénzügyi dokumentumkészleteken finomhangolják, és képesek kezelni: több nyelvet és pénznemet, változó elrendezéseket (vízszintes vs. függőleges táblázatok, csak összesítő vs. tételes részletezés), és vegyes nyelvű számlákat (pl. lengyel számla angol termékleírásokkal).

3. réteg: Érvényesítés és megbízhatósági pontszám

A kinyerés után egy érvényesítési réteg ellenőrzi a kinyert értékek belső konzisztenciáját:

• A tételek részösszegeinek összege megegyezik a jelentett részösszeggel?
• Az áfakulcs × nettó összeg = áfa összeg?
• A számla dátuma valós dátum (nem OCR hiba, mint a "0Z/13/2O24")?
• A szállító áfaszáma a megfelelő formátumban van az azonosított országhoz?

Azok a mezők, amelyek nem mennek át az érvényesítésen, vagy ahol a modell megbízhatósági pontszáma egy küszöbérték alá esik, emberi felülvizsgálatra kerülnek megjelölésre. Ahelyett, hogy csendben helytelen értékként kerülnének be.

Mi kerül kinyerésre

Egy jól konfigurált AI adatkinyerő rendszer rögzíti:

• Számlaszám
• Számla dátuma és esedékesség dátuma
• Szállító neve, címe és áfaszáma
• Vevő neve, címe és áfaszáma
• Tételek (leírás, mennyiség, egységár, részösszeg)
• Nettó összeg, áfakulcs, áfa összege, bruttó végösszeg
• Pénznem
• Fizetési feltételek és IBAN (ha van)

Pontosság a való világban

Az AI adatkinyerésre vonatkozó közzétett pontossági adatok 90% és 99% között mozognak, a dokumentum minőségétől, nyelvétől és az elrendezés összetettségétől függően. Ezek az adatok általában a mezőszintű pontosságra vonatkoznak. Az egyes mezők helyesen kinyert százalékos arányára.

A gyakorlatban a mezőszintű pontosság jelentősen eltér a mezőtípusok között:

• Magas pontosság (>99%): Számlaszám, dátumok, pénznem, végösszegek digitális PDF-eken
• Közepes pontosság (95-99%): Szállító neve és áfaszáma (különböző névformátumok), tételek összetett elrendezéseken
• Alacsonyabb pontosság (90-95%): Szkennelt papírszámlák, kézzel írott elemek, egzotikus elrendezések

Az Invoflux 95%+ pontosságot ér el a vegyes dokumentumminőség mellett. Az alacsony megbízhatóságú mezőkkel rendelkező számlák <5%-a esetében ezeket a mezőket egy felülvizsgálati felületen mutatjuk be, ahol egy ember másodpercek alatt ellenőrizheti vagy javíthatja azokat.

Miért ne használjunk csak táblázatot + kézi rögzítést?

A számlák kézi adatbevitele nagy mennyiségben két fő problémával jár:

1. Idő: Számlánként 10 mező bevitele 2-3 percet vesz igénybe dokumentumonként. Havi 200 számla esetén ez 7-10 óra adatbevitel.
2. Hibaarány: Az emberi átírási hibaarány általában 1-4%. Havi 200 számla esetén ez 2-8 hibás számla, amelyek esetleg csak az audit idején derülnek ki.

Az AI adatkinyerés 95%+ pontossággal, a kivételekhez tartozó felülvizsgálati felülettel, gyorsabb és pontosabb, mint a kézi bevitel havi ~30 számla feletti mennyiségnél.

Hogyan kezeli az AI kinyerés az új szállítókat

A sablonalapú OCR-rel szembeni egyik fő előny: az AI adatkinyerés nulla beállítást igényel, amikor új szállítót ad hozzá. A modell általánosít a számlaelrendezések között, mivel különböző dokumentumformátumokon tanították. Nem kell sablont konfigurálnia; csak feldolgozza a számlát, és az AI kitalálja az elrendezést.

A sablonalapú eszközöknél minden új szállítóhoz új sablonra lehet szükség, és minden elrendezésváltozás egy meglévő szállítótól megszakítja a kinyerést, amíg nem frissíti a sablont.

Összegzés

Az AI alapú számlaadat-kinyerés ötvözi az OCR-t (szkennelt dokumentumokhoz), a dokumentumértelmező modelleket (mezőazonosításhoz) és az érvényesítést (a pontosság biztosításához). Az eredmény egy automatizált kinyerés, amely különböző számlaformátumokon működik nagy pontossággal, és beépített emberi felülvizsgálattal rendelkezik a kivételes esetekre. Jelentősen skálázhatóbb, mint a kézi bevitel, és robusztusabb, mint a sablonalapú OCR.