Az adatbázisok kézi feltöltése időigényes folyamat, amely alapos odafigyelést kíván. A WeldExp adatbázis feltöltésénél ezért az adatkinyerés, a rendszerezés, a tesztelés és az ellenőrzés egymásra épülő munkafolyamatban, mesterséges intelligencia támogatásával történik.
A jelenleg alkalmazott feltöltési munkafolyamat
- Az adatok kiolvasása és forrásellenőrzése Codex segítségével.
- Ideiglenes adatgyűjtő Excel-munkafüzet készítése sablonból, az adatok áttekinthető rendszerezéséhez.
- Az SQL-fájlok és Markdown-jegyzetek összeállítása, majd feltöltése a GitHub-repóba MCP használatával.
- Adatbázis-feltöltési teszt és a kötelező validációk lefuttatása.
A teszt eredménye határozza meg a következő lépést:
- validációs vagy adatszerkezeti hiba esetén a folyamat hibajelzéssel leáll, és a javítás visszakerül a Codexszel támogatott előkészítési szakaszba;
- sikeres teszt esetén, az emberi felülvizsgálat után megkezdhető az éles adatfeltöltés.
A tesztadatbázis létrehozása
A GitHubra történő feltöltéskor a tesztadatbázis kétféle módon állhat elő:
- Offline gazdagépnél a GitHubon kézzel frissített seed csomagból, amely CSV- és SQL-fájlokból álló adatbázis-biztonsági mentést tartalmaz. A teszteket ilyenkor a GitHub szolgáltatásához tartozó Linux-runnerek futtatják.
- Online gazdagépnél automatikusan frissülő seed csomagból, az éles adatbázishoz beállított API használatával, minden új feltöltési feladat előtt.
Automatizálás és emberi kontroll
Az emberi felülvizsgálat nem hagyható el; ehhez továbbra is szükség van egy átlátható Excel-dokumentumra. A munkafolyamat célja a gyors és kontrollált adatfeltöltés az adatbázisban beállított triggerszabályok, a sémastruktúra és a GitHubon tárolt validációs eljárások együttes használatával.
A folyamat az ISO 9001-ből ismert PDCA-ciklust alkalmazza a géppel támogatott adatfeldolgozás és kontroll során: tervezés, végrehajtás, ellenőrzés, majd szükség esetén beavatkozás.
A Codex külön, kényszerített visszaellenőrzéseket is végez, hogy ne maradjon ki adat, és az OCR-kiolvasás pontatlanságából vagy a feldolgozás korlátaiból eredő elírások időben kiderüljenek.
A munkafolyamat képernyőképei
Az első két képen a feltöltési folyamat fejlesztéséhez tartozó, GitHubon rögzített munkautasítás látható.
A harmadik kép a GitHub-feltöltéskor teljesen automatikusan lefutó validációt és adatbázistesztet mutatja.
A negyedik képen azok a teszthibák láthatók, amelyek az éles adatbázisba történő feltöltésnél problémát okozhatnának.
