Das manuelle Hochladen von Datenbanken ist zeitaufwendig und erfordert große Sorgfalt. Beim Befüllen der WeldExp-Datenbank erfolgen Datenextraktion, Strukturierung, Test und Prüfung daher in einem aufeinander aufbauenden, durch künstliche Intelligenz unterstützten Arbeitsablauf.
Aktueller Upload-Arbeitsablauf
- Auslesen der Daten und Quellenprüfung mit Unterstützung von Codex.
- Erstellen einer temporären Excel-Arbeitsmappe zur Datensammlung aus einer Vorlage, um die Daten übersichtlich zu strukturieren.
- Erstellen der SQL-Dateien und Markdown-Notizen und anschließendes Hochladen in das GitHub-Repository über MCP.
- Ausführen des Datenbank-Upload-Tests und der vorgeschriebenen Validierungen.
Das Testergebnis bestimmt den nächsten Schritt:
- bei einem Validierungs- oder Datenstrukturfehler wird der Prozess mit einer Fehlermeldung gestoppt und die Korrektur in die durch Codex unterstützte Vorbereitungsphase zurückgeführt;
- bei erfolgreichem Test kann nach der menschlichen Prüfung mit dem Produktiv-Upload begonnen werden.
Erstellen der Testdatenbank
Beim Upload auf GitHub kann die Testdatenbank auf zwei Arten entstehen:
- Bei einem Offline-Host aus einem auf GitHub manuell aktualisierten Seed-Paket, das eine Datenbanksicherung aus CSV- und SQL-Dateien enthält. Die Tests werden in diesem Fall von den Linux-Runnern des GitHub-Dienstes ausgeführt.
- Bei einem Online-Host aus einem automatisch aktualisierten Seed-Paket unter Verwendung der für die Produktivdatenbank konfigurierten API vor jeder neuen Upload-Aufgabe.
Automatisierung und menschliche Kontrolle
Die menschliche Prüfung darf nicht entfallen; dafür wird weiterhin ein übersichtliches Excel-Dokument benötigt. Ziel des Arbeitsablaufs ist ein schneller und kontrollierter Datenbank-Upload durch das gemeinsame Zusammenspiel der in der Datenbank definierten Triggerregeln, der Schemastruktur und der auf GitHub gespeicherten Validierungsverfahren.
Der Prozess wendet den aus ISO 9001 bekannten PDCA-Zyklus auf die maschinell unterstützte Datenverarbeitung und Kontrolle an: planen, ausführen, prüfen und bei Bedarf handeln.
Codex führt außerdem separate, erzwungene Gegenprüfungen durch, damit keine Daten ausgelassen werden und Tippfehler aufgrund ungenauer OCR-Auslesung oder Verarbeitungsgrenzen rechtzeitig erkannt werden.
Screenshots des Arbeitsablaufs
Die ersten beiden Bilder zeigen die auf GitHub festgehaltene Arbeitsanweisung zur Entwicklung des Upload-Prozesses.
Das dritte Bild zeigt die Validierung und den Datenbanktest, die beim GitHub-Upload vollständig automatisch ausgeführt werden.
Das vierte Bild zeigt die Testfehler, die beim Upload in die Produktivdatenbank Probleme verursachen könnten.
