Oracle als verwerkingsmachine: verladen naar Oracle Database
Gepubliceerd: Auteur: Team Communication Categorie: OracleSenior Oracle Developer Patrick Barel is gespecialiseerd in het optimaliseren van de Oracle Database. Bij zijn opdrachtgever Alliander worden grote hoeveelheden gegevens, zoals metingen en standen, vanuit een online systeem met filetransfer verladen naar de Oracle Database. Dit verliep voorheen via een C#-programma. Overdag ging dit goed. Maar om middernacht werd zo’n groot bestand aangeboden, dat de verwerkingstijd opliep tot 2 uur. Door slim gebruik te maken van de kracht van de Oracle Database bracht Patrick de verwerking terug naar minder dan 5 minuten.
Patrick vertelt: “Overdag was er niet zo heel veel aan de hand. Elke 5 minuten werden bestanden met wijzigingen aangeboden. De verwerking van zo’n bestand lag onder de 5 minuten. Het probleem was het grote bestand om middernacht. Hierdoor was data voor een paar uur niet actueel. Omdat we steeds meer naar een 24/7-maatschappij bewegen, was er een oplossing nodig.”
De kracht van Oracle Database
“Ik heb als eerste de verwerking van het bestand naar Oracle gehaald. Het C#-programma zorgde dat het bestand via een bulkoperatie in een ‘staging’-tabel werd gedumpt. PL/SQL-code kon daarna met de data aan de slag. Door gebruik te maken van de kracht van Oracle Database – in dit geval met name de kracht van de SQL-engine – kon de verwerking van het volledige bestand teruggebracht worden naar minder dan 5 minuten.”
Tijdwinst optimaal benut
De behaalde tijdwinst in de nacht was reden om de verwerking van alle bestanden aan de Oracle Database over te laten. Patrick: “Hiervoor heb ik eerst alle bestanden op de Oracle Database Server geplaatst. Vanaf de server ben ik de bestanden via External Tables gaan benaderen als ‘gewone’ tabellen. De verwerking is nu zo snel, dat we de frequentie van bepaalde bestanden hebben opgeschroefd van elke 5 minuten naar elke minuut. In theorie zouden we nog sneller kunnen. Maar het aanbiedende systeem kan de bestanden niet sneller aanleveren.”
Instrumentatie in Oracle Database
Er zit nog een voordeel aan het gebruiken van de Oracle Database als verwerkingsmachine. Patrick: “We kunnen nu de instrumentatie direct in de Oracle Database doen. Ik maak hiervoor gebruik van het Logger Framework. Door code goed te instrumenteren kunnen we de flow van de code precies volgen. De code van het Logger Framework wordt alleen uitgevoerd als het log level op de juiste waarde staat. Zo wordt de code aangezet op het moment dat het nodig is, zonder dat er nieuwe code naar productie moet worden gebracht.”
Meer informatie?
Meer weten over Oracle als verwerkingsmachine? Neem contact op met sales@qualogy.com of 070 319 5000.
