In de database van het EPD worden allerlei gegevens opgeslagen. Om deze gegevens inzichtelijk te krijgen op dashboards met interactieve rapportages, worden deze gegevens omgezet naar een ander datamodel. Dit omzetten van de data heeft als voordeel dat de analyses eenvoudiger gemaakt kunnen worden en dat het uitvoeren van analyses minder tijd kost.
Het periodieke laadproces, wordt ook wel ETL proces genoemd. ETL staat voor Extract (het verkrijgen van de juiste data), Transform (het omzetten in het juiste formaat) en Load (het laden in de juiste tabellen).
Het ETL proces is te volgen via het standaard Beheer dashboard binnen de BI tool.
Voor alle dimensie en feittabellen bestaat een generieke error afhandeling. In de tabel impulse_bi.bi_map_log wordt gelogd als een aantal records niet correct is geladen. In de tabel impulse_bi.bi_map_error_log staat vervolgens meer detailinformatie (foutmelding en unieke sleutel) over het record dat niet goed is ingeladen.
Het ETL proces draait op een productie omgeving standaard dagelijks om 21:30 uur, en op een testomgeving nooit.
Indien een zorginstelling de gegevens op een testomgeving bijvoorbeeld 1x per week wil doorladen, dan kan dit geregeld worden via het inrichtingsscherm ‘Onderhoud default waarden BI’ met behulp van de default waarde ‘periodiciteit_ETL_proces’ (select * from def_waarden_bi). Dag in de week dat het ETL-proces draait (1 = maandag, 2 = dinsdag, 3 = woensdag, 4 = donderdag, 5 = vrijdag, 6 = zaterdag, 7 = zondag, 0 = alle dagen, 9 = geen enkele dag). De dbms job draait wel dagelijks, maar laadt alleen gegevens door op dagen dat het ETL proces is ingeschakeld.
Indien de kant wil dat het ETL niet draait op een specifieke dag, dan kan het ETL proces voor die specifieke dag worden uitgeschakeld. Vul hiervoor de datum van die specifieke dag in, in het scherm ‘Onderhoud Default waarden BI’ bij de default waarde ‘datum_etl_proces_overslaan’.
Het ETL proces kan ook gedeeltelijk worden uitgeschakeld. Dit doe je door de default waarde laad_<tabelnaam> op N te zetten voor specifieke tabellen. Als de default waarde op N staat, dan wordt de tabel niet ververst tijdens het draaien van het ETL proces. Er moet wel rekening worden gehouden met het feit dat daarmee de vulling van andere tabellen ook beïnvloed kan worden, omdat er een afhankelijkheid kan bestaan. De afhankelijkheid tussen tabellen staat aangegeven in de tabel impulse_bi.etl_tabel_afhankelijkheid.
Nadat het ETL proces periodiek geladen is, wordt de cache van de RPD opgeschoond. Dit houdt in dat gegevens die getoond worden op een dashboards vanaf dat moment weer eenmalig vanuit de brontabellen moeten worden geladen. Dit is de oorzaak waarom het tonen van gegevens op een dashboard wat langer duurt, nadat het ETL proces heeft gedraaid.