Sql server etl framework
Transcript of Sql server etl framework
SQL Server ETL-framework
Genereren en uitvoeren van packages
Jeroen Nijs
Healthcare Intelligence
2
Randvoorwaarden
• Packages met vast patroon genereren
• Meta data
• Project Deployment Model
• Middels SQL Server Agent job packages uitvoeren
• Aansturing
• Logging
• Herstartbaarheid
• Eenvoudig
• Begrijpelijk
3
Domeinen
Control
Logging
Packages/SP’s
SSIS-packages
Typen:
• Van Bron naar Staging area
• Van Staging area naar Historische datalaag
• Van Historische datalaag naar Dimensietabel
• Van Historische datalaag en Dimensietabel naar Feittabel
• Van Stermodel naar dedicated Stermodel
4
SSIS-packages
Meta data
• Brontabel
• Staging tabel• CreateStagingTable.sql
• MD5• MD5Hash_Formula.sql
• Historische datalaag tabel• CreateHistoricTable.sql
5
SSIS-packages
Van Bron naar Staging
• SSIS-package met DELTA-load• SRC2STG_MEDICAT_RECDEEL
• SSIS-package zonder DELTA-load• SRC2STG_MEDICAT_MEDICIJN
• BIML Script• SRC2STG.biml
6
SSIS-packages
MetaData
• SQL Server• Database: Control
• Schema: Meta
7
SSIS-packages
Van Staging naar Historische Datalaag
• SSIS-package• STG2HIS_MEDICAT_RECDEEL
• BIML Script• STG2HIS.biml
8
Logging
• Wat
• Wanneer
• Resultaat
• Condities
• Niveaus:• Job
• Step
• Details
• SQL Server• Database: Control
• Schema: Log
9
Status DescriptionE ErrorI InfoN NumbersP ParameterR RunningS SuccessfulT TableW Warning
Control
• Wat
• Volgorde
• Condities
• Niveaus:• Application
• Package
• Parameters
• SQL Server• Database: Control
• Schema: Control
10
LoadStrategyDELTADELTA_KEYSFULLKEYS
Control
Storage Procedures and Functions:
• Control-schema
• Add, Set, Delete en Get
• ControlMaintenance.sql
• LastStartDateOfSuccessfulTableLoad
• UpdateParameterTypeSelectDateFrom2
Disable/Enable:
• Application
• ApplicationPackage
• PackageParameter
11
Control
Storage Procedures: Execute
• Control.GetEnabledApplicationPackages
• Control.ExecuteCatalogPackage
SQL Server Agent:
• Job
• Steps
• Parameters
12
Master Package
13
14
Domeinen
Control
Logging
Packages/SP’s
SQL Server ETL-framework
15