11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

TURKISH ORACLE USER GROUP

Gürcan ORHANTurkcell Teknoloji Ar. Ge. A.Ş.Yazılım Mimarı ve Deneyimli Yazılım Mühendisi

http://gurcanorhan.wordpress.com

http://www.twitter.com/gurcan_orhan

http://tr.linkedin.com/in/gurcanorhan

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

BEN KİMİM ?

Uludağ Üniversitesi Endüstri Mühendisliği 1992 - 2000

İlk DWH projesi Altınyıldız DWH - 2003

Önemli DWH projeleri ;

Aktif iş hayatı - 1994

AVEA DWH Yeniden Yapılandırma Projesi

Tekstilbank DWH ve Siebel CRM Marketing Automation

Turkcell NODI (Network Operations Data Infrastructure)

2008’den itibaren Turkcell, 2010’dan itibaren Turkcell Teknoloji

Oracle Bilgisayar Programı Kullanıcılar Derneği Genel Sekreteri

NODI projesinin Customer Snapshot’ı Oracle.com’da yayınlandı

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

NERELERDEYDİM ?

Önemli sunumlar ;

Oracle Open World 2010 – San Francisco (22.10.2010)

UKOUG Technology & E-Business Suite Conference – Birmingham (29.11.2010)

Sakarya Üniversitesi Bilişim ve Teknoloji Şöleni – Sakarya (24.03.2011)

ODTUG KScope ’11 – Long Beach, California (28.06.2011)

OPN – BI Day – LinkPlus (29.09.2011)

Oracle Open World 2011 - San Francisco (03.10.2011)

Oracle Day ‘11 - İstanbul (01.11.2011)

Fırat Üniversitesi Geleceğine Yön Ver - Elazığ (12.12.2011)

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

NELER YAPTIM ?

http://www.oracle.com/oraclemagazinehttp://www.oracle.com/technetwork/issue-archive/2012/12-jan/index.html

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

NE KULLANIRIM ?

Oracle

Microsoft SQL Server

Veri tabanı yönetim sistemleri

Sybase ASE

Sybase IQ

MySQL

Oracle Data Integrator

Oracle Warehouse Builder

ETL

Informatica

Business Objects Data Integrator

Sybase Power Designer

CA ERWIN

Model Tasarım Oracle Business Intelligence

Cognos

İş Zekası

Business Objects

Microstrategy

Herhangi bir ANSI database

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

GLOSSARY

• DWH : Datawarehouse – Veri Ambarı• DM : Data Mart – Veri Kümeleri• BI : Business Intelligence – İş Zekası

• ETL : Extract – Transform – Load• IK : Incremental Update – Artımsal Güncelleme• SCD : Slowly Changing Dimension – Yavaş Değişen Boyutlar• CDC : Change Data Capture – Değişen Veriyi Yakala

• OLTP : Online Transactional Processing – Operasyonel Sistemler• OLAP : Online Analytical Processing – Küpler• SA : Subject Area – Konu Alanı• STG : Staging Area – Kademe Alanı• DQ : Data Quality – Veri Kalitesi

• FACT : Fact (TRX) – Gerçekleşen (Hareket)• DIM : Dimension – Boyut

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

HERŞEY NASIL BAŞLADI ?

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

Veri Ambarı nedir, ne demektir?

Veri Kalitesi nedir, nasıl sağlanır?

DWH & OLTP farkı nedir?

DWH bileşenleri nelerdir?

ETL ne demektir?

ETL tipleri nelerdir?

DWH & DM farkı nedir?

Modelleme nedir, nasıl yapılmalıdır?

Veri Tabanı fiziksel yaklaşımları nelerdir?

GÜNÜN AJANDASI

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

DATAWAREHOUSE (DWH) NEDİR ?

DWH tarihi• EIS (Enterprise Information Systems)• DSS (Decision Support Systems)• Data Warehousing and Business Intelligence (DWH / BI)

Bir veri ambarı; yönetim kararlarını destekleyici, konu yönelimli, entegre, uçucu olmayan ve zaman değişkenli veri kümesidir. (Bill Inmon - 1990)

Teknik Avantajları• Paralel kullanımı (Parallelism)• Veri Kümelemesi (Partitioning)• Veri Sıkıştırması (Compressing)

İş Zekası, verinin bilgiye dönüşümü işlemidir. (Gartner Group)

DATA

INFORMATION

KNOWLEDGE

DECISION

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

DWH & DM farkı nedir?

Veri Ambarı nedir, ne demektir?

Veri Kalitesi nedir, nasıl sağlanır?

DWH bileşenleri nelerdir?

ETL ne demektir?

ETL tipleri nelerdir?

Modelleme nedir, nasıl yapılmalıdır?

Veri Tabanı fiziksel yaklaşımları nelerdir?

DWH & OLTP farkı nedir?

GÜNÜN AJANDASI

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

DATAMART (DM) NEDİR ?

Datamartlar• Konu yönelimli• Tümleşik• Genellikle tek kaynak sistemden beslenir

ÖZELİK DATA WAREHOUSE DATAMART

İçerik Kurumsal Departmansal

Konu Çok Tek özne, iş birimi odaklı

Veri Kaynağı Çoğul Tekil

Implementasyon Ay – Yıl Ay

Bağımlı veya bağımsız olabilirler.• Bağımlı DM : DWH’tan beslenen, kolay ETL, kurumsal planın parçası• Bağımsız DM : Ayrık, operasyonel maliyeti yüksek, harici veri

kaynaklarından beslenen, analitik ihtiyaçlara yönelik hazırlanan

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

Veri Ambarı nedir, ne demektir?

Veri Kalitesi nedir, nasıl sağlanır?

DWH bileşenleri nelerdir?

ETL ne demektir?

DWH & OLTP farkı nedir?

ETL tipleri nelerdir?

Modelleme nedir, nasıl yapılmalıdır?

Veri Tabanı fiziksel yaklaşımları nelerdir?

DWH & DM farkı nedir?

GÜNÜN AJANDASI

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

DWH & OLTP

ÖZELİK OPERASYONEL SİSTEM DATA WAREHOUSE

Yanıt Süresi Milisaniye / Saniye Saniye / Saat

Operasyon DML (Data Manipulation Language)

Öncelikli olarak salt-okunur

Veri doğası 30 – 60 gün Zamansal enstantane

Veri Organizasyonu Uygulama Öznel, zamansal

Veri Miktarı Küçük / Büyük Büyük / Çok Büyük

Veri Kaynağı Operasyonel, Dahili Operasyonel, Dahili, Harici

Aktiviteler Proses bazlı Analiz Bazlı

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

Veri Ambarı nedir, ne demektir?

Veri Kalitesi nedir, nasıl sağlanır?

DWH bileşenleri nelerdir?

ETL ne demektir?

ETL tipleri nelerdir?

Modelleme nedir, nasıl yapılmalıdır?

Veri Tabanı fiziksel yaklaşımları nelerdir?

DWH & OLTP farkı nedir?

DWH & DM farkı nedir?

GÜNÜN AJANDASI

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

DATAWAREHOUSE BİLEŞENLERİ

OPERASYONEL KAYITLAR

ARŞİV KAYITLARIDOSYALAR

OPERATIONAL DATA STORE

(ODS)DWH DM

METADATA REPOSITORY

KAYNAKSİSTEMLER

STAGINGKATMAN

KURUMSALKATMAN

SUNUMKATMANI

DWH Yazılım Yaklaşımları• Bing Bang Yaklaşımı• Artımsal Yaklaşım

• Yukarıdan aşağıya artımsal (top-down incremental)• Aşağıdan yukarıya artımsal (bottom-up incremental)

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

Veri Ambarı nedir, ne demektir?

Veri Kalitesi nedir, nasıl sağlanır?

DWH bileşenleri nelerdir?

ETL ne demektir?

ETL tipleri nelerdir?

Modelleme nedir, nasıl yapılmalıdır?

Veri Tabanı fiziksel yaklaşımları nelerdir?

DWH & OLTP farkı nedir?

DWH & DM farkı nedir?

GÜNÜN AJANDASI

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

ETL NE DEMEKTİR?

E-T-L (Extract – Transform – Load)

Extraction• Farklı kaynak sistemden, veri tabanından farklı formatlarla elde edilir.• Kaynak sistemlerin canlı, arşiv, dahili ve harici verilerine erişebilir.

Transform• Veri hataları düzeltilir.• Genellikle staging area (remote/on site) kullanılır• Veri entegrasyonu sağlanır• İş kuralları verilere uygulanarak veri doğrulaması gerçekleştirilir• Veriler onaylanır• Verilere zaman entegre edilir.

Load• Elde edilen temizlenmiş veri DWH ortamına yazılır

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

Veri Ambarı nedir, ne demektir?

Veri Kalitesi nedir, nasıl sağlanır?

DWH bileşenleri nelerdir?

ETL ne demektir?

ETL tipleri nelerdir?

Modelleme nedir, nasıl yapılmalıdır?

Veri Tabanı fiziksel yaklaşımları nelerdir?

DWH & OLTP farkı nedir?

DWH & DM farkı nedir?

GÜNÜN AJANDASI

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

ETL ÇEŞİTLERİ

Incremental Update

• Kaynak sistemden elde edilen birincil anahtarlar (Primary Key) yardımı ile «yeni geleni ekle, mevcut olanı güncelle, silineni işaretle» yaklaşımı.

• Change Data Capture (CDC)

Slowly Changing Dimensions Type II (SCD)

Truncate & Load

• Kaynak sistemden elde edilen verilerin tümünün silinerek yeniden yapılandırılması.

• Kaynak sistemden elde edilen veriler tarihsel olarak saklanarak hiçbir veri silinmez. Tarihsel yaklaşım.

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

ETL PROBLEMLERİ

• Kaynak sistemdeki tablonun unusable olması

• Kaynak sistemdeki dosyaya erişilememe

• Yetersiz metadata

• Zayıf veya yetersiz analiz süreci

• Yetersiz yer (storage) planlama

• Kaynak sistemde yapısal değişiklikler

• Yetersiz veri validasyonu

• Hatalı mantıksal / fiziksel model dizaynı

• Veri tipi uyumsuzlukları

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

Veri Ambarı nedir, ne demektir?

Veri Kalitesi nedir, nasıl sağlanır?

DWH bileşenleri nelerdir?

ETL ne demektir?

ETL tipleri nelerdir?

Modelleme nedir, nasıl yapılmalıdır?

Veri Tabanı fiziksel yaklaşımları nelerdir?

DWH & OLTP farkı nedir?

DWH & DM farkı nedir?

GÜNÜN AJANDASI

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

MODELLEME

İş modelinin oluşturulması (Business Model)• Strateji analizinin yapılması• İş birimi tanımlarının ve kurallarının belirlenmesi• İş ihtiyaçlarının belirlenmesi

Mantıksal modelin oluşturulması (Logical Model)• İlişki ve ilişki tiplerinin belirlenmesi• Fact ve Dimension’ların tespit edilmesi• Sonuçların mantıksal olarak üretilerek konu alanlarının tespit edilmesi• Nesnelerin isim ve renk standartlarının belirlenmesi

Fiziksel modelin oluşturulması (Physical Model)• Donanım ihtiyaçlarının tespit edilmesi• Tablo ve index için disk kapasitesi ihtiyacının belirlenmesi• Partition stratejisinin belirlenmesi• Güvenlik stratejisinin belirlenmesi

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

MODELLEME

Third Normal Form (3NF)

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

MODELLEME

Star Schema

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

MODELLEME

Snowflake Schema

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

Veri Ambarı nedir, ne demektir?

Veri Kalitesi nedir, nasıl sağlanır?

DWH bileşenleri nelerdir?

ETL ne demektir?

ETL tipleri nelerdir?

Modelleme nedir, nasıl yapılmalıdır?

Veri Tabanı fiziksel yaklaşımları nelerdir?

DWH & OLTP farkı nedir?

DWH & DM farkı nedir?

GÜNÜN AJANDASI

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

VERİ KALİTESİ NEDİR?

• Beklenen veri, beklenen yerde, beklenen şekilde bulunmaz ise veri kalitesi problemi ortaya çıkar.

• Farklı anlama gelen data

• Eksik bilgi, verinin farklı alanda olması

• Veri tipi farklılığı

• Veri boyutu farklılığı

• Veri doğrulama kurallarının olmaması

• Drill-Down olmaması

• İlişkisel bütünlüğün olmaması, öksüz kayıtların varlığı

• Veri duplikasyonu

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

Veri Ambarı nedir, ne demektir?

Veri Kalitesi nedir, nasıl sağlanır?

DWH bileşenleri nelerdir?

ETL ne demektir?

ETL tipleri nelerdir?

Modelleme nedir, nasıl yapılmalıdır?

Veri Tabanı fiziksel yaklaşımları nelerdir?

DWH & OLTP farkı nedir?

DWH & DM farkı nedir?

GÜNÜN AJANDASI

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

FİZİKSEL ORTAM

Fact tablo karakteristikleri• İş birimlerinin kullanacağı nümerik metrik değerleri içerir• Büyük miktarda veri içerir• Çabuk büyür, çok hızlı genişler• Stabil, Türetilmiş veya Özetlenmiş veri içerir• Genellikle ekleme yapılır• Genellikle dimension tablolarla foreign key ile ilişkilidir

Dimension tablo karakteristikleri• İş birimlerinin görmek istedikleri metin tipteki veriyi içerirler• Genellikle statik veri içerirler• Boyutları küçüktür• Truncate Load mekanizmasına uygundur

Slowly Changing Dimensions tablo karakteristikleri• Genellikle link tablolarıdır (Fact – Dimension linki)• Fact üzerindeki dimension’ın tarihçe bilgilerini tutarlar

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

FİZİKSEL ORTAM

Partitioning• Range Partition• Hash Partition• List Partition• Index Partition• Composite Partition

Indexing• B-Tree Index• Bitmap Index• Function Based Index• Partitioned Index

Star • Genellikle link tablolarıdır (Fact – Dimension linki)• Fact üzerindeki dimension’ın tarihçe bilgilerini tutarlar

Materialized View• Fiziksel yer kaplayan, istendiği zaman refresh edilebilen view yapısı

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

SONUÇ

11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi

TEŞEKKÜRLER

Gürcan ORHANhttp://gurcanorhan.wordpress.com

http://www.twitter.com/gurcan_orhan

http://tr.linkedin.com/in/gurcanorhan