ATI 13Data Management, Data Mining,

and Business Intelligenceand Business Intelligence

Antonius Rachmat C

Data Life Cycle Process

Data Modelling (ERD)

• Entities : suatu kesatuan data yang unik yang memisahkannya dari entitas lainnya (tabel)

• Attributes : ciri khas yang menempel pada entitas, biasa disebut field/column

• Relations : relasi yang terjadi antar entitas yang dihubungkan oleh atribut masing-masing entitas

– Biasanya dihubungkan dengan key (primary key and foreign key)

E-R Diagrams

• Rectangles represent entity sets.

• Diamonds represent relationship sets.

• Lines link attributes to entity sets and entity sets to relationship sets.

• Ellipses represent attributes

• Double ellipses represent multivalued attributes.

• Dashed ellipses denote derived attributes.

• Underline indicates primary key attributes

E-R Diagram With Composite, Multivalued, and Derived Attributes

composite multivalue derived

Relationship Sets with Attributes (ERD)

Schema Diagram

Example of primary and foreign keys in table

3-8

Hierarchy of Data

Chapter 3 9

Data Problems

DBMS

Ex: MySQL, FoxPro, SQLServer, Postgres, Access, SQLite, Oracle

Database management system provides access to all data in the database.

Advantages of DBMS

DBMS connector

• Dibutuhkan juga DBMS connector yang berguna untuk menghubungkan antara DBMS dengan bahasa pemrograman yang sifatnya generalyang sifatnya general

• Connector sangat ditentukan oleh bahasa pemrogramannya

• Contoh: JDBC, ODBC, Connector for .NET (ADO.NET)

JDBC

ADO.NET

Indexing

• Indexing sering dilupakan• Indexing pada tabel dilakukan otomatis

pada primary key– Tidak demikian dengan field lainnya– Tidak demikian dengan field lainnya

• Field yang sering digunakan untuk query select klause where SEBAIKNYA diindex!– Index berdasarkan ASCII / Numerik– Index berdasarkan binary

Indexed sequential access method(ISAM)

3-17

In MySQL -> MyISAM vs InnoDB

DBMS system design model

(a) Centralized database. (b) Distributed database with complete or partial copies of the central database in more than one location.

Data analysis in Data Management

• It’s analytical processing, sometimes referred to as business intelligence, includes data mining, decision support systems (DSS), querying, and other analysis activities. analysis activities.

• These analyses place strategicinformation in the hands of decision makers to enhance productivity and make better decisions, leading to greater competitive advantage.

Data Warehouse

• Kumpulan bermacam-macam data yang bersifat subject oriented, integrated, time variant, dan persistent dalam mendukung proses pembuatan keputusan.

• Sumber data berasal dari berbagai macam • Sumber data berasal dari berbagai macam format, software, platform dan jaringan yang beda.– Biasanya berasal dari berbagai departemen

• Data pada data warehouse harus tersimpan dalam sebuah format yang baku (standar).

Karakteristik DW• Data terintegrasi dari berbagai sumber yang berasal dari

proses transaksional (OLTP)• Data harus dibuat konsisten sebelum digunakan (perlu

cleaning data)• Merupakan aggregate data/kesimpulan data, bukan data

yang detail• Data tersimpan dalam format yang standar sehinngga proses • Data tersimpan dalam format yang standar sehinngga proses

query dan analisa dapat dilakukan dengan cepat• Data bersifat read only

Data Warehouse

• Data di dalam data warehouse mempunyaikarakter khusus berupa time-series dalambentuk data historical

• Data terdiri dari suatu seri dari “pemotretan”keadaan yang ditandai dengan waktu dankeadaan yang ditandai dengan waktu dannilai data pada saat “pemotretan” tersebut

• Hal ini dapat digunakan untuk melakukan trend analysis dari data tersebut

• Data warehouse tidak diupdate secara terus menerus, tapi secara periodik

The use of DW

Data Mart

• Data yang terdapat dalam data warehouse dapat dibagi perbagian sesuai dengan kebutuhan dalam informasi -> Data Mart

• Data mart memiliki karakteristik yang sama dengan data warehouse, perbedaannya hanya dengan data warehouse, perbedaannya hanya terdapat pada jumlah data yang dimiliki.

• Dalam data mart, data yang ada hanya berasal dari satu bagian atau satu departemen saja, sedangkan pada data warehouse, data yang ada berasal dari seluruh bagian dalam perusahaan tersebut.

Data Mart

Data Warehouse vs Data Mart

• DW: A generic term for a system of storing, retrieving and managing large amounts of data– Software often includes sophisticated compression

and hashing techniques for fast searching andfilteringfiltering

• DM: type of data warehouse designed mainly to address a specific function or department’s needs– Often uses aggregation or summarization of the

data to enhance query performance– Important, however, to maintain the ability to access

the underlying base data to enable drilldownanalysis as necessary

The Data Warehouse & Data Mart

Chapter 3

Data Mining• Exploration & analysis, by automatic or

semi-automatic means, of large quantities of data in order to discover meaningful patterns

• Lots of data is being collected and warehoused – Web data, e-commerce– purchases at department/

grocery stores– Bank/Credit Card

transactions

Why Mine Data? - Commercial Viewpoint

transactions• Data collected and stored at

enormous speeds (GB/hour)

– remote sensors on a satellite

– telescopes scanning the skies

– scientific simulations generating terabytes of data

the extraction of predictive information from large databases.

• Data trend, connection and behavior pattern analysis

Data Mining

pattern analysis• Data quality -> data cleaning• Data mining tools -> ex: RapidMiner• Use for predictive and description• Statistical techniques and algorithms

Data Mining Tasks...

• Classification [Predictive]

• Clustering [Descriptive]

• Association Rule Discovery [Descriptive]

• Sequential Pattern Discovery • Sequential Pattern Discovery [Descriptive]

• Regression [Predictive]

• Deviation/Anomaly Detection [Predictive]

• Visualisasi adalah konversi data ke dalam format visual atau tabel sehingga karakteristik dari data dan relasi diantara item data atau atribut dapat di analisis atau dilaporkan

Data Visualization

Suhu permukaan laut pada bulan Juli tahun 1982

Teknik Visualisasi

• Histogram

Teknik Visualisasi Data

• Blok Plot

Teknik Visualisasi data

• Scatter Plot

Teknik Visualisasi data

• Countour Plot

Apa itu Business Intelligence?

• Business Intelligence is the processes, technologies, and tools that help us change data into information, information to knowledge, and knowledge into plans that guide organization.

• Technologies for gathering, storing, analyzing dan providing access to data to help enterprise

• Technologies for gathering, storing, analyzing dan providing access to data to help enterprise users make better business decisions.

• Business Intelligence menjelaskan tentang suatu konsep dan metode bagiamana untuk meningkatkan kualitas pengambilan keputusan bisnis berdasarkan sistem yang berbasiskan data.

Irisan pada Business Intelligence

1. Converting Data Into Information2. Making Better Decisions Faster3. Rational Approach to Management

• Database systems and database integration• Data warehousing, data stores and data

marts• Enterprise resource planning (ERP) systems• Query and report technologies

Technologies Supporting BI

• Query and report technologies• Data mining and analytics tools• Decision support systems• Customer relation management software• Product lifecycle and supply chain

management systems

BI Component

• Data– Data store collection by individual applications

• TPS dan FIS– Gathering of all data stores

• Data warehousing• Data warehousing

• Presentation– Scorecards & Dashboards– Enterprise Reporting– OLAP Analysis– Advanced & Predictive Analysis– Alerts & Proactive Notification

BI Dashboard

BI Pyramid in Enterprise

The End

• Presentasi final• TAS (open books dari awal sampai akhir)• Remidi pada hari pertama / kedua TAS

lihat jadwal, akan diumumkan di e-class lihat jadwal, akan diumumkan di e-class dan FB HMTI