Data Warehouse

Published on May 2016 | Categories: Types, Research, Business & Economics | Downloads: 72 | Comments: 0 | Views: 659
of 46
Download PDF   Embed   Report

Pentingnya Data Warehouse Dalam Dunia Bisnis

Comments

Content

Pentingnya Data Warehouse dalam Dunia Bisnis

By : Feris Thia
PT. Putera Handal Indotama

Agenda
 Apa itu Data Warehouse ?

 Pemanfaatan Data Warehouse oleh Stakeholder Perusahaan /

Business Entity.
 Apa saja proses di dalam Data Warehouse ?

 Aplikasi ETL (Extract, Transform and Load).
 Kaitan Data Warehouse dengan Multi Dimensional Modelling

dan Business Intelligence.
 Titik-titik krusial dalam Implementasi Data Warehouse.

INTRODUCTION

DATA WAREHOUSE

Apa itu Data Warehouse ?
 Data warehouse adalah “replikasi”

data yang berisi :

:
____________________
Notes

 data mentah (= sumber).

____________________

 konsolidasi data dari berbagai

____________________






sumber.
summary / aggregate data.
data yang sudah ditransformasikan.
metadata.
data bersih dan berkualitas tinggi.

 Tujuan :
 Reporting
 Sumber data subsistem (Data Mart )

____________________
____________________
____________________

____________________
____________________
____________________

Kenapa Data Warehouse ?
 ADAPTASI PERKEMBANGAN BISNIS !
 Proses bisnis yang selalu berubah

CEPAT.

:
____________________
Notes

____________________

 Kecepatan proses bisnis tidak diikuti

____________________

oleh kemampuan adaptasi sistem IT.

____________________

 Untuk itu dibutuhkan satu sistem ad

hoc / temporary untuk adaptasi bisnis.

____________________

 Perlu data hasil konsolidasi output

____________________

dari sistem ad hoc dan sistem
berjalan.

____________________

 Data Warehouse adalah solusinya.

____________________
____________________

Kenapa Data Warehouse ?
 INTEGRASI DATA !
 Data / aset informasi bisnis tersebar

:
____________________
Notes

dimana-mana :

____________________

 Data customer ada di dua sistem

____________________

 Data target penjualan ada di spreadsheet

masing-masing komputer staff
 Transaksi PO kepada supplier ada di sistem
aplikasi desktop Access masing-masing
staff
 dll

 Diperlukan sentralisasi & sinkronisasi

terhadap data-data tersebut.
 Data Warehouse adalah solusinya.

____________________

____________________
____________________
____________________
____________________
____________________

Kenapa Data Warehouse ?
 PERFORMA SISTEM REPORTING !
 Kecepatan

pembacaan
analisis
seringkali dari data historis yang
sudah sangat besar

 Diperlukan agregasi dan summary

data
 Data Warehouse adalah solusinya.

:
____________________
Notes

____________________
____________________
____________________

____________________
____________________
____________________
____________________
____________________

DATA WAREHOUSE
=
INFORMATION ASSET LIBERATION !

DATA WAREHOUSE

PEMANFAATAN DALAM BISNIS

Data Warehouse sebagai Aset
 Data yang lebih reliable

dengan kualitas tinggi
 Akses informasi yang lebih
cepat
 Memiliki view terhadap
bisnis secara keseluruhan

:
____________________
Notes

____________________
____________________
____________________

____________________
____________________
____________________
____________________
____________________

Manfaat dalam Bisnis
 Dapat mengerti pelanggan dengan








lebih baik
Memperbaiki kampanye iklan /
marketing
Meningkatkan pelayanan pelanggan
Memperkecil Resiko
Membuat perencanaan bisnis yang
lebih baik
Membuat keputusan dengan lebih
cepat
dll

:
____________________
Notes

____________________
____________________
____________________

____________________
____________________
____________________
____________________
____________________

Stakeholder Data Warehouse
 Manajemen dan Direksi
 Memiliki pandangan terhadap keseluruhan bisnis.

 Divisi / Unit Bisnis
 Memiliki data yang lebih lengkap dan cepat dalam menganalisa

perilaku operasional subjek dari masing-masing unit
 Contoh subjek : pelanggan (marketing), karyawan (hrd), produk
(riset), dll.
 Divisi IT / IS
 Memiliki produktivitas yang lebih baik dalam mengejar

perkembangan bisnis dengan sistem terkomputerisasi.
 Meningkatkan pemanfaatan teknologi secara lebih baik terutama
database.
 Memecah proses yang kompleks dari suatu view database
relasional.

ETL

ETL (EXTRACT, TRANSFORMATION
& LOAD)

Proses di Data Warehouse
 Data Integration & Extraction
 Optimization and Staging (I/O Balance)
 Cleansing Data
 Normal Distribution

:
____________________
Notes

____________________
____________________

 Pyramid View
 Rules

____________________

 Aggregating Data

____________________

 Validation / Test Case

____________________

 Audit Trail
 Retain Historical References (Slowly

Changing Dimension)
 etc

____________________
____________________
____________________

ETL (Extract, Transform & Load) Tools
 Aplikasi yang dirancang khusus untuk

mengintegrasikan, mengolah dan
menyimpan data dengan berbagai
keperluan dan media.
 Ciri-ciri :
 Batch Processing
 I/O Optimization Capabilities
 Kaya akan modul pengolahan data

:
____________________
Notes

____________________
____________________
____________________

____________________

 Error handling

____________________

 dll

____________________
____________________
____________________

ETL (Extract, Transform & Load) Tools
 Contoh Produk :
 Pentaho Data Integration (Kettle)
 Microsoft SQL Server Integration





Service (SSIS)
Informatica
IBM Data Stage
Talend
dll

:
____________________
Notes

____________________
____________________
____________________

____________________
____________________
____________________
____________________
____________________

Microsoft SQL Server Integration Services

http://daxguy.blogspot.com/2010/03/dynamics-ax-2009-bulk-data-insert-using.html

Pentaho Data Integration

Pentaho Data Integration : Sources

Kenapa ETL ?
 Produktivitas yang tinggi !
 Meningkatkan efektivitas dan efisiensi

divisi IT :
 Fokus akan integrasi dan pengolahan
data !
 Dibandingkan ke kompleksitas algoritma
menggunakan scripting / programming
language umum.
 Dirancang untuk mampu menangani I/O

balancing sehingga meningkatkan kinerja
pengolahan data.

:
____________________
Notes

____________________
____________________
____________________

____________________
____________________
____________________
____________________
____________________

Extract
 What information do you need ?

:
____________________
Notes

 What data sources to extract ?

____________________

 What is the extraction strategy ?

____________________

 How do we detect CHANGE ?

____________________

 How to link everything ?

____________________

 etc

____________________
____________________
____________________
____________________

Transform
 Change the portion of data

structure and value
 Do we need to discretize data ?
 Do we need to split them ? Join

them ? Union them ?

:
____________________
Notes

____________________
____________________
____________________

____________________

 Data Cleansing ?

____________________

 etc

____________________
____________________
____________________

Load
 What portions of data need to be

loaded ?
 Do we need a staging ?

 What destinations are supported ?
 How is the performance ?

:
____________________
Notes

____________________
____________________
____________________

____________________

 etc

____________________
____________________
____________________
____________________

Simple Demo
 Scenario
 Email Registration List

 Extracting information

 Further treatment need

:
____________________
Notes

____________________
____________________
____________________

____________________
____________________
____________________
____________________
____________________

DATA WAREHOUSE

DATA WAREHOUSE AND BUSINESS
INTELLIGENCE (BI)

Data Warehouse & BI !
:
____________________
Notes

 Data hasil dari proses :
 pengambilan (extract)

____________________

 pembersihan (clean)

____________________

 penyesuaian data (conform)

____________________

 dari struktur OLTP -> OLAP

____________________

 Multi Dimensional Modelling !

____________________

 Ralph Kimball

____________________
____________________
____________________

Apa itu OLTP ?
 OLTP = OnLine Transaction Processing
 Aplikasi yang dirancang khusus untuk

menangani operasional sehari-hari
 Bersifat mission critical

 Biasanya meliputi aplikasi seperti :

:
____________________
Notes

____________________
____________________

 ERP : Enterprise Resource Planning

____________________

 CRM : Customer Relationship Management

____________________

 SCM : Supply Chain Management
 dll

____________________

 Contoh :

____________________






SAP
Microsoft Axapta / Dynamics
G.O.L.D.
dll

____________________
____________________

Apa itu OLAP ?
 OnLine Analytical Processing
 Aplikasi yang dirancang khusus untuk

laporan analisis dan merupakan
komponen penting Business
Intelligence (BI)
 Skema database berbeda dengan

skema database OLTP
 Objek dari OLAP adalah Cube dimana

kita bisa memandang data dari
berbagai dimension cube !

:
____________________
Notes

____________________
____________________
____________________

____________________
____________________
____________________
____________________
____________________

Apa itu OLAP ?
 Database OLAP biasanya adalah

suatu data warehouse
 Tipe : ROLAP, MOLAP dan HOLAP
 Contoh Produk OLAP :
 Microsoft SQL Server Analysis
Service (MSAS)
 Pentaho Analysis (Mondrian)
 PALO
 Dan lain-lain

:
____________________
Notes

____________________
____________________
____________________

____________________
____________________
____________________
____________________
____________________

Kenapa OLAP dan Bukan SQL ?
 Aplikasi analisa yang baik

membutuhkan kemampuan query
data ke sistem koordinat posisi row
/ column secara dinamis.
Contoh : Excel
 SQL hanya mengenal
pengembalian row set dari data
dan tidak mengenal sistem
koordinat axis.
 Oleh sebab itu SQL sangat
bergantung pada subquery atau
temporary table.
.

:
____________________
Notes

____________________
____________________
____________________
____________________
____________________

____________________
____________________
____________________

Kenapa OLAP dan Bukan SQL ?
 OLAP menjawab kebutuhan tersebut

dengan query khusus : MDX (Multi
Dimensional Expression) !
 Contoh perhitungan kompleks yang

akan sulit dilakukan SQL :
 Perhitungan year to date penjualan
bulan ini dengan perhitungan pada
bulan yang sama tahun
sebelumnya
 Menghitung rasio kontribusi dari
penjualan bulan ini terhadap
kuartal terkait dan rasio terhadap
keseluruhan tahun
 dll

:
____________________
Notes

____________________
____________________
____________________
____________________
____________________

____________________
____________________
____________________

Contoh OLAP : Mondrian + JPivot

DATA WAREHOUSE

MULTI DIMENSIONAL MODELLING

Multi Dimensional Modelling
 Fact Table and Dimension Table
 Star Schema

 Snowflake Schema

OLTP / Database Transaksional

Star Schema

Snowflake Schema

Related Terms
 Fact and Dimension Table

:
____________________
Notes

 Star and Snowflake Schema

____________________

 Aggregates

____________________

 Slowly Changing Dimension

____________________







(SCD)
Change Data Capture (CDC)
Late Arrival Data
Junk Dimensions
etc

____________________
____________________

____________________
____________________
____________________

DATA WAREHOUSE

TANTANGAN DI DATA WAREHOUSE

Titik-titik Krusial Data Warehouse
 Change Data Capture
 What and when source had changed ?

 Near Real Time Extraction
 Scalability of the data
 Change extraction

 Data Validation
 How to validate ? What scenario ?
 Comparing to what system ?

 Which is correct ?

Titik-titik Krusial Data Warehouse
 Technologies
 Scalability
 Integrity
 Performance
 High Productivity

 Human Resources
 Knowledge Competency on Business Process and

nature of data
 Operational Skill

KOMUNITAS / USER GROUP

Komunitas
 User Group
 Pentaho User Group Indonesia

 http://groups.google.com/group/pentaho-id
 Indo-BI User Group
 http://groups.google.com/group/indo-bi
 SQL Server BI
 http://groups.google.com/group/sqlserver-bi
 Project
 http://www.sampledata.org
 http://contoh-database.googlecode.com
 http://sampledata.googlecode.com

TERIMA KASIH

Sponsor Documents

Or use your account on DocShare.tips

Hide

Forgot your password?

Or register your new account on DocShare.tips

Hide

Lost your password? Please enter your email address. You will receive a link to create a new password.

Back to log-in

Close