Pages

Jumat, 30 September 2011

Teknik Implementasi pada Datawarehouse

Beberapa pendekatan yang digunakan untuk mengimplementasikan arsitektur warehouse, yaitu secara bottom up, top down atau kombinasi antara keduanya.
1. Desain Implementasi Pendekatan Top Down
Langkah awal implementasi data warehouse dengan pendekatan top down adalah membangun sebuah data warehouse pada semua data perusahaan, setelah itu dilanjutkan dengan membangun data mart yang berisi data warehouse khusus yang merupakan bagian dari data warehouse yang dibangun sebelumnya.
• Arsitektur ini biasa juga disebut dengan Hub-and-Spoke Architecture (The Corporate Information Factory)
• Awalnya dibangun sebuah Enterprise Data Warehouse.
• Data level atomic disimpan dalam 3th Normal Form dalam Enterprise Data Warehouse.
• Data akan di extract dari Source System dan di Load ke dalam Data Warehouse pada level Granularity terendah (Data level atomic).
• Data akan di Load kedalam Data Warehouse lewat Persistent Staging Area.
• Data dalam Data Warehouse kemudian akan dibuat Summary-nya, dibuat Dimensional dengan cara diteruskan ke beberapa Dependent Data Mart, Data Mart ini hanya menyimpan Data Summary yang disimpan dalam Star-Schema
atau Snowflake-Schema.
• User bisa melakukan Query baik ke Data Warehouse maupun ke Data Mart
• Bill Inmon menganjurkan dan mempromosikan arsitektur ini
Keuntungan pendekatan top-down :
1. Upaya yang dikeluarkan ditujukan untuk data perusahaan secara menyeluruh.
2. Arsitekturnya bukan hanya sekedar menggabungkan beberapa data marts yang terpisah.
3. Tempat penyimpanan data hanya satu dan terpusat.
4. Aturan dan kontrol dilakukan secara iteratif, maka hasilnya akan dapat diperoleh dengan cepat.
Kerugian dari pendekatan top-down :
1. Waktu yang dibutuhkan untuk proses implementasi akan lebih lama, sekalipun dilakukan dengan metode iteratif.
2. Kemungkinan gagal saat proses implementasi lebih besar.
3. Membutuhkan keahlian tingkat tinggi untuk dapat melakukan cross- functional.
4. Jika tanpa konsep pembuktian, maka kemungkinan biaya pengeluaran untuk prosesimplementasi akan lebih besar.

2. Desain Implementasi Pendekatan Bottom Up
Implementasi bottom up dimulai dengan membangun data mart untuk menyelesaikan suatu permasalahan tertentu tanpa menunggu dari pengembangan infrastruktur yang telah lengkap. Ketika ada permasalahan yang lain, maka akan dibuatkan data mart baru. Begitu juga seterusnya. Selanjutnya bermacam-macam data mart tersebut digabungkan menjadi sebuah data warehouse.
• Arsitektur ini biasa juga disebut dengan The Data warehouse Bus Structure
• Awalnya dibangun sebuah Dimensional Data Mart, belakangan
dbisa dikembangkan menjadi beberapa Data Mart sesuai dengan
kebutuhan dan budget dari bisnis User.
• Data Mart mengandung baik Data atomic maupun Data
Summary
• Tidak ada model Normalized, semua Data Mart adalah imensional yang diorganisasikan dalam Star-Schema
• Data yang diload ke Data Mart lewat non-persistent Staging
Area
• Penggunaan Conform Dimension adalah Mandatory, dengan
menggunakan Bus Architecture maka semua Data Mart bisa
saling terintegrasi secara logika sehingga dapat memberikan
pandangan Enterprise akan Data.
• Ralph Kimball menganjurkan dan mempromosikan arsitektur
ini
Keuntungan pendekatan bottom-up adalah sbb:
1. Proses yang dilakukan lebih mudah dibanding pendekatan top-down, sehingga waktunya juga lebih cepat.
2. Lebih menguntungkan untuk mengembalikan investasi dan melakukan konsep pembuktian.
3. Kemungkinan gagal saat proses implementasi lebih kecil.
4. Memungkinkan tim pengembang untuk belajar dan berkembang.
Kerugian pendekatan bottom-up:
1. Setiap data mart hanya memiliki ruang lingkup data yang sempit.
2. Memungkinkan adana pengulangan data pada setiap data mart.
3. Memungkinkan terjadinya data yang konsisten dan tidak dapat disatukan.
4. Perkembangan antarmuka sistem tidak dapat dikendalikan.

Dalam perkembangannya saat ini ada dua pendekatan lain dalam membangun Data Warehouse seperti dijelaskan dibawah ini:
3. Desain Implementasi Hybrid approach
Suatu pendekatan yang menggunakan campuran dari pendekatan top down dan pendekatan bottom up.
• Methodology ini dikembangkan untuk menghindari kekacauan data Mart pada methodology yang ada sebelumnya Dimulai dengan membuat Enterprise Data Model. Ketika ditambahkan Data Mart, Data Model pada Data Warehouse diperluas dengan teknik incremental Enterprise Data Model.
• Setelah Data Mart pertama selesai dibangun, dapat dilanjutkan dengan membangun beberapa Data Mart berikutnya sesuai dengan kebutuhan Business User.
• Data Mart dibangun lebih dahulu dibanding dengan Data Warehouse.
Tidak seperti methodology tradisional, Data Mart di populate dengan ETL Tool bukan dari Data Warehouse.
• Demikian juga halnya dengan Aggregate yang dihitung dengan ETL Tool, bukan dari Data Warehouse, menggunakan teknik Incremental Aggregation
• Data Mart mengandung Data atomic yang relevan dengan spesifik Business area dan juga mengandung Data Summary atau Aggregate nya.
• Pembangunan Data Warehouse adalah opsional dan bisa dibangun belakangan sampai diperlukan usaha untuk menekan redudancy Data atomic atau untuk mengkonsolidasikan Data atomic dalam satu database terpusat.
• Pembangunan ODS adalah opsional dan dapat dibuat belakangan.
• Semua komponen dalam arsitektur ini terintegrasi dengan metadata yang dihasilkan dan disinkronkan secara otomatis oleh ETL Tool.
• Data yang di load kedalam dimensional Data Mart lewat non-persistent Staging Area.
• Data Mart bersifat Dependent, namun ketergatungannya hanya berdasarkan turunan Lokal Meta Data dari pusat Meta Data bukan tergantung pada Data dari Data Warehouse.
• Aplikasi Data Warehouse berdasarkan arsitektur “hub-and-spoke”, namun dengan hub dari ETL Tool bukan hub dari Data Warehouse.
• Pieter Mimno, Myers & Holum yang menganjurkan dan mempromosikan arsitektur ini.

5. Desain Implementasi Federated approach
• Methodology ini sebenarnya bukan arsiktektur namun lebih sebagai suatu Theory yang membolehkan untuk mengintegrasikan asset Data agar dapat memuhi kebutuhan dan untuk merespon kondisi yang dinamis.
• Menyatukan data dari berbagai sumber, termasuk dari Data Mart atau Data Warehouse yang lain
• Memang bukan methodology yang elegan namun adakalanya sangat berguna dan sesuai dengan banyak kebutuhan.
• Methodologi ini biasanya dianjurkan pada perusahaan yang sudah mempunyai lingkungan Decision Support yang komplek namun tidak ada keinginan untuk membangun ulang.
• Doug Hackney & Eckerson.yang menganjurkan dan mempromosikan arsitektur ini.
Referensi :
1. http://blog.ub.ac.id/nando123ksp/2010/11/02/data-warehouse
2. Muhammad Subhan |subhan@b inus ian.or g |YM:subhan_0072001

Tidak ada komentar:

Posting Komentar