Migrasi Data yang Sukses: Proses Langkah demi Langkah

Lebih dari 2.500 tahun yang lalu, filsuf Yunani, seperti Heraclitus of Ephesus, mengidentifikasi bahwa “Segalanya mengalir, tidak ada yang tersisa.” Baru-baru ini di tahun 1960an, pendiri Intel, Gordon Moore, mengidentifikasi kemajuan pesat dalam chip komputer, dengan penggandaan angka transistor pada chip dengan ukuran yang sama setiap dua tahun (hukum Moore). Bahkan baru-baru ini, RaymondKurzweil, ilmuwan dan futuris, mengatakan: “Analisis tentang sejarah teknologi menunjukkan bahwa perubahan teknologi bersifat eksponensial, berlawanan dengan pandangan ‘intuitif linier’ yang masuk akal. Jadi kita tidak akan mengalami 100 tahun kemajuan di abad 21 – akan lebih seperti 20.000 tahun kemajuan. ”

Lalu apa konsekuensi bagi organisasi di dunia yang dinamis dan selalu berubah ini? Nah, untuk bertahan hidup, mereka harus mendefinisikan ulang dirinya sendiri dan beradaptasi dengan kecepatan yang terus meningkat. Untuk melakukan ini mereka akan memperbarui teknologinya secara reguler. Mendasari pembaruan teknologi ini akan menjadi migrasi data.

Migrasi data adalah operasi penting dalam setiap usaha dan kegagalan bisa menjadi bencana besar. Kemampuan organisasi untuk bergerak maju dengan teknologi baru dihentikan dalam perjalanan dan pengeluaran signifikan telah dilakukan dengan sedikit atau tanpa nilai yang diperoleh.

Proyek migrasi data secara historis cenderung gagal. Menurut Bloor Research, sebanyak 60% tidak berhasil.1 Apa karakteristik 40% yang berhasil menyelesaikan proyek migrasi data dan proses apa yang mereka ikuti?

Pertama, perhatikan tujuh “R” migrasi data. Solusi migrasi harus memiliki karakteristik penting berikut ini:

Kuat dan Tahan: mengelola semua aspek ekstraksi data, transformasi, pembersihan, validasi dan pemuatan ke sasaran – dan mengelola volume data yang tinggi. Selain itu, dapat menyesuaikan dan menimbulkan masalah di lingkungan kerja seperti masalah potensial dengan sumber dan koneksi target, ruang disk dan masalah memori.

Cepat: jalankan secara efisien dan manfaatkan sumber yang ada atau fasilitas target untuk memungkinkan pemrosesan cepat.

Pelaporan dan Rekonsiliasi: menyediakan indikator kemajuan selama migrasi dan mendamaikan proses yang telah selesai.

Dapat dipulihkan: pulih dari titik kegagalan bila diperlukan.

Reusable: kemampuan untuk menggunakan kembali komponen migrasi di proyek lain, termasuk fungsi transformasi, penanganan kesalahan dan pembersihan data rutinitas.

Dengan karakteristik tersebut, pendekatan berbasis alat untuk migrasi data akan memberi banyak fungsi “Rs” sebagai standar “out-of-the-box” untuk mendukung datamigration. Serta pendekatan berbasis alat, ada proses tujuh langkah untuk melakukan migrasi data yang berhasil:

1. Eksplorasi sistem sumber

Tahap pertama proyek migrasi data adalah mengidentifikasi dan mengeksplorasi sistem sumber. Rute yang paling tepat untuk identifikasi adalah mengelompokkan data, nama pelanggan, alamat dan deskripsi produk berdasarkan model target.

Meskipun sistem sumber mungkin berisi ribuan bidang, beberapa mungkin duplikat atau tidak dapat diterapkan pada sistem target. Pada tahap ini, penting untuk mengidentifikasi data mana yang diperlukan dan di mana situasinya, serta data apa yang berlebihan dan tidak diperlukan untuk migrasi.

Sebaliknya, jika sumber yang awalnya diidentifikasi tidak berisi semua data yang diperlukan untuk model target, celah diidentifikasi. Dalam kasus ini, Anda mungkin harus mengkonsolidasikan data dari berbagai sumber untuk membuat catatan dengan kumpulan data yang benar untuk memenuhi persyaratan target.

Menggunakan beberapa sumber data memungkinkan Anda menambahkan elemen lain dari validasi data dan tingkat kepercayaan pada data Anda.

Pada akhir fase ini, Anda akan mengidentifikasi sumber data yang akan mengisi target model. Anda juga akan mengidentifikasi kesenjangan dalam data dan, jika mungkin, memasukkan sumber tambahan untuk dikompensasikan. Secara optimal, Anda akan memecah data ke dalam kategori yang memungkinkan Anda mengerjakan tugas paralel yang dapat diatur dan mungkin dilakukan.

2. Penilaian data

Fase logis berikutnya adalah menilai kualitas data sumber ini. Jika sistem baru gagal karena ketidakkonsistenan data, data yang salah atau duplikat, ada nilai yang sangat terbatas dalam memigrasikan data ke sistem target. Untuk menilai data, kami merekomendasikan pembuatan profil data.

Pembuatan data adalah proses pemindaian dan analisis secara sistematis isi semua kolom dalam tabel yang diminati. Profil mengidentifikasi cacat data pada tingkat tabel dan kolom. Pengambilan data data merupakan bagian integral dari proses evaluasi kesesuaian data dan memastikan kepatuhan terhadap persyaratan sistem target.

Fungsi profiling meliputi memeriksa nilai record aktual dan informasi metadatanya. Terlalu banyak inisiatif migrasi data dimulai tanpa terlebih dahulu memeriksa tingkat kualitas data sumber. Dengan memasukkan data profil awal proses migrasi, risiko overruns proyek, penundaan dan kegagalan yang berpotensi gagal berkurang.

Melalui penggunaan data profiling, Anda bisa:

  • Segera identifikasikan apakah data tersebut sesuai dengan tujuan bisnis.
  • Akurat rencanakan strategi integrasi dengan mengidentifikasi data anomali di depan.
  • Berhasil mengintegrasikan data sumber dengan menggunakan proses kualitas data otomatis.

Output dari fase proyek ini adalah pemahaman menyeluruh tentang kualitas data dalam sistem sumber, identifikasi masalah data dan daftar aturan yang ditetapkan yang akan dibangun untuk memperbaikinya. Anda akan mengidentifikasi dan menentukan aturan kualitas data dan pemetaan dari sumber ke model target. Pada titik ini Anda juga akan memiliki ide bagus, pada tingkat tinggi, tentang perancangan proses integrasi.

3. Desain migrasi

Pada tahap perancangan migrasi, tugas utamanya adalah menentukan arsitektur teknis dan desain proses migrasi. Selain itu, Anda akan menentukan proses pengujian dan bagaimana mentransisikannya ke sistem produksi. Anda juga akan menentukan apakah akan ada putaran paralel, migrasi zero-downtime, atau apakah Anda akan mengharapkan untuk menyelesaikan migrasi dan hanya “melakukan pembatalan” sistem lama.

Pada tahap ini, penting untuk menyusun rencana Anda selama empat langkah berikutnya di atas kertas. Sertakan garis waktu, rincian teknis dan persyaratan lain atau persyaratan persetujuan sehingga keseluruhan proyek akan didokumentasikan.

4. Migrasi membangun

Hati-hati dalam menggunakan pendekatan pengembangan “cukup” dengan migrasi data Anda, hanya karena migrasi hanya akan dilakukan sekali dan akan ada penggunaan kembali kode yang terbatas. Asumsi ini menjelaskan mengapa migrasi data rentan terhadap kegagalan.

Urutan khas yang harus diikuti saat mengembangkan migrasi adalah menentukan subset data dan menguji satu kategori data sekaligus (misalnya, produk atau pelanggan). Pendekatan ini sejalan dengan tahap pertama proyek yang melalui data eksplorasi mengkategorikan data. Dalam kasus proyek yang lebih besar, Anda dapat mengembangkan dan menguji setiap kategori secara paralel. Menguji solusi migrasi biasanya merupakan pendekatan yang iteratif. Mulailah dengan memeriksa komponen secara terpisah di subset kecil untuk memastikan pemetaan, transformasi dan pembersihan data rutinitas bekerja. Kemudian, tingkatkan volume data dan akhirnya hubungkan semua komponen menjadi satu pekerjaan migrasi tunggal.

Output dari tahap ini menghasilkan proses migrasi data yang sepenuhnya teruji yang terukur, dapat diandalkan dan dapat mengantarkan migrasi dalam waktu yang dialokasikan.

5. Eksekusi

Setelah pengujian yang komprehensif, saatnya tiba untuk menjalankan migrasi. Pada sebagian besar kasus, sistem sumber ditutup sementara migrasi dijalankan. Untuk meminimalkan dampak, hal ini kemungkinan akan terjadi pada akhir pekan atau libur umum. Dalam beberapa kasus, di mana aplikasi sumber diperlukan untuk menjalankan 24/7, 365 hari setahun, pendekatan migrasi zero-downtime mungkin diperlukan. Ini memerlukan alat untuk menyediakan proses pemuatan awal, dengan teknologi sinkronisasi data tambahan untuk menangkap setiap perubahan yang terjadi selama beban awal; maka, diperlukan sinkronisasi sumber dan data target setelah selesai memuat awal.

6. Transisi

Pada beberapa titik setelah data dimigrasikan, putuskan kapan harus pindah ke sistem yang baru dan, jika perlu, pensiun dari sistem lama. Selama tahap eksekusi, jalur audit dan log akan dibuat untuk memastikan bahwa semua data telah dimigrasikan dengan benar dan, jika sesuai, sinkronisasi yang benar telah tercapai. Akhirnya, setelah meninjau jalur audit dan log, Anda akan siap untuk membuat keputusan untuk mentransisikan pengguna ke sistem yang baru. Perhatikan bahwa meskipun jalur audit dan log sangat berharga, sebaiknya juga mencari profil sumber dan sistem target saat ini untuk memastikan sinkronisasi benar.

Dalam kasus migrasi zero-downtime, ini menjadi lebih kompleks karena pembaruan pada sistem mungkin terjadi saat pemeriksaan sinkronisasi terjadi. Akibatnya, mungkin ada beberapa penundaan dalam sinkronisasi. Dalam kasus ini, alat dapat memverifikasi sinkronisasi dengan memperhatikan kelambatan antara perubahan sistem sumber dan replikasi data ke dalam sistem target.

7. Produksi

Sebagai bagian dari proses perancangan, kebijakan pensiun sistem akan dibuat untuk mengatasi sistem lama. Juga akan ada peningkatan kualitas data yang terus berlanjut. Ingat bahwa karena tidak semua sistem sumber akan dihentikan, masalah kualitas data dapat diidentifikasi dan perlu diperbaiki di beberapa sistem sumber. Anda juga perlu mengelola perbaikan yang berkelanjutan dan memantau kualitas data dari sistem yang baru.

Sebelum Anda mengetahuinya, akan ada proyek migrasi berikutnya yang tak terelakkan. Pada titik ini, ada baiknya mengidentifikasi komponen yang ada yang dapat digunakan kembali, serta kemungkinan perbaikan yang dapat diterapkan pada solusi migrasi berikutnya.

Leave a Reply

Your email address will not be published. Required fields are marked *