arsitektur data pendidikan

Arsitektur Data Pendidikan

Tujuan

• Menjaga integritas data– Individual– Relasional– Longitudinal

• Meningkatkan kualitas data– Availability– Usability– Reliability

• Mereduksi biaya data– Biaya pengumpulan & pengolahan– Biaya kekeliruan informasi

Data Pokok Pendidikan (Dapodik)

Primer

Sekunder, longitudinal

Peserta Didik

Satuan Pendidikan PTK

Rombel / Angkatan

Proses Pembelajaran

Program SubstansiPembelajaran

Arsitektur Relasional: Transaksi Mengacu Dapodik

Sertifikasi

Mutasi

Akreditasi Hibah

Beasiswa

Ijin Belajar

Penyetaraan

Peserta Didik

Satuan Pendidikan PTK

Rombel / Angkatan

Proses Pembelajaran

Program SubstansiPembelajaran

Data Pokok

Transaksi

Rehab

Nilai UN

Pola Umum

Data ReferensiData Referensi

Data Transaksi

Data Pokok

Data pokok mengacu pada data referensi

Data transaksi mengacu pada data pokok

Roadmap Kualitas DataNilai

Upaya

Available

Usable

Reliable

Aksi:•Pendataan

Aksi:•Integrasi•Pemutakhiran kontinyu

Aksi:•Validasi dan verifikasi kontinyu

Struktur Terbentuk

Kriteria

Individual

Relasional

Longitudinal

Kebenaran

Kelengkapan

Kemutakhiran

Persyaratan kualitas

Integritas

Data Manfaat

Persyaratan struktur

Pendekatan Teknis

Individual

Relasional

Longitudinal

Kebenaran

Kelengkapan

Kemutakhiran

Integritas

Data Manfaat

DB Relasio

nal

Validasi Monitoring Akuisisi

Siklus Pendataan

Solusi sistem informasi

Solusi manajemen:“Manajemen Pendataan”

Integrasi Sistem

Transaksi

Dampak Kriteria Struktur

Agregat Individual

Parsial, Sporadis Relasional

Snap shot Longitudinal

Pergeseran Paradigma Data Dampak

• Sistem baru• Volume meningkat drastis• Butuh partisipasi luas

• Relasi item data baru sistem baru• Kerumitan tinggi human error meningkat

• Penambahan dimensi waktu untuk semua data selain referensi dan data pokok

Biaya tinggi aset yang perlu dijaga

Langkah Integrasi “Diharapkan”Sistem #1

db

Sistem #2

db

Sistem #n

dbIntegrasi

Sistem #1

db

Sistem #2

Sistem #n

Mitos:

Sistem-sistem eksisting

Sistem #1

db

Sistem #2

db

Sistem #n

db

Kenyataan:

Sistem #1

db

Sistem #2

db

Sistem #n

dbIntegrasi gagal

Langkah Integrasi Seharusnya

Data Referensi

Data Pokok

Data Referensi

Sistem #1

db

Sistem #2

db

Sistem #n

dbData Pokok

Data Referensi

1. Referensi ditetapkan dahulu

2. Data pokok terbentuk(individual, relasional, longitudinal)

3. Sistem-sistem mengacu pada dapodik sebagai “backbone” integrasi

Dapodik

Model Ideal Penyatuan Data

Pengumpulan PemanfaatanDB

Sistem Transaksional

Dat

a Re

fere

nsi U

pdate Data

Prinsip “single source of data” Satu database

Pendataan bukan satu-satunya sumber data

Pengumpulan Data Pokok

DB Dapodik

DB Dikdas

DB Dikmen DB Dikti

DB PAUDNI

DB + DW PDSP

DB Dikdas

DB Dikmen DB Dikti

DB PAUDNI

DB + DW PDSP

1. DB Ideal 2. Repository Dapodik sesuai Inmen No 2 th 2011

3. Kelima repository harus berperilaku sebagai satu database sinkronisasi

Sync

Syarat Integrasi

• Data pokok pada akhirnya menjadi data referensi bagi sistem-sistem transaksional

• Primary key data pokok harus persisten meaningless

• Semua sistem transaksional harus merefer dapodik dengan kode sistem.

Sistem #1

db

Sistem #2

db

Sistem #n

dbData

Pokok

Data Referensi

Dapodik

Primary Key Dapodik

• Primary key semua entitas pokok (satuan pendidikan, PTK, peserta didik dan substansi pembelajaran) menggunakan GUID (globally unique ID) atau disebut juga dengan UUID.

• Pertimbangan:– Persisten– Dapat digenerate secara terdistribusi tanpa crash– Tidak perlu diekspos ke pengguna.

• Tidak ada penghapusan record, kecuali dapat dipastikan tidak ada data lain yang mengacu.

Tipe Data Primary Key

GUID/UUID

Binary (16)

Char (20)

Char (32)

Char (36)

16 byte binary,direkomendasikan, index tercepat

format: ASCII 64, 2 digit paling belakang dibuang

format: hexadecimal, character ‘-’ dibuang

format: hexadecimal,konversi paling mudah, index lambat

Nomor-nomor nasional seperti: NPSN, NISN, NUPTK adalah atribut biasa, bukan primary key.

Siklus Data

Data Referensi

Data Referensi

Data Transaksi

Data Pokok

Sumber Data Akuisisi Pengelol

aanPemanfa

atan

Pendataan #1:

data referensi

Sumber Data Akuisisi Pengelol

aanPemanfa

atan

Pendataan #2:

data pokok sbg data awal

Sumber Data

Pendataan• Yang ditangkap: potret

keadaan• Waktu: periodik• Mekanisme: survey &

pengumpulan data• Keakuratan: rendah/sedang• Permasalahan: partisipasi

Sistem Transaksional• Yang ditangkap:

perubahan / aliran• Waktu: on demand• Mekanisme: integrasi

(otomatis)• Keakuratan: tinggi• Permasalahan: teknis

Akuisisi

• Akuisisi = Upaya untuk mendapatkan data

Pendataan

Sistem Transaksional

Instrumen

Sistem Informasi

Format Data

Format Data

Pengumpulan

Integrasi

Validasi +

Verifikasi

(Konversi)

Pengelolaan Data

Verifikasi

Pengelolaan Di PDSP

DataWarehouse

(WH)LoadExtract Transform

Akuisisi

Akuisisi

Akuisisi

Validasi

Penomoran Nasional

Operational Data Store

(ODS)

Data yang sudah tidak berubah lagi

Sinkronisasi Repository

ETL #1

Validasi

Penomoran Nasional

Operational Data Store

(ODS)

Repository Unit Utama

ETL #2

Validasi

Sistem Transaksional

Akuisisi Sync

Model Sinkronisasi

DB Dikdas

DB Dikmen DB Dikti

DB PAUDNI

DB + DW PDSP

Sync DB Dikdas

DB Dikmen DB Dikti

DB PAUDNI

ODS PDSP

DW PDSP

Sync

4 link sinkronisasi1 link ETL

Validasi

• Ditujukan untuk meningkatkan keandalan data

• Prioritas melakukan validasi secara otomatis

• Validasi manual tetap diperlukan

• Dilakukan selama pendataan berlangsung

Input Data

Validasi Satuan Pendidikan

Verifikasi Kab./Kota

Validasi Unit Utama

ETL ke ODS PDSP

Validasi Nasional

constraint

hanya untuk data yg krusial

proses batch+tindak lanjut

proses batch(tindak lanjut oleh unit utama)

Antisipasi Perubahan Dapodik

• Dapodik dapat berubah (ada validasi, verifikasi, pemutakhiran, dan lain-lain)

• Pengacuan Dapodik harus langsung, tidak disarankan dengan mengcopy meskipun dilakukan secara periodik.

Skema Pemanfaatan

Repository Unit Utama

Data CenterPDSP

Sinkronisasi(incremental)

Sistem Transaksional

Referensi data pokok(baca langsung)

AnalyticalTool

Informasistrategis

InformasiPublik,

Profil Sekolah

Rujukan“Cepat”

Data Individual

Prov,Kab./Kota

ODS

WH

Mekanisme Pengacuan Dapodik oleh Aplikasi

Sementara• Internal Kementerian: baca

langsung repository dapodik unit utama

• Dinas Pendidikan Daerah: hosting aplikasi, supaya dapat baca langsung repository unit utama

• Eksternal: tidak dibuka.

Permanen• Internal Kementerian: baca

langsung datamart dapodik dan/atau web service.

• Dinas Pendidikan Daerah: hosting aplikasi, supaya dapat baca langsung datamart PDSP.

• Eksternal: Web service PDSP.

Statistik Dapodik

• Statistik Dapodik dan transaksi terkait hanya di-publish oleh PDSP

• Unit utama menggunakan statistik dari repository unit utama untuk keperluan internal, tidak di-publish keluar.

Satu NusaSatu BangsaSatu Bahasa

Satu Data

Terima kasih