METODE EVALUASI OUTCOME
UNTUK PENGUKURAN
EVALUASI KINERJA**)
OLEH : RIZANG
WRIHATNOLO*)
I.
PENDAHULUAN
Sejalan dengan reformasi birokrasi
yang digulirkan sejak tahun 2008, Kementrian PPN/Bappenas telah mereorganisasi
struktur kelembagaannnya sesuai dengan Sistem Perencanaan Pembangunan Nasional
(SPPN), antara lain dengan membentuk unit kerja Kedeputian Evaluasi Kinerja
Pembangunan (EKP). Pada tahun 2008,
Kementrian PAN dan Reformasi Birokrasi melakukakn restrukturisasi kelembagaan
di tubuh Kementrian PPN/Bappenas dengan menyetujui penerbitan Peraturan Menteri
Negara Perencanaan Pembangunan/Kepala Badan Perencanaan Pembangunan Nasional
Nomor: PER.005/M.PPN/10/2007 tentang Organisasi dan Tata Kerja Kementrian
Perencanaan Pembangunan Nasional/Badan Perencanaan Pembangunan Nasional. Dalam Permen tersebut terdapat beberapa unit
kerja Kedeputian Evaluasi dan Kinerja Pembangunan.
Evaluasi Kinerja merupakan salah
satu fungsi dalam mata rantai proses perencanaan pembangunan yang tertuang
dalam konsep SPPN. Evaluasi kinerja
bersama subsistem penyusunan rencana pembangunan, penetapan rencana pembangunan
merupakan subsistem yang diperlukan dalam SPPN.
Dalam SPPN, kini telah dilakukan beberapa upaya penyempurnaan meliputi: pertama, pensinergian subfungsi
penganggaran dalam perencanaan pembangunan yang berbasis kinerja. Hal ini dimulai dengan ujicoba Pedoman
Reformasi Perencanaan dan Penganggaran sejak 14 Juli 2007 dan dilanjutkan
pengesahannya dalam Surat Edaran Bersama (SEB) Menteri Keuangan dan Menteri
PPN/Kepala Bappenas Nomor 0142/MPPN/06/2009 dan SE 1848/MK/2009 tanggal 19 Juni
2009 tentang Pedoman Reformasi Perencanaan dan Penganggaran. Kedua,
pensinergian proses perencanaan pembangunan nasional dengan proses perencanaan
pembangunan daerah (sinergi pusat-daerah).
Hal ini dilakukan Kementrian PPN/Bappenas sepanjang tahun 2010 dengan
menyelenggarakan forum pertemuan triwulanan Bappenas-Bappeda provinsi. Mekanisme demikian dapat menjaga konsistensi
sinergi antara pusat dan daerah dalam proses perencanaan pembangunan dan
memastikan penuntasan jadwal proses perencanaan. Ketiga, pensinergian
evaluasi kinerja dalam penyusunan dokuemn rencana pembangunan. Berdasarkan pengalaman tersebut, evaluasi
kinerja mempunyai kedudukan yang penting dan strategis. Keberhasilan penyusunan dokumen rencana
pembangunan yang kredibel sesungguhnya ditentukan oleh rekomendasi dari hasil
evaluasi kinerja.
Berangkat dari pemahaman ini, maka
sebuah mekanisme evaluasi kinerja diperlukan kehadirannya. Namun persoalannya, hingga kini sebuah mekanisme
evaluasi kinerja yang memadai belum tersedia.
Tulisan ini bertujuan mencoba memberikan pemahaman tentang metode
evaluasi outcome sebagai salah satu pendekatan dalam pengukuran evaluasi
kinerja.
II.
KERANGKA
KONSEP
Evaluasi kinerja merupakan bagian dari
evaluasi yang memanfaatkan pendekatan kinerja sebagai metode pengukuran
keberhasilan pelaksanaan rencana pembangunan.
Pemahaman tentang makna evaluasi kinerja dapat ditelususri dari beberapa
konsep meliputi konsep evaluasi dan konsep kinerja.
2.1. Pemahaman Tentang Evaluasi
Pemahaman tentang konsep evaluasi
sangat beraneka ragam, tergantung kedudukan evaluasi dalam suatu konsep
tertentu atau juga tergantung dari kegunaan evaluasi tersebut dalam suatu
kegiatan tertentu. Dalam bagian ini
penulis menyajikan pemahaman tentang evaluasi dari persepktif konseptual dan
persepktif pragmatis.
2.1.1. Persepektif Konseptual
Berdasarkan persepktif konseptual,
menurut Wadsworth (1997), evaluasi adalah proses menilai manfaat dari sesuatu. Evaluasi dapat menentukan apakah suatu
intervensi berhasil atau berdayaguna, serta lebih lanjut dapat membantu memberikan
keputusan jika intervensi tersebut harus terus berlanjut, dan juga dapat
memberikan bukti kefektifan dari suatu intervensi sehingga intervesi tersebut
layak memperoleh dana tambahan. Alasan
dilakukannya evaluasi adalah karena evaluasi merupakan bagian penting dari
menumbuhkan praktek yang baik untuk program dan pelaksanaan kegiatan.
Sebuah evaluasi program yang baik
akan memberitahu pemilik program (programme
principal) dan orang lain sebagai pemanfaat program untuk : (1) memahami
apakah semua elemen program dalam intervensi telah dilakukan; (2) memahami
seberapa baik program telah memberikan kontribusi ke tujuan dan memahami
strategi yang dilakukan;(3) memahami apakah program bekerja dengan baik dan apa
yang tidak serta alasan mengapa tidak bekerja dengan baik;(4) apakah ada
intervensi program menghasilkan sesuatu yang tidak dinginkan dan (5) apakah
yang bisa dipelajari dari program untuk meningkatkan praktek dan
menginformasikan kesuksesannya kepada program-program lainnya.
Oleh sebab itu, evaluasi harus
dijalankan secara paralel bersama proses perencanaan dan pelaksanaan
program. Hal ini harus menjadi bagian
dari proses pembangunan berkelanjutan dengan memberikan umpan balik mengenai
kemajuan, mendorong refleksi tentang hasil dan memberikan dasar untuk
mempertimbangkan strategis masa depan.
Oleh sebab itu dalam persepktif
koseptualnya, Wardsworth menyatakan bahwa suatu evaluasi memerlukan (1)
kerangka pelaksanaan dan langkah-langkah dalam proses evaluasi sebuah program;
dan (2) kerangka rencana evaluasi.
Berkenaan dengan kerangka pelaksanaan dan langkah-langkah dalam proses
evaluasi sebuah program, terdapat tiga tugas yakni mengembangkan rencana
evaluasi, menilai hasil dan mengkomunikasikan hasil dan rekomendasi. Sementara itu berkenaan dengan kerangka
rencana evaluasi terdapat empat rencana yang harus dikembangkan yakni
menjelaskan tujuan evaluasi; memilih skala dan ruang lingkup evaluasi;
menentukan metodologi untuk evaluasi; dan mengatur bagaimana evaluasi akan
dilaksanakan.
Secara konseptual terdapat dua jenis
evaluasi, yakni evaluasi formatif dan evaluasi sumatif. Evaluasi formatif dilaksanakan pada awal
pelaksanaan program, dan bertujuan untuk mengidentifikasi masalah yang timbul
selama pengembangan dan memungkinkan modifikasi. Sedangkan evaluasi sumatif dilakukan pada
akhir; bertujuan melihat efek atau dampak; serta membantu memutuskan apa yang
harus dilakukan selanjutnya. Jenis
evaluasi yang lain adalah evaluasi proses (process
evaluation), evaluasi dampak (impact
evaluation) dan evaluasi hasil (outcome
evaluation).
Evaluasi proses mempunyai ciri
berfokus pada bagaimana program telah dilaksanakan; serta menilai apakah
kegiatan dilakukan seperti yang direncanakan.
Sedangkan evaluasi dampak mempunyai ciri berfokus pada efek langsung
dari program; serta memutuskan seberapa baik sasaran telah terpenuhi. Sementara itu evaluasi hasil mempunyai ciri
berfokus pada efek jangka panjang dari program tersebut; serta memutuskan
seberapa baik tujuan telah tercapai.
Berdasarkan perspektif konseptual itu, maka evaluasi outcome atau evaluasi hasil adalah
termasuk evaluasi sumatif, karena dilakukan setelah suatu program selesai
dilaksanakan.
Dalam konsep yang lain, disebutkan
bahwa evaluasi merupakan bagian dari proses manajemen dan merupakan salah satu
fungsi dalam siklus manajemen. Evaluasi
adalah suatu usaha untuk mengukur dan memberi nilai secara obyektif pencapaian
hasil-hasil yang telah direncanakan.
Evaluasi merupakan suatu proses untuk menjelaskan secara sistematis
untuk mencapai tujuan dengan efisien dan efektif, serta untuk mengetahui dampak
dari suatu kegiatan dan juga membantu pengambilan keputusan untuk perbaikan
satu atau beberapa aspek program perencanaan yang akan datang.
Evaluasi merupakan instrumen bagi
pengawasan menejerial untuk mendapatkan hasil yang sesungguhnya dibandingkan
dengan hasil yang diharapkan.
Berdasarkan konsep demikian, maka hasil evaluasi apabila difokuskan pada
suatu usaha tertentu dapat menyediakan informasi yang penting untuk membuat
keputusan, serta dapat mmenilai manfaat atau kegunaan tertentu dari suatu
kebijakan. Evaluasi sebagai salah satu
fungsi manajemen berurusan dan berusaha untuk mempertanyakan efektivitas dan
efisiensi pelaksanaan dari suatu rencana sekaligus mengukur seobyektif mungkin
hasil-hasil pelaksanaan itu dengn ukuran-ukuran yang dapat diterima. Rencana program dan rencan kegiatan hanya
dapat dibuktikan denban evaluasi.
Evaluasi juga harus melembaga dan membudaya sehingga kemanfaatannya
senantiasa berkelanjutan (Williams, 2006).
Evaluasi adalah suatu kegiatan
yang mengukur dan memberi nilai secara
obyektif dan valid, dimana seberapa besar manfaat pelayanan yang telah dicapai
berdasarkan tujuan dari obyek yang seharusnya diberikan dan yang nyata apakah
hasil-hasil dalam pelaksanaan telah efektif dan efisien. Evaluasi adalah sebuah proses dimana
keberhasilan yang dicapai dibandingkan dengan eperangkat keberhasilan yang
diharapkan. Perbandingan ini kemudian
dilanjutkan dengan pengindentifikasian faktor-faktor yang berpengaruh pada
kegagalan dan keberhasilan. Evaluasi ini
dapat dilakukan secara internal oleh mereka yang melakukan proses yang sedang
dievaluasi ataupun oleh pihak lain, dan dapat dilakukan secara teratur maupun
pada saat-saat yang tidak beraturan.
Proses evaluasi dilakukan ketika sebuah kegiatan dalam proses
pelaksanaan dan/atau setelah sebuah
kegiatan selesai, dimana kegunaannya adalah untuk menilai/menganalisis apakah
hasil sementaranya masih dalam koridor proyeksi, dan/atau menilai/menganalisis
apakah keluaran, hasil ataupun dampak dari kegiatan yang dilakukan sudah sesuai
dengan yang diinginkan. Jika demikian
halnya, maka evaluasi ini disebut evaluasi kinerja. Evaluasi kinerja lebih bersifat dinamis,
dibandingkan dengan evaluasi biasa yang lebih bersifat statis. Dua sifat berbeda demikian mempengaruhi
kerangka kerja dan metode evaluasinya yang turut berbeda pula (Wrihatnolo,
2010).
2.1.2.
Perspektif Pragmatis
Berdasarkan persepktif pragmatis,
kemunculan evaluasi sejak awal hingga kini terus mengalami perkembangan sesuai
dengan tujuan dan kegunaannya (Pestieau, 2003).
Oleh karena itu, konsep evaluasi dapat berbeda satu sama lain dan sangat
disesuaikan dengan alasan, maksud, serta tujuan dari evaluasi tersebut
dilaksanakan. Saat ini evaluasi bahkan
telah berkembang menjadi kecenderungan baru sebagai disiplin ilmu terapan (applied science) dan sering digunakan
oleh hampir semua bidang dalam suatu program tertentu seperti evaluasi program
pembangunan, evaluasi program pelatihan pada sebuah perusahaan, evaluasi
program pembelajaran dalam pendidikan, evaluasi kinerja kebijakan atas hasil
pelaksanaan kebijakan yang dilakukan oleh suatu organisasi baik publik maupun
swasta, serta evaluasi kinerja atas prestasi pegawai pada sebuah organisasi
baik organisasi publik maupun swasata.
Evaluasi dari perspektif pragmatis
merupakan istilah baru dalam kajian keilmuan yang telah berkembang menjadi ilmu
tersendiri. Bidang kajian evaluasi pada
kenyataannya secara pragmatis telah memberikan manfaat dan kontribuusi untuk
mengulas suatu data dan menyusun informasi, khususnya apabila evaluasi
dilakukan atas pelaksanaan suatu program tertentu yang pada gilirannya akan
menghasilkan rekomendasi dan digunakan oleh pelaksana program untuk menentukan
keputusan, apakh program tersebut dihentikan, dilanjutkan, atau ditingkatkan
lebih baik lagi. Evaluasi berdasarkan
perspektif pragmatis dapat ditemui pada sejumlah kegiatan-kegiatan yang
bersifat implementatif. Banyak kegiatan
yang menyertakan evaluasi sebagai salah satu atau komponen kegiatan dalam
pelaksanaan kegiatan tersebut dan pada umumnya mempunyai kesamaan tujuan yang
pragmatis, yakni adanya kebutuhan untuk memahami pencapaian tujuan dari
kegiatan yang telah mereka lakukan.
Pada akhirnya banyak pakar yang
menyebutkan bahwa evaluasi dari perspektif pragmatis dapat digolongkan sebagai
salah satu pendekatan dari sekian banyak pendekatan dan model dalam
evaluasi. Sebagai contoh, evaluasi
program tidak akan sama dengan evaluasi kinerja pegawai. Evaluasi program dilaksanakan dengan tujuan
melihat sejauhmana hasil pelaksanaan suatu program telah tercapai dengan
optimal sesuai dengan target dan tujuan program itu sendiri. Sedangkan evaluasi kinerja pegawai dilakukan
dengan tujuan untuk melihat kualitas kinerja pegawai, sehingga akan menentukan
hasil produksi.
2.2.
Perbedaan Evaluasi, Penilaian dan Pengukuran
Secara umum sebagian besar orang
mengidentifikasikan konsep evaluasi dengan menilai, karana mereka memandang
bahwa di dalam proses evaluasi terdapat aktivitas mengukur. Pengukuran, penilaian dan evaluasi merupakan
kegaitan yang bersifart hierarkhis.
Artinya ketiga kegiatan tersebut dalam kaitannya dengan proses
pelaksanaan kebijakan tidak dapat dipishkan satu sama lain dan dalam
pelaksanaannya harus dilaksanakan secara berurutan. Konsep evaluasi, menurut pengertan bahasa
berasal dari bahasa Inggris “evaluation”
yang berarti penilaian atau penaksiran.
Stufflebeam (2007) mendifinisikan evaluasi sebagai “The process of delineating, obtaining and providing useful information
for judging decision alternatives”.
Artinya, evaluasi merupakan proses menggambarkan, memperoleh, dan
menyajikan informasi yang berguna untuk merumuskan suatu alternatif
keputusan. Evaluasi adalah kegiatan
mengukur dan menilai. Mengukur lebih
bersifat kualitatif.
Viviane and Gilbert de Lansheere
(1997) menyatakan bahwa evaluasi adalah proses penentuan apakah materi dan
metode suatu program telah sesuai dengan tujuan yang diharapkan. Penentuannya bisa dilakukan salah satunya
dengan cara pemberian tes kepada penerima program. Dengan demikian, evaluasi terhadap suatu
program hanya dapat dilakukan setealh kita melakukan tes atas penerima
programnya. Lebih lanjut Viviane and
Gilbert de Lansheere menyatakan bahwa penilaian (assesment) adalah penerapan berbagai cara dan penggunaan beragam
alat penilaian untuk memperoleh informasi tentang sejauhmana hasil dari
pelaksanaan suatu program. Penilaian
menjawab pertanyaan tentang sebaik apa hasil atau pencapaian program. Hasil penilaian dapat berupa nilai kualitatif
(pernyataan naratif dalam kata-kata) dan nilai kuantitatif (berupa angka). Pengukuran berhubungan dengan proses
penentuan nilai kuantitatif tersebut.
Lebih lanjut, Viviane and Gilbert de
Lansheere menyatakan konsep pengukuran sebagai suatu penentuan besaran, dimensi
atau kapasitas, biasanya terhadap standar atau satuan pengukuran. Pengukuran tidak hanya terbatas pada
kuantitas fisik, tetapi dapat juga diperluas untuk mengukur hampir semua benda
yang bisa dibayangkan, seperti tingkat ketidakpastian atau kepercayaan
konsumen. Dengan demikian pengukuran adalah
proses pemberian angka-angka atau pelabelan kepada unit analisis untuk
mempresentasikan atribur-atribut konsep.
Proses pengukuran ini mudah dilakukan, meskipun sebagian besar pelakunya
tidak mengerti definisinya. Hal ini
dapat terjadi karena pelakunya sering melakukan pengukuran.
Berdasarkan pengalaman di atas dapat
disimpulkan bahwa evaluasi, penilaian, dan pengukuran merupakan tiga hal yang
berbeda. Evaluasi adalah proses atau
kegiatan untuk menentukan nilai, kriteria, penghakiman (judgement) atas hasil pelaksanaan program. Penilaian adalah suatu usaha untuk
mendapatkan berbagai informasi secara berkala, berkesinambungan dan menyeluruh
tentang proses dan hasil dari pencapaian pelaksanaan program. Penilaian adalah suatu proses untuk mengambil
keputusan dengan menggunakan informasi yang diperoleh melalui pengukuran hasil
pelaksanaan program baik yang menggunakan tes maupun non tes. Pengukuran adalah membandingkan hasil tes
dengan standar yang ditetapkan.
Pengukuran bersifat kuantitatif.
Sedangkan menilai adalah kegiatan mengukur dan mengadakan estimasi
terhadap hasil pengukuran atau membandingkan dan tidak sampai ke taraf
pengambilan keputusan. Penilaian lebih
bersifat kualitatif. Pengukuran (measurement)
merupakan suatu proses atau kegiatan untuk menentukan kuantitas sesuatu yang
bersifat numerik. Pengukuran lebih
bersifat kuantitatif, bahkan merupakan instrumen untuk melakukan
penilaian. Pengukuran adalah proses
pengumpulan data melalui pengamatan empiris (baca pemantauan). Dengan demikian, evaluasi outcome jelas bukan
pengukuran, namun masih dapat dikatakan sebagai penilaian.
2.3.
Pemahaman Tentang Kinerja
Kinerja mempunyai berbagai
makna. Lembaga Administrasi negara (LAN)
mendefinisikan konsep kinerja sebagai gambaran mengenai tingkat pencapaian
pelaksanaan sutau kegiatan/program/ kebijaksanaan dalam mewujudkan sasaran,
tujuan, misi dan visi organisasi. Konsep
kinerja menurut definisi LAN ini mempunyai titik berat pada “tingkat pencapaian
pelaksanaan”. Titik berat pada tingkat
pencapaian pelaksanaan ini memandang kinerja sebatas pada “tingkat pencapaiaan
pelaksanaan’. Kelebihan konsep ini
adalah dapat memberikan rujukan penilaian kuntitatif dari suatu hasil
pelaksanaan kebijakan. Kekurangan konsep
ini adalah tidak memberikan penilaian kuantitatif atas suatu hasil pelaksanaan
kebijakan.
Menurut Ferris (1997), konsep
kinerja diartikan sebagai tingkatan kesuksesan peranan yang dilakukan oleh
pekerja. Konsep kinerja menurut Ferris
menitikberatkan kinerja pada “tingkat kesuksesan” dari “seseorang”. Konsep ini memberikan justifikasi kinerja
seseorang, namun belum menjelaskan peran seseorang atas suatu kinerja dalm
konteks organisasi. Konsep Ferris
dilengkapi oleh pendapat Keban (2004) yang menyebutkan bahwa kinerja individu
menggambarkan kemampuan individu melaksanakan tugasnya sehingga dapat
memberikan hasil yang ditetapkan oleh kelompok atau institusinya. Keban dengan demikian menggariskan bahwa
kinerja institusi atau organisasi juga merupakan kinerja para individu dalam
organisasi tersebut.
Dalam konteks organisasi, Nelson (1997)
memberikan konsep kinerja (performance)
sebagai perilaku organisasi yang secara langsung berhubungan dengan produksi
atau penyampaian jasa, kinerja seringkali dipikirkan sebagai pencapaian tugas,
dimana istilah tugas sendiri berasal dari pemikiran aktivitas yang dibutuhkan
oleh pekerja. Konsep kinerja menurut
Nelson menitikberatkan kinerja sebagai produk organisasi. Kinerja sebagai produk organisasi dapat
dilihat dari sudut pandang outcome. Hal ini antara lain dikonsepkan oleh Kane dan
Johson (1995) yang memaknai kinerja sebagai outcome
dari hasil kerja keras organisasi dalam mewujudkan tujuan stratejik yang
ditetapkan organisasi, kepuasan pelanggan serta kontribusinya terhadap
perkembangan ekonomi masyarakat.
Berbeda degan Ferris dan Keban
yangmelihat kinerja sebagai produk individu serta Nelson, Kane dan Johson yang
melihat kinerja sebagai produk organisasi, maka Bates dan Holton (1995) melihat
kinerja dari produk yang dihasilkan dari individu atau organisasi. Bates dan Holton menyatakan kinerja sebagai
perilaku berkarya, penampilan atau hasil karya.
Oleh karena itu kinerja merupakan bentuk bangunan yang multi dimensional,
sehingga cara mengukurnya sangat bervariatif tergantung pada banyak
faktor. Senada dengan Bates dan Holton
yang memanadang kinerja sebagai produk, menurut Hamzah kinerja dalah gambaran
mengenai tingkat pencapaian pelaksanaan suatu kegiatan dalam mewujudkan
sasaran, tujuan, misi dan visi organisasi.
Kinerja merupakan pencapaian atas apa yang direncanakan, baik oleh
pribadi maupun organisasi. Hamzah (2006)
menegaskan bahwa kinerja merupakan pencapaian produk dari hasil pekerjaan
pribadi maupun organisasi,
Sementara itu, dalam Modul kerangka
Pemikiran Reformasi Perencanaan dan Penganggaran yang diterbitkan oleh
Kementrian PPN/Bappenas (2009) disebutkan bahwa kinerja adalah salah satu
proses penilaian atau evaluasi. Evaluasi
kinerja merupakan proses penilaian dan pengungkapan masalah implementasi
kebijakan untuk memberikan umpan balik bagi peningkatan kualitas kinerja baik dari
sisi efisiensi dan efektivitas dari suatu program/kegiatan. Cara pelaksanaan evaluasi dapat dilakukan
dengan cara membandingkan hasil terhadap target (dari sisi efektivitas) dan
realisasi terhadap rencana pemanfaatan sumber daya (dilihat dari efisiensi). Hasil evaluasi kinerja merupakan umpan balik (feed back) bagi suatu organisasi untuk
memperbaiki kinerjanya,
Berdasarkan ulasan kajian kerangka
konsep di atas, maka kinerja dapat dibedakan menjadi: (1) tingkat pencapaian
pelaksanaan (kebijakan/program/kegiatan/proyek), (2) tingkat kesuksesan
individu/pekerja/manajemen, (3) tingkat kesuksesan organisai/lembaga/institusi,
dan (4) proses penilaian. Evaluasi
outcome dapat dikategorikan dalam kinerja, karena berdasarkan tujuannya dapat
dipakai untuk memahami tingkat pencapaian pelaksanaan.
III.
METODE
EVALUASI OUTCOME
Evaluasi outcome tergolong sebagai salah satu teknik yang digunakan dalam
melakukan evaluasi. Dari perspektif
konseptual, evaluasi outcome adalah
evaluasi sumatif, karena dilakukan setelah suatu program selesai dilaksanakan (ex-post). Karena sifatnya hanya dapat dilakukan ketika program telah selesai dilaksanakan, maka dari
perspektif manajemen, hasil dari evaluasi outcome
dapat digunakan sebagai bahan penyempurnaan program mendatang, namun sebatas
pada tingkat program yang dievaluasi.
Sebagai evaluasi yang meletakkan outcome sebagai unit analisisnya, maka
evaluasi outcome dapat digolongkan
sebagai evaluasi kinerja. Lebih lanjut,
karena merupakan evaluasi kinerja, maka teknik evaluasi yang digunakan dalam
metode evaluasi outcome dapat
menerapkan pendekatan pragmatis, artinya setiap program yang berbeda boleh jadi
mempunyai teknik evaluasi outcome
yang berbeda satu sama lain.
Evaluasi dengan demikian, dapat
meminjam pendekatan dalam penelitian ilmiah.
Apakah evaluasi menggunakan metode ilmiah, maka salah satu pendekatan
penenlitian yang dapat dipakai adalah pendekatan kuantitatif yangmampu
memberikan akurasi tinggi dalam pengukuran hubungan sebab akibat antar variabel
yang dipergunakan dalam analisis.
Akurasi tinggi dapat dilakukan dengan memanfaatkan data diskrit sebagai
unit analisisnya. Keterhubungan antar
variabel analisis dalam pendekatan evaluasi dapat menjelaskan fungsi variabel outcome dengan variabel output (sebagai
variabel-variabel kontributornya).
Keterhubungan tersebut juga diakui dalam model logika dengan
penggambaran sebagai berikut:
Capacity Input Proses Output Outcome
Evaluasi outcome merupakan salah satu jenis evaluasi yang dapat menggunakan
data diskrit. Dalam prosedur evaluasi
outcome yang meminjam pendekatan model logika untuk menata keterhubungan antar
variabelnya, maka dapat diperoleh pemahaman hubungan sebagai berikut:
Output Outcome
Variabel
output Variabel
outcome
Variabel
bebas Variabel
terikat
Variabel
Determinan Variabel
Evaluasi
Meskipun pada akhirnya setiap
program dapat mempunyai teknik outcome
yang berbeda, namun pada dasarnya mempunyai prosedur dasar yang sama. Prosedur dasar dapat diberlakukan ketika
dalam evaluasi outcome yang sedang
dilakukan mengandung obyek analisis dengan jumlah unit analisis yang sangat
besar. Prosedur yang dapat digunakan
dalam metode evaluasi outcome adalah
sebagai berikut:
Pertama,
menentukan obyek analisis. Pada
tahap awal, setiap program yang hendak dievaluasi harus ditentukan obyek
analisisnya. Obyek analisis harus
diketahui dengan sangat jelas dan bulat, tidak berbelit-belit. Agar dapat diketahui dengan jelas, maka
definisi atas obyek yang hendak dianalisis harus didilihat dengan seksama. Sebagai contoh : Program Pendidikan Wajib Belajar 12
Tahun. Pada program tersebut obyek
analisisnya harus ditentukan dengan tepat.
Apakah proses pendidikannya? Apakah wajib belajar 12 tahunnya? Atau apakah peserta pendidikan 12 tahunnnya?
Dalam contoh ini, kebetulan berdasarkan informasi yang terdapat dalam dokumen
rencana pembangunan diketahui bahwa sasaran dari program ini adalah seluruh
populasi antara usia 6-18 tahun yang mengikuti pendidikan di SD/MI hingga
SLTA/MA. Sasaran program ini dipahami
dengan indikator Angka Partisipasi Murni SD/MI – SLTA/MA 6-18 tahun. Populasi usia 6 – 18 tahun yang mengikuti
proses pendidikan di SD/MI – SLTA/MA inilah yang ditentukan sebagai obyek
analisis.
Kedua,
menentukan variabel analisis. Ketika
obyek analisis telah jelas diketahui, maka langkah berikutnya adalah menentukan
konsep-konsep dan hubungan antar konsep yang berlaku dalam konsep-konsep
tersebut. Konsep-konsep dan hubungan
antar konsep yang berlaku harus dapat menggambarkan keterhubungannya dengan
obyek analisis dalam suatu skema yang disebut kerangka analisis (analytical framework). Sebagai contoh : berdasarkan informasi dari
dokumen rencana pembangunan diketahui bahwa tujuan dari Program Pendidikan
Wajib Belajar 12 tahun dapat dicapai apabila setiap sekolah mempunyai guru yang
kompeten, setiap sekolah mempunyai kurikulum yang memadai, setiap murid
mendapatkan buku pelajaran gratis, dan penyelenggara program di tingkat pusat
melakukan pengendalian kegiatan secara berkala.
Maka, variabel analisis dalam program ini adalah bantuan operasional
sekolah, guru yang berkompeten,
kurikulum sekolah, buku pelajaran dan pengendalian berkala, serta
populasi di antara usia 16-18 tahun yang
mengikuti proses pendidikan di SD/MI hingga SLTA/MA.
Ketiga,
menentukan indikator analisis.
Indikator analisis adalah informasi yang melekat pada variabel analisis
dan dapat menjelaskan kualitas dari variabel analisis. Penentuan indikator analisis adalah langkah
yang memerlukan pemahaman yang hati-hati.
Dimensi yang digunakan dalam menentukan indikator harus setara. Indiaktor analisis yang tidak setara akan
berpotensi menimbulkan bias ketika kita melakukan penafsiran (interprestasi)
kelak. Kesetaraan dimaksud adalah
kejelasan kedudukan suatu indikator dalam kedudukan sebagai atribut bagi
variabel outcome (Variabel Y, dalam
bahasa penelitian disebut variabel terikat) atau sebagai variabel output (variabel X, dalam bahasa
penenlitian disebut sebagai variabel bebas).
Sebagai contoh dapat digambarkan dalam tabel berikut:
Tabel 1. Kerangka Analisis untuk
Program Pendidikan Wajib Belajar 12 tahun
(menurut Variabel
Analisis dan Indikator Analisis)
No
|
Variabel Analisis
|
Indikator Analisis/Item
|
Dimensi
|
1.
|
Populasi antara usia 6-18 tahun yang
mengikuti proses pendidikan di SD/Mi hingga SLTA/MA
|
Angka Partisipasi Murni SD/MI-SLTA/MA
6 – 18 Tahun
|
Variabel Outcome
|
2
|
Bantuan operasional sekolah
|
Nilai bantuan operasional sekolah
Item :
-
Nilai bantuan operasional sekolah ideal
-
Nilai bantuan operasional faktual
|
Variabel Output
|
3
|
Guru yang berkompeten
|
Jumlah guru yang berkompeten
Item :
-
Jumlah guru yang berkompeten ideal
-
Jumlah guru yang berkompeten faktual
|
Variabel output
|
4
|
Kurikulum sekolah
|
Jumlah sekolah yang punya kurikulum:
Item :
-
Jumlah sekolah yang mempunyai kurikulum ideal
-
Jumlah sekolah yang mempunyai kurikulum
faktual
|
Variabel output
|
5
|
Buku pelajaran
|
Jumlah buku pelajaran disekolah
Item :
-
Jumlah buku pelajaran di sekolah ideal
-
Jumlah buku pelajaran di sekolah faktual
|
Variabel output
|
6
|
Pengendalian berkala
|
Jumlah guru yang berkompeten
Item :
-
Jumlah guru yang berkompeten ideal
-
Jumlah guru yang berkompeten faktual
|
Variabel output
|
|
|
|
|
Catatan : Model logika dapat digunakan
dalam proses menentukan obyek analisis, dan indikator analisis sebagaimana
diusulkan dalam langkah pertama hingga ketiga di atas (Wrihatnolo, 2010)
Keempat,
menyiapkan instrumen pendataan.
Instrumen pendataan (setara dengan qusioner dalam bahasa penelitian)
dapat diwujudkan dalam bentuk matrik tabel.
Format matriks tabel harus sesuai
dengan kerangka analisis yang ditentukan untuk Program Pendidikan Wajib Belajar
12 tahun yang telah diuraikan menurut variabel analisis dan indikator analisis
yang ditentukan.
Kelima,
menentukan pilihan sumber data.
Pihak tim evaluator harus menyepakati dulu untuk menggantungkan diri
pada sumber data yang mana. Jika
terdapat beberapa sumber data, maka harus dipilih satu saja dan tentukan alasan
kuat kenapa memilih sumber data tersebut.
Sebagai contoh, berdasarkan fakta terdapat empat sumber data, yaitu data
PPK dirjen Manajemen Pendidikan Dasar, data Unit Kerja Pelaksana (data-data
dari direktorat terkait), data Kemenkeu, dan data dari Biro Umum
Kemendiknas. Persoalannya, data-data
yang terekam dalam masing-masing sumber yang berbeda itu ternyata berbeda. Maka berdasarkan kesepakatan, tim menetapkan
data PPK sebagai sumber data rujukan.
Pemilihan sumber data ini sesekali membutuhkan kesabaran, karena apabila
magnitude obyek yang dianalisis
sangat besar, maka dibandingkan dengan waktu kegunaan akan hasil evaluasinya,
akan membutuhkan waktu yang lama atau
apabila digantikan dengan man-month
akan membutuhkan personil yang sangat banyak.
Keenam,
menyusun matriks tabulasi data.
Berdasarkan kerangka analisis maka disusun matriks tabulasi data. Matriks tabulasi data digunakan sebagai
formulir raw data entry yang
berseumber dari instrumen pendataan yang telah diisi. Seluruh data yang termuat di dalam instrumen
pendataan dituang ke dalam matriks tabulasi data (converting process).
Seluruh data yang dituangkan merupakan data yang mewakili masing-masing
yang telah ditentukan sesuai kerangka analisis yang telah disusun. Penyusunan tabulasi data dapat disusun dalam
format matriks dengan menggunakan ms-excel.
Penyusunan matriksnya berurutan mulai dari kelompok unit analisis
terkecil hingga kelompok unit analisis terbesar. Dengan kata lain, dimulai dari
kegiatan-kegiatan, dan dapat diakhiri antara lain dengan kelompok program dan
unit kerja.
Ketujuh,
menyiapakan matriks pengolahan data.
Berdasarkan tabulasi data yang telah mengandung informasi lengkap, maka
dilakukan proses pengolahan data. Pada
proses pengolahan data harus mempertimbangkan kolom-kolom dalam matriks
tabulasi data yang terisi lengkap.
Sebagai catatan, apabila kerangka analisis evaluasi sudah ditetapkan,
maka dalam melakukan scoring dan calculating harus sepenuhnya menerapkan
model tersebut. Apabila terdapat satu
kegiatan yang mempunyai data tidak lengkap abahkan taidak ada data maka scoring tetap diberlakukan dengan nilai
0. Dan proses calculating harus tetap
dilakukan dengan mengalikan score program/kegiatan
bersangkutan dengan bobotnya.
Kedelapan,
mencermati sifat nilai koefisien pada variabel tertentu. Pada beberapa variabel tertentu, sebelum
dilakukan perhitungan, perlu diteliti dulu sifat niali koefisiennya. Terdapat dua jenis nilai koefisien, yaitu
“Koefisien Berbanding Lurus” dan “Koefisien Berbanding terbalik”. Apabila ditemukan variabel dengan
nilai”Koefisien Berbanding Terbalik”, maka harus dilakukan perhitungan tambahan
dengan melakukan pengurangan nilai, yaitu Bobot Variabel yang bersangkutan
dikurangi Nilai Koefisien Hasil Hitung langsung.
Kesembilan,
melakukan scoring dan calculating.
Untuk memperoleh nilai scoring
per kegiatan, diperlukan (a) angka koefisien variabel dan (b) bobot kegiatan
bersangkutan (bobot hanya diberikan apabiladipandang setiap item memerlukan
pembedaan, lihat Tabel 2).
Langkah-langkah yang dilakukan meliputi : (1) Menghitung angka koefisien variabel. Angka koefisien variabel dihitung dari angka
faktual dibanding angka ideal. Ketika
angka koefisien variabel dari hasil hitungan telah diketahui, maka harus
dilakukan pencermatan pada sifat nilai koefisien varibael tersebut. Jika logikanya berbanding terbalik, maka
harus dilakukan pembalikan untuk menemukan angka koefisien variabel
sesungguhnya (lihat langkah kedelapan).
Perhitungan angka koefisien variabel dilakukan pada setiap kegiatan dan
variabelnya; (2) Menghitung score. Penghitungan score dilakukan dengan mengalikan angka koefisien variabel dengan
bobotnya. Penghitungan score dilakukan setiap kegiatan dan
variabelnya; dan (3) Menghitung total score. Penghitungan score total dilakukan dengan
menjumlahkan masing-masing score pada
tiap variabel menurut kegiatan.
Kesepuluh,
melakukan penafsiran (interprating). Penafsiran dilakukan sebagai cara
untuk memberikan grading status. Misalnya dalam tingkatan status seperti (a)
sangat baik, (b) baik, (c) sedang, (d) kurang, (e) sangat kurang. Proses pemberian menuju pemberian grading status pada suatu kegiatan harus
dapat ditelusuri secara meyakinkan hingga ke proses penghitungan hulunya dan
yang utama adalah scoring atas unit
analisis terkecil yang digunakan.
Pemberian grading status
dilakukan dengan cara melakukan pemeringkatan total score dari seluruh kegiatan yang menjadi obyek analisis. Pendekatan grading-nya meminjam pendekatan Skala Likert, yaitu membagi total score sempurna (100) dalam 5
kelas. Nilai total score dan grading
status berdasarkan skala Likert dapat dilihat pada tabel 2.
Tabel 2. Variabel Analisis dan
Item Analisis
No
|
Score total
|
Grading Status
|
1
|
80 < sampai = 100
|
Sangat baik
|
2
|
60 < sampai = 80
|
Baik
|
3
|
40 < sampai = 60
|
Sedang
|
4
|
20 < sampai = 40
|
Kurang
|
5
|
0 < sampai = 20
|
Sangat kurang
|
6
|
= 0
|
Tidak ada data (buruk)
|
IV.
ANALISIS
DAN REKOMENDASI
Evaluasi outcome dalam konteks evaluasi atas pelaksanaan berbagai program
yang tercantum dalam dokumen rencana pembangunan mempunyai tujuan utama yakni
memahami kinerja program yang telah dilakukan dalam satu kurun waktu
tertentu. Dalam dokumen rencana pembangunan,
sebagai contoh adalah dokumen GBHN 1993-1998, RPJPN 2005-2025, RPJMN 2010-2014
dan dokumen Rencana Kerja Pemerintah sejak tahun 2005 sampai tahun 2011, pada
kenyataannya selalu mempunyai jumlah program sangat besar. Jumlah program dari tahun ke tahun bukan
berkurang dan lebih sederhana, tetapi malah semakin banyak dan semakin rumit
(lihat tabel 3). Apabila proses normal
yang dilakukan untuk mengevaluasi outcome
atas program-program tersebut dilakukan, maka akan membutuhkan waktu yang tidak
sedikit dan cenderung membutuhkan personil dengan kapaistas memadai dalam
jumlah yang bisa jadi tidak sedikit.
Tabel 3. Perbandingan Jumlah
program
(Menurut Dokumen Rencana Pembangunan Yang Ada)
No
|
Dokumen Rencana
|
Pengelompokan rencana
|
Anchor
|
Mata Anggaran
|
Bab
|
Sasaran Pokok
|
Fokus Prioritas
|
Program
|
Kegiatan Prioritas
|
Outcome
/Output
|
Indikator Kegiatan
|
1
|
GBHN 1993-1998
|
28
|
|
|
165
|
285
|
|
415
|
2
|
RPJPN 2005-2025
|
5
|
8 s/d 12
|
|
|
118
|
|
|
3
|
RPJMN 2004-2009
|
33
|
33
|
|
293
|
1634
|
|
3089
|
4
|
RKP 2005
|
|
|
|
191
|
1828
|
|
4127
|
5
|
RKP 2006
|
|
|
|
259
|
2035
|
|
3972
|
6
|
RKP 2007
|
|
|
|
233
|
2172
|
|
4028
|
Sumber :
berbagai dokumen rencana pembangunan, diolah penulis (2010)
Karena masifnya jumlah program yang
ada dalam dokumen rencana pembangunan dan mengingat kerumitan yang mungkin
dihadapi oleh para pelaksana evaluasi, maka penulis merekomendasikan sebagai
berikut :
(1)
Para evaluator seyogyanya menggunakan metode
evaluasi outcome yang sederhana. Metode sederhana dapat dilakukan dengan
menggunakan pendekatan scoring. Salah satunya adalah menggunakan pendekatan
sebagaimana disampaikan di atas.
(2)
Para evaluator seyogianya dibagi dalam beberapa
kelompok sesuai kedekatan sifat program-program yang hendak dievaluasi outcomenya. Dengan demikian diskusi untuk membahas
kerangka analisis atas suatu program dapat dilakukan lebih seksama dan lebih
tajam. Kunci keberhasilan metode
evaluasi outcome yang sederhana ini
adalah ditentukan dari kekuatan dalam menyusun kerangka analisis program.
(3)
Data untuk evaluasi dapat mengandalkan data yang
telah tersedia, misalnya menggunakan data berdasarkan format PP 39/2006. Tentu saja dengan terlebih dahulu dlakukan
telaah ulang atas data-data tersedia.
Apabila evaluasi outcome
dilakukan atas RKP pada akhir tahun, maka berdasarkan pengalaman seringnya
keterlambatan pelaporan pemantauan berformat PP 39/2006, maka sebaiknya
menggunakan data kuartal III sebagai garis pokok data yang berlaku untuk
seluruh program.
V.
KESIMPULAN
Sejalan dengan keberadaan UU SPPN
yang mengamanatkan perlunya evaluasi kebijakan yang hasilnya menjadi dasar penyusunan
rencana pembangunan, serta kehadiran unit kerja Kedeputian Evaluasi Kinerja
Pembangunan maka kini evaluasi menjadi sebuah kebutuhan strategis dalam proses
perencanaan. Kesempurnaan hasil evaluasi
tentu saja satunya sangat ditentukan oleh pendekatan yang digunakan sebagai
metode evaluasi, pemilihan unit analisisnya, dan pelaksanaan evaluasinya. Sementara itu, keberhasilan memaknai atau
menafsirkan hasil evaluasi sangat ditentukan dari prosedur evaluasi yang harus
dilalui dalam proses evaluasi.
Berkenaan dengan hal tersebut,
maka penulis menyimpulkan bahwa metode evaluasi outcome dapat menjadi pilihan sebagai dasar penyusunan evaluasi
yang kredibel. Mengingat keterbatasan
data, waktu dan tenaga, maka metode evaluasi outcome yang layak digunakan seogyanya menggunakan dan menerapkan
pendekatan yang sederhana. Salah satu
pendekatan yang sederhana yang diusulkan adalah pendekatan scoring dan penafsiran dengan pendekatan skala Likert dengan
prosedur evaluasi outcome yang diulas
dalam makalah ini.
REFERENSI
Ali Hamzah, 2008. Pengaruh Partisipasi dalam Pengangaran
Terhadap Budgetary Slack, Makalah Seminar. Jakarta.
Bates dan Holton, 1995. The Impact of Balanced Scorecard. University
of Chicago Press, Chicago.
Caroline Pestieau, 2003. Evaluating Policy research. Canadian Policy Research. Ottawa.
Daniel L. Stufflebeam, Anthony J
Shinkfield, 2007. Evaluation Theory,
Models, and Application. Jossey-bass.
San Fransisco.
David D. Williams, Evaluation Of
Learning Objects and Instruction Using Learning Objects. Juga lihat Clark Davidson, 2006. Identifying Evaluation and Its Process,
research Institute of Management. Wellington.
Eko Putro Widoyok, 2009. Evaluasi Program pembelajaran : Panduan
Praktis Bagi Pendidik dan Calon Pendidik. Pustaka Pelajar. Yogyakarta.
Eamnnuel V. Kane dan Normann L.
Johnson, 1995. Measuring The Process of
Managerial. Departemnt of Industrial
Engineering and Managemant Sciences.
Nortwetern University.
Hamid Hasan, 2009. Evaluasi Kurikulum. Remaja Rosda Karya. Bandung.
Jemmy Ferris, 1997. Coming up Participation in Budgeting.
University of Michigan. Michigan.
Jermias Keban, 2004. Enam Dimensi Admistrasi Strategis Publik.
Konsep, Teori dan Isu. Gava Media. Yogyakarta.
JohnM. Echols dan Hasan Shadily,
1983. Kamus Indonesia-Inggris/Inggris-Indonesia.
Kemetrian PPN/Bappenas dan
kemenkeu, 2008. Pedoman Perencanaan dan Penganggaran, Modul 1. Diterbitkan oleh Kementrian PPN/Bappenas dan
Kemenkeu. Jakarta.
Modul kerangka Pemikiran Reformasi
Perencanaan dan Penganggaran. Kementrian
PPN/Bappenas. Jakarta. 2008
Paul D. Gerder et. All. 2010. Impact Evaluation in Practice. The World
Bank. Washington DC.
Pedoman Penyusunan Laporan
Akuntabilitas Kinerja Instansi pemerintah. (SK Kepala LAN Nomor
589/IX/6/Y/1999), LAN. Jakarta. 1999.
Randy R. Wrihatnolo, 2010. Metode Evaluasi Kinerja: Sebuah panduan
Sederhana. Institute for Policy Reform.
_____________________. Model Logika
Untuk Evaluasi Pembangunan.___________________
Ronnie D. Green. 2003. Genomics : Practical and Economic Consideration,
USDA Agricultural Research Services anda University of Nebraska. Lincoln.
Samuel Nelson, 1997. Balanced Scored : A Study Overview. University of California San Diego. San
Diego.
Suharsimi Arikuntodan Cepi
Safrudin, 2009. Evaluasi Program Pendidikan: Pedoman Teoritis Praktis Bagi
Mahasiswa dan Praktisi Pendidikan. Bumi
Aksara. Jakarta.
Viviane dan Gilbert de Lansheere,
1977. Dictionnaire de L Evaluation et de
la Recherche en Education. Paris
Yoland Wadswordth, 1997. Everyday Evaluation on the Run. Allen and Unwin. St Leonards.
Zaenal Arifin, 2009. Evaluasi
pembelajaran: Prinsip, Teknik dan Prosedur. Remaja Rosdakarya. Bandung.
*)Penulis : perencana muda pada
Direktorat Evaluasi Kinerja Sektoral, Bappenas
**)Tulisan diambil dari majalah Perencanaan Pembangunan,
Edisi 03/Tahun XVII/2011
