Minggu, 10 Maret 2013

metode evaluasi outcome



METODE EVALUASI OUTCOME
UNTUK PENGUKURAN EVALUASI KINERJA**)
OLEH : RIZANG WRIHATNOLO*)

I.               PENDAHULUAN
Sejalan dengan reformasi birokrasi yang digulirkan sejak tahun 2008, Kementrian PPN/Bappenas telah mereorganisasi struktur kelembagaannnya sesuai dengan Sistem Perencanaan Pembangunan Nasional (SPPN), antara lain dengan membentuk unit kerja Kedeputian Evaluasi Kinerja Pembangunan (EKP).  Pada tahun 2008, Kementrian PAN dan Reformasi Birokrasi melakukakn restrukturisasi kelembagaan di tubuh Kementrian PPN/Bappenas dengan menyetujui penerbitan Peraturan Menteri Negara Perencanaan Pembangunan/Kepala Badan Perencanaan Pembangunan Nasional Nomor: PER.005/M.PPN/10/2007 tentang Organisasi dan Tata Kerja Kementrian Perencanaan Pembangunan Nasional/Badan Perencanaan Pembangunan Nasional.  Dalam Permen tersebut terdapat beberapa unit kerja Kedeputian Evaluasi dan Kinerja Pembangunan. 
Evaluasi Kinerja merupakan salah satu fungsi dalam mata rantai proses perencanaan pembangunan yang tertuang dalam konsep SPPN.  Evaluasi kinerja bersama subsistem penyusunan rencana pembangunan, penetapan rencana pembangunan merupakan subsistem yang diperlukan dalam SPPN.  Dalam SPPN, kini telah dilakukan beberapa upaya penyempurnaan meliputi: pertama, pensinergian subfungsi penganggaran dalam perencanaan pembangunan yang berbasis kinerja.  Hal ini dimulai dengan ujicoba Pedoman Reformasi Perencanaan dan Penganggaran sejak 14 Juli 2007 dan dilanjutkan pengesahannya dalam Surat Edaran Bersama (SEB) Menteri Keuangan dan Menteri PPN/Kepala Bappenas Nomor 0142/MPPN/06/2009 dan SE 1848/MK/2009 tanggal 19 Juni 2009 tentang Pedoman Reformasi Perencanaan dan Penganggaran.  Kedua, pensinergian proses perencanaan pembangunan nasional dengan proses perencanaan pembangunan daerah (sinergi pusat-daerah).  Hal ini dilakukan Kementrian PPN/Bappenas sepanjang tahun 2010 dengan menyelenggarakan forum pertemuan triwulanan Bappenas-Bappeda provinsi.  Mekanisme demikian dapat menjaga konsistensi sinergi antara pusat dan daerah dalam proses perencanaan pembangunan dan memastikan penuntasan jadwal proses perencanaan.  Ketiga, pensinergian evaluasi kinerja dalam penyusunan dokuemn rencana pembangunan.  Berdasarkan pengalaman tersebut, evaluasi kinerja mempunyai kedudukan yang penting dan strategis.  Keberhasilan penyusunan dokumen rencana pembangunan yang kredibel sesungguhnya ditentukan oleh rekomendasi dari hasil evaluasi kinerja.
Berangkat dari pemahaman ini, maka sebuah mekanisme evaluasi kinerja diperlukan kehadirannya.  Namun persoalannya, hingga kini sebuah mekanisme evaluasi kinerja yang memadai belum tersedia.  Tulisan ini bertujuan mencoba memberikan pemahaman tentang metode evaluasi outcome sebagai salah satu pendekatan dalam pengukuran evaluasi kinerja.

II.             KERANGKA KONSEP
Evaluasi kinerja merupakan bagian dari evaluasi yang memanfaatkan pendekatan kinerja sebagai metode pengukuran keberhasilan pelaksanaan rencana pembangunan.  Pemahaman tentang makna evaluasi kinerja dapat ditelususri dari beberapa konsep meliputi konsep evaluasi dan konsep kinerja.
2.1.   Pemahaman Tentang Evaluasi
Pemahaman tentang konsep evaluasi sangat beraneka ragam, tergantung kedudukan evaluasi dalam suatu konsep tertentu atau juga tergantung dari kegunaan evaluasi tersebut dalam suatu kegiatan tertentu.  Dalam bagian ini penulis menyajikan pemahaman tentang evaluasi dari persepktif konseptual dan persepktif pragmatis.

2.1.1.       Persepektif Konseptual
Berdasarkan persepktif konseptual, menurut Wadsworth (1997), evaluasi adalah proses menilai manfaat dari sesuatu.  Evaluasi dapat menentukan apakah suatu intervensi berhasil atau berdayaguna, serta lebih lanjut dapat membantu memberikan keputusan jika intervensi tersebut harus terus berlanjut, dan juga dapat memberikan bukti kefektifan dari suatu intervensi sehingga intervesi tersebut layak memperoleh dana tambahan.  Alasan dilakukannya evaluasi adalah karena evaluasi merupakan bagian penting dari menumbuhkan praktek yang baik untuk program dan pelaksanaan kegiatan.
Sebuah evaluasi program yang baik akan memberitahu pemilik program (programme principal) dan orang lain sebagai pemanfaat program untuk : (1) memahami apakah semua elemen program dalam intervensi telah dilakukan; (2) memahami seberapa baik program telah memberikan kontribusi ke tujuan dan memahami strategi yang dilakukan;(3) memahami apakah program bekerja dengan baik dan apa yang tidak serta alasan mengapa tidak bekerja dengan baik;(4) apakah ada intervensi program menghasilkan sesuatu yang tidak dinginkan dan (5) apakah yang bisa dipelajari dari program untuk meningkatkan praktek dan menginformasikan kesuksesannya kepada program-program lainnya.
Oleh sebab itu, evaluasi harus dijalankan secara paralel bersama proses perencanaan dan pelaksanaan program.   Hal ini harus menjadi bagian dari proses pembangunan berkelanjutan dengan memberikan umpan balik mengenai kemajuan, mendorong refleksi tentang hasil dan memberikan dasar untuk mempertimbangkan strategis masa depan.
Oleh sebab itu dalam persepktif koseptualnya, Wardsworth menyatakan bahwa suatu evaluasi memerlukan (1) kerangka pelaksanaan dan langkah-langkah dalam proses evaluasi sebuah program; dan (2) kerangka rencana evaluasi.  Berkenaan dengan kerangka pelaksanaan dan langkah-langkah dalam proses evaluasi sebuah program, terdapat tiga tugas yakni mengembangkan rencana evaluasi, menilai hasil dan mengkomunikasikan hasil dan rekomendasi.  Sementara itu berkenaan dengan kerangka rencana evaluasi terdapat empat rencana yang harus dikembangkan yakni menjelaskan tujuan evaluasi; memilih skala dan ruang lingkup evaluasi; menentukan metodologi untuk evaluasi; dan mengatur bagaimana evaluasi akan dilaksanakan.
Secara konseptual terdapat dua jenis evaluasi, yakni evaluasi formatif dan evaluasi sumatif.  Evaluasi formatif dilaksanakan pada awal pelaksanaan program, dan bertujuan untuk mengidentifikasi masalah yang timbul selama pengembangan dan memungkinkan modifikasi.  Sedangkan evaluasi sumatif dilakukan pada akhir; bertujuan melihat efek atau dampak; serta membantu memutuskan apa yang harus dilakukan selanjutnya.  Jenis evaluasi yang lain adalah evaluasi proses (process evaluation), evaluasi dampak (impact evaluation) dan evaluasi hasil (outcome evaluation).
Evaluasi proses mempunyai ciri berfokus pada bagaimana program telah dilaksanakan; serta menilai apakah kegiatan dilakukan seperti yang direncanakan.  Sedangkan evaluasi dampak mempunyai ciri berfokus pada efek langsung dari program; serta memutuskan seberapa baik sasaran telah terpenuhi.  Sementara itu evaluasi hasil mempunyai ciri berfokus pada efek jangka panjang dari program tersebut; serta memutuskan seberapa baik tujuan telah tercapai.  Berdasarkan perspektif konseptual itu, maka evaluasi outcome atau evaluasi hasil adalah termasuk evaluasi sumatif, karena dilakukan setelah suatu program selesai dilaksanakan.
Dalam konsep yang lain, disebutkan bahwa evaluasi merupakan bagian dari proses manajemen dan merupakan salah satu fungsi dalam siklus manajemen.  Evaluasi adalah suatu usaha untuk mengukur dan memberi nilai secara obyektif pencapaian hasil-hasil yang telah direncanakan.  Evaluasi merupakan suatu proses untuk menjelaskan secara sistematis untuk mencapai tujuan dengan efisien dan efektif, serta untuk mengetahui dampak dari suatu kegiatan dan juga membantu pengambilan keputusan untuk perbaikan satu atau beberapa aspek program perencanaan yang akan datang.
Evaluasi merupakan instrumen bagi pengawasan menejerial untuk mendapatkan hasil yang sesungguhnya dibandingkan dengan hasil yang diharapkan.  Berdasarkan konsep demikian, maka hasil evaluasi apabila difokuskan pada suatu usaha tertentu dapat menyediakan informasi yang penting untuk membuat keputusan, serta dapat mmenilai manfaat atau kegunaan tertentu dari suatu kebijakan.  Evaluasi sebagai salah satu fungsi manajemen berurusan dan berusaha untuk mempertanyakan efektivitas dan efisiensi pelaksanaan dari suatu rencana sekaligus mengukur seobyektif mungkin hasil-hasil pelaksanaan itu dengn ukuran-ukuran yang dapat diterima.  Rencana program dan rencan kegiatan hanya dapat dibuktikan denban evaluasi.  Evaluasi juga harus melembaga dan membudaya sehingga kemanfaatannya senantiasa berkelanjutan (Williams, 2006).
Evaluasi adalah suatu kegiatan yang  mengukur dan memberi nilai secara obyektif dan valid, dimana seberapa besar manfaat pelayanan yang telah dicapai berdasarkan tujuan dari obyek yang seharusnya diberikan dan yang nyata apakah hasil-hasil dalam pelaksanaan telah efektif dan efisien.  Evaluasi adalah sebuah proses dimana keberhasilan yang dicapai dibandingkan dengan eperangkat keberhasilan yang diharapkan.  Perbandingan ini kemudian dilanjutkan dengan pengindentifikasian faktor-faktor yang berpengaruh pada kegagalan dan keberhasilan.  Evaluasi ini dapat dilakukan secara internal oleh mereka yang melakukan proses yang sedang dievaluasi ataupun oleh pihak lain, dan dapat dilakukan secara teratur maupun pada saat-saat yang tidak beraturan.  Proses evaluasi dilakukan ketika sebuah kegiatan dalam proses pelaksanaan  dan/atau setelah sebuah kegiatan selesai, dimana kegunaannya adalah untuk menilai/menganalisis apakah hasil sementaranya masih dalam koridor proyeksi, dan/atau menilai/menganalisis apakah keluaran, hasil ataupun dampak dari kegiatan yang dilakukan sudah sesuai dengan yang diinginkan.  Jika demikian halnya, maka evaluasi ini disebut evaluasi kinerja.  Evaluasi kinerja lebih bersifat dinamis, dibandingkan dengan evaluasi biasa yang lebih bersifat statis.  Dua sifat berbeda demikian mempengaruhi kerangka kerja dan metode evaluasinya yang turut berbeda pula (Wrihatnolo, 2010).

2.1.2.       Perspektif Pragmatis
Berdasarkan persepktif pragmatis, kemunculan evaluasi sejak awal hingga kini terus mengalami perkembangan sesuai dengan tujuan dan kegunaannya (Pestieau, 2003).  Oleh karena itu, konsep evaluasi dapat berbeda satu sama lain dan sangat disesuaikan dengan alasan, maksud, serta tujuan dari evaluasi tersebut dilaksanakan.  Saat ini evaluasi bahkan telah berkembang menjadi kecenderungan baru sebagai disiplin ilmu terapan (applied science) dan sering digunakan oleh hampir semua bidang dalam suatu program tertentu seperti evaluasi program pembangunan, evaluasi program pelatihan pada sebuah perusahaan, evaluasi program pembelajaran dalam pendidikan, evaluasi kinerja kebijakan atas hasil pelaksanaan kebijakan yang dilakukan oleh suatu organisasi baik publik maupun swasta, serta evaluasi kinerja atas prestasi pegawai pada sebuah organisasi baik organisasi publik maupun swasata.
Evaluasi dari perspektif pragmatis merupakan istilah baru dalam kajian keilmuan yang telah berkembang menjadi ilmu tersendiri.  Bidang kajian evaluasi pada kenyataannya secara pragmatis telah memberikan manfaat dan kontribuusi untuk mengulas suatu data dan menyusun informasi, khususnya apabila evaluasi dilakukan atas pelaksanaan suatu program tertentu yang pada gilirannya akan menghasilkan rekomendasi dan digunakan oleh pelaksana program untuk menentukan keputusan, apakh program tersebut dihentikan, dilanjutkan, atau ditingkatkan lebih baik lagi.  Evaluasi berdasarkan perspektif pragmatis dapat ditemui pada sejumlah kegiatan-kegiatan yang bersifat implementatif.  Banyak kegiatan yang menyertakan evaluasi sebagai salah satu atau komponen kegiatan dalam pelaksanaan kegiatan tersebut dan pada umumnya mempunyai kesamaan tujuan yang pragmatis, yakni adanya kebutuhan untuk memahami pencapaian tujuan dari kegiatan yang telah mereka lakukan.
Pada akhirnya banyak pakar yang menyebutkan bahwa evaluasi dari perspektif pragmatis dapat digolongkan sebagai salah satu pendekatan dari sekian banyak pendekatan dan model dalam evaluasi.  Sebagai contoh, evaluasi program tidak akan sama dengan evaluasi kinerja pegawai.  Evaluasi program dilaksanakan dengan tujuan melihat sejauhmana hasil pelaksanaan suatu program telah tercapai dengan optimal sesuai dengan target dan tujuan program itu sendiri.   Sedangkan evaluasi kinerja pegawai dilakukan dengan tujuan untuk melihat kualitas kinerja pegawai, sehingga akan menentukan hasil produksi.

2.2.   Perbedaan Evaluasi, Penilaian dan Pengukuran
Secara umum sebagian besar orang mengidentifikasikan konsep evaluasi dengan menilai, karana mereka memandang bahwa di dalam proses evaluasi terdapat aktivitas mengukur.  Pengukuran, penilaian dan evaluasi merupakan kegaitan yang bersifart hierarkhis.  Artinya ketiga kegiatan tersebut dalam kaitannya dengan proses pelaksanaan kebijakan tidak dapat dipishkan satu sama lain dan dalam pelaksanaannya harus dilaksanakan secara berurutan.  Konsep evaluasi, menurut pengertan bahasa berasal dari bahasa Inggris “evaluation” yang berarti penilaian atau penaksiran.  Stufflebeam (2007) mendifinisikan evaluasi sebagai “The process of delineating, obtaining and providing useful information for judging decision alternatives”.  Artinya, evaluasi merupakan proses menggambarkan, memperoleh, dan menyajikan informasi yang berguna untuk merumuskan suatu alternatif keputusan.  Evaluasi adalah kegiatan mengukur dan menilai.  Mengukur lebih bersifat kualitatif.
Viviane and Gilbert de Lansheere (1997) menyatakan bahwa evaluasi adalah proses penentuan apakah materi dan metode suatu program telah sesuai dengan tujuan yang diharapkan.  Penentuannya bisa dilakukan salah satunya dengan cara pemberian tes kepada penerima program.  Dengan demikian, evaluasi terhadap suatu program hanya dapat dilakukan setealh kita melakukan tes atas penerima programnya.  Lebih lanjut Viviane and Gilbert de Lansheere menyatakan bahwa penilaian (assesment) adalah penerapan berbagai cara dan penggunaan beragam alat penilaian untuk memperoleh informasi tentang sejauhmana hasil dari pelaksanaan suatu program.  Penilaian menjawab pertanyaan tentang sebaik apa hasil atau pencapaian program.  Hasil penilaian dapat berupa nilai kualitatif (pernyataan naratif dalam kata-kata) dan nilai kuantitatif (berupa angka).  Pengukuran berhubungan dengan proses penentuan nilai kuantitatif tersebut.
Lebih lanjut, Viviane and Gilbert de Lansheere menyatakan konsep pengukuran sebagai suatu penentuan besaran, dimensi atau kapasitas, biasanya terhadap standar atau satuan pengukuran.  Pengukuran tidak hanya terbatas pada kuantitas fisik, tetapi dapat juga diperluas untuk mengukur hampir semua benda yang bisa dibayangkan, seperti tingkat ketidakpastian atau kepercayaan konsumen.  Dengan demikian pengukuran adalah proses pemberian angka-angka atau pelabelan kepada unit analisis untuk mempresentasikan atribur-atribut konsep.  Proses pengukuran ini mudah dilakukan, meskipun sebagian besar pelakunya tidak mengerti definisinya.  Hal ini dapat terjadi karena pelakunya sering melakukan pengukuran.
Berdasarkan pengalaman di atas dapat disimpulkan bahwa evaluasi, penilaian, dan pengukuran merupakan tiga hal yang berbeda.  Evaluasi adalah proses atau kegiatan untuk menentukan nilai, kriteria, penghakiman (judgement) atas hasil pelaksanaan program.  Penilaian adalah suatu usaha untuk mendapatkan berbagai informasi secara berkala, berkesinambungan dan menyeluruh tentang proses dan hasil dari pencapaian pelaksanaan program.  Penilaian adalah suatu proses untuk mengambil keputusan dengan menggunakan informasi yang diperoleh melalui pengukuran hasil pelaksanaan program baik yang menggunakan tes maupun non tes.  Pengukuran adalah membandingkan hasil tes dengan standar yang ditetapkan.  Pengukuran bersifat kuantitatif.  Sedangkan menilai adalah kegiatan mengukur dan mengadakan estimasi terhadap hasil pengukuran atau membandingkan dan tidak sampai ke taraf pengambilan keputusan.  Penilaian lebih bersifat kualitatif.  Pengukuran (measurement) merupakan suatu proses atau kegiatan untuk menentukan kuantitas sesuatu yang bersifat numerik.  Pengukuran lebih bersifat kuantitatif, bahkan merupakan instrumen untuk melakukan penilaian.  Pengukuran adalah proses pengumpulan data melalui pengamatan empiris (baca pemantauan).  Dengan demikian, evaluasi outcome jelas bukan pengukuran, namun masih dapat dikatakan sebagai penilaian.

2.3.   Pemahaman Tentang Kinerja
Kinerja mempunyai berbagai makna.  Lembaga Administrasi negara (LAN) mendefinisikan konsep kinerja sebagai gambaran mengenai tingkat pencapaian pelaksanaan sutau kegiatan/program/ kebijaksanaan dalam mewujudkan sasaran, tujuan, misi dan visi organisasi.  Konsep kinerja menurut definisi LAN ini mempunyai titik berat pada “tingkat pencapaian pelaksanaan”.  Titik berat pada tingkat pencapaian pelaksanaan ini memandang kinerja sebatas pada “tingkat pencapaiaan pelaksanaan’.  Kelebihan konsep ini adalah dapat memberikan rujukan penilaian kuntitatif dari suatu hasil pelaksanaan kebijakan.  Kekurangan konsep ini adalah tidak memberikan penilaian kuantitatif atas suatu hasil pelaksanaan kebijakan.
Menurut Ferris (1997), konsep kinerja diartikan sebagai tingkatan kesuksesan peranan yang dilakukan oleh pekerja.  Konsep kinerja menurut Ferris menitikberatkan kinerja pada “tingkat kesuksesan” dari “seseorang”.  Konsep ini memberikan justifikasi kinerja seseorang, namun belum menjelaskan peran seseorang atas suatu kinerja dalm konteks organisasi.  Konsep Ferris dilengkapi oleh pendapat Keban (2004) yang menyebutkan bahwa kinerja individu menggambarkan kemampuan individu melaksanakan tugasnya sehingga dapat memberikan hasil yang ditetapkan oleh kelompok atau institusinya.  Keban dengan demikian menggariskan bahwa kinerja institusi atau organisasi juga merupakan kinerja para individu dalam organisasi tersebut.
Dalam konteks organisasi, Nelson (1997) memberikan konsep kinerja (performance) sebagai perilaku organisasi yang secara langsung berhubungan dengan produksi atau penyampaian jasa, kinerja seringkali dipikirkan sebagai pencapaian tugas, dimana istilah tugas sendiri berasal dari pemikiran aktivitas yang dibutuhkan oleh pekerja.  Konsep kinerja menurut Nelson menitikberatkan kinerja sebagai produk organisasi.  Kinerja sebagai produk organisasi dapat dilihat dari sudut pandang outcome.  Hal ini antara lain dikonsepkan oleh Kane dan Johson (1995) yang memaknai kinerja sebagai outcome dari hasil kerja keras organisasi dalam mewujudkan tujuan stratejik yang ditetapkan organisasi, kepuasan pelanggan serta kontribusinya terhadap perkembangan ekonomi masyarakat.
Berbeda degan Ferris dan Keban yangmelihat kinerja sebagai produk individu serta Nelson, Kane dan Johson yang melihat kinerja sebagai produk organisasi, maka Bates dan Holton (1995) melihat kinerja dari produk yang dihasilkan dari individu atau organisasi.  Bates dan Holton menyatakan kinerja sebagai perilaku berkarya, penampilan atau hasil karya.  Oleh karena itu kinerja merupakan bentuk bangunan yang multi dimensional, sehingga cara mengukurnya sangat bervariatif tergantung pada banyak faktor.  Senada dengan Bates dan Holton yang memanadang kinerja sebagai produk, menurut Hamzah kinerja dalah gambaran mengenai tingkat pencapaian pelaksanaan suatu kegiatan dalam mewujudkan sasaran, tujuan, misi dan visi organisasi.  Kinerja merupakan pencapaian atas apa yang direncanakan, baik oleh pribadi maupun organisasi.  Hamzah (2006) menegaskan bahwa kinerja merupakan pencapaian produk dari hasil pekerjaan pribadi maupun organisasi,
Sementara itu, dalam Modul kerangka Pemikiran Reformasi Perencanaan dan Penganggaran yang diterbitkan oleh Kementrian PPN/Bappenas (2009) disebutkan bahwa kinerja adalah salah satu proses penilaian atau evaluasi.  Evaluasi kinerja merupakan proses penilaian dan pengungkapan masalah implementasi kebijakan untuk memberikan umpan balik bagi peningkatan kualitas kinerja baik dari sisi efisiensi dan efektivitas dari suatu program/kegiatan.  Cara pelaksanaan evaluasi dapat dilakukan dengan cara membandingkan hasil terhadap target (dari sisi efektivitas) dan realisasi terhadap rencana pemanfaatan sumber daya (dilihat dari efisiensi).  Hasil evaluasi kinerja merupakan umpan balik (feed back) bagi suatu organisasi untuk memperbaiki kinerjanya,
Berdasarkan ulasan kajian kerangka konsep di atas, maka kinerja dapat dibedakan menjadi: (1) tingkat pencapaian pelaksanaan (kebijakan/program/kegiatan/proyek), (2) tingkat kesuksesan individu/pekerja/manajemen, (3) tingkat kesuksesan organisai/lembaga/institusi, dan (4) proses penilaian.  Evaluasi outcome dapat dikategorikan dalam kinerja, karena berdasarkan tujuannya dapat dipakai untuk memahami tingkat pencapaian pelaksanaan.

III.           METODE EVALUASI OUTCOME
Evaluasi outcome tergolong sebagai salah satu teknik yang digunakan dalam melakukan evaluasi.  Dari perspektif konseptual, evaluasi outcome adalah evaluasi sumatif, karena dilakukan setelah suatu program selesai dilaksanakan (ex-post).  Karena sifatnya hanya dapat  dilakukan ketika  program telah selesai dilaksanakan, maka dari perspektif manajemen, hasil dari evaluasi outcome dapat digunakan sebagai bahan penyempurnaan program mendatang, namun sebatas pada tingkat program yang dievaluasi.  Sebagai evaluasi yang meletakkan outcome sebagai unit analisisnya, maka evaluasi outcome dapat digolongkan sebagai evaluasi kinerja.  Lebih lanjut, karena merupakan evaluasi kinerja, maka teknik evaluasi yang digunakan dalam metode evaluasi outcome dapat menerapkan pendekatan pragmatis, artinya setiap program yang berbeda boleh jadi mempunyai teknik evaluasi outcome yang berbeda satu sama lain.
Evaluasi dengan demikian, dapat meminjam pendekatan dalam penelitian ilmiah.  Apakah evaluasi menggunakan metode ilmiah, maka salah satu pendekatan penenlitian yang dapat dipakai adalah pendekatan kuantitatif yangmampu memberikan akurasi tinggi dalam pengukuran hubungan sebab akibat antar variabel yang dipergunakan dalam analisis.  Akurasi tinggi dapat dilakukan dengan memanfaatkan data diskrit sebagai unit analisisnya.  Keterhubungan antar variabel analisis dalam pendekatan evaluasi dapat menjelaskan fungsi variabel outcome dengan variabel output (sebagai variabel-variabel kontributornya).  Keterhubungan tersebut juga diakui dalam model logika dengan penggambaran sebagai berikut:
Capacity              Input              Proses             Output            Outcome

Evaluasi outcome merupakan salah satu jenis evaluasi yang dapat menggunakan data diskrit.  Dalam prosedur evaluasi outcome yang meminjam pendekatan model logika untuk menata keterhubungan antar variabelnya, maka dapat diperoleh pemahaman hubungan sebagai berikut:

Output                                         Outcome
Variabel output                          Variabel outcome
Variabel bebas                           Variabel terikat
Variabel Determinan                Variabel Evaluasi

Meskipun pada akhirnya setiap program dapat mempunyai teknik outcome yang berbeda, namun pada dasarnya mempunyai prosedur dasar yang sama.  Prosedur dasar dapat diberlakukan ketika dalam evaluasi outcome yang sedang dilakukan mengandung obyek analisis dengan jumlah unit analisis yang sangat besar.  Prosedur yang dapat digunakan dalam metode evaluasi outcome adalah sebagai berikut:
Pertama, menentukan obyek analisis.  Pada tahap awal, setiap program yang hendak dievaluasi harus ditentukan obyek analisisnya.  Obyek analisis harus diketahui dengan sangat jelas dan bulat, tidak berbelit-belit.  Agar dapat diketahui dengan jelas, maka definisi atas obyek yang hendak dianalisis harus didilihat dengan seksama.  Sebagai contoh :  Program Pendidikan Wajib Belajar 12 Tahun.  Pada program tersebut obyek analisisnya harus ditentukan dengan tepat.  Apakah proses pendidikannya? Apakah wajib belajar 12 tahunnya?  Atau apakah peserta pendidikan 12 tahunnnya? Dalam contoh ini, kebetulan berdasarkan informasi yang terdapat dalam dokumen rencana pembangunan diketahui bahwa sasaran dari program ini adalah seluruh populasi antara usia 6-18 tahun yang mengikuti pendidikan di SD/MI hingga SLTA/MA.  Sasaran program ini dipahami dengan indikator Angka Partisipasi Murni SD/MI – SLTA/MA 6-18 tahun.  Populasi usia 6 – 18 tahun yang mengikuti proses pendidikan di SD/MI – SLTA/MA inilah yang ditentukan sebagai obyek analisis.
Kedua, menentukan variabel analisis.  Ketika obyek analisis telah jelas diketahui, maka langkah berikutnya adalah menentukan konsep-konsep dan hubungan antar konsep yang berlaku dalam konsep-konsep tersebut.  Konsep-konsep dan hubungan antar konsep yang berlaku harus dapat menggambarkan keterhubungannya dengan obyek analisis dalam suatu skema yang disebut kerangka analisis (analytical framework).  Sebagai contoh : berdasarkan informasi dari dokumen rencana pembangunan diketahui bahwa tujuan dari Program Pendidikan Wajib Belajar 12 tahun dapat dicapai apabila setiap sekolah mempunyai guru yang kompeten, setiap sekolah mempunyai kurikulum yang memadai, setiap murid mendapatkan buku pelajaran gratis, dan penyelenggara program di tingkat pusat melakukan pengendalian kegiatan secara berkala.  Maka, variabel analisis dalam program ini adalah bantuan operasional sekolah, guru yang berkompeten,  kurikulum sekolah, buku pelajaran dan pengendalian berkala, serta populasi di antara  usia 16-18 tahun yang mengikuti proses pendidikan di SD/MI hingga SLTA/MA.
Ketiga, menentukan indikator analisis.  Indikator analisis adalah informasi yang melekat pada variabel analisis dan dapat menjelaskan kualitas dari variabel analisis.  Penentuan indikator analisis adalah langkah yang memerlukan pemahaman yang hati-hati.  Dimensi yang digunakan dalam menentukan indikator harus setara.  Indiaktor analisis yang tidak setara akan berpotensi menimbulkan bias ketika kita melakukan penafsiran (interprestasi) kelak.  Kesetaraan dimaksud adalah kejelasan kedudukan suatu indikator dalam kedudukan sebagai atribut bagi variabel outcome (Variabel Y, dalam bahasa penelitian disebut variabel terikat) atau sebagai variabel output (variabel X, dalam bahasa penenlitian disebut sebagai variabel bebas).  Sebagai contoh dapat digambarkan dalam tabel berikut:




Tabel 1.  Kerangka Analisis untuk Program Pendidikan Wajib Belajar 12 tahun
(menurut Variabel Analisis dan Indikator Analisis)
No
Variabel Analisis
Indikator Analisis/Item
Dimensi
1.
Populasi antara usia 6-18 tahun yang mengikuti proses pendidikan di SD/Mi hingga SLTA/MA
Angka Partisipasi Murni SD/MI-SLTA/MA 6 – 18 Tahun
Variabel Outcome
2
Bantuan operasional sekolah
Nilai bantuan operasional sekolah
Item :
-          Nilai bantuan operasional sekolah ideal
-          Nilai bantuan operasional faktual
Variabel Output
3
Guru yang berkompeten
Jumlah guru yang berkompeten
Item :
-          Jumlah guru yang berkompeten ideal
-          Jumlah guru yang berkompeten faktual
Variabel output
4
Kurikulum sekolah
Jumlah sekolah yang punya kurikulum:
Item :
-          Jumlah sekolah yang mempunyai kurikulum ideal
-          Jumlah sekolah yang mempunyai kurikulum faktual
Variabel output
5
Buku pelajaran
Jumlah buku pelajaran disekolah
Item :
-          Jumlah buku pelajaran di sekolah ideal
-          Jumlah buku pelajaran di sekolah faktual
Variabel output
6
Pengendalian berkala
Jumlah guru yang berkompeten
Item :
-          Jumlah guru yang berkompeten ideal
-          Jumlah guru yang berkompeten faktual
Variabel output




Catatan : Model logika dapat digunakan dalam proses menentukan obyek analisis, dan indikator analisis sebagaimana diusulkan dalam langkah pertama hingga ketiga di atas (Wrihatnolo, 2010)

Keempat, menyiapkan instrumen pendataan.  Instrumen pendataan (setara dengan qusioner dalam bahasa penelitian) dapat diwujudkan dalam bentuk matrik tabel.  Format  matriks tabel harus sesuai dengan kerangka analisis yang ditentukan untuk Program Pendidikan Wajib Belajar 12 tahun yang telah diuraikan menurut variabel analisis dan indikator analisis yang ditentukan.
Kelima, menentukan pilihan sumber data.  Pihak tim evaluator harus menyepakati dulu untuk menggantungkan diri pada sumber data yang mana.  Jika terdapat beberapa sumber data, maka harus dipilih satu saja dan tentukan alasan kuat kenapa memilih sumber data tersebut.  Sebagai contoh, berdasarkan fakta terdapat empat sumber data, yaitu data PPK dirjen Manajemen Pendidikan Dasar, data Unit Kerja Pelaksana (data-data dari direktorat terkait), data Kemenkeu, dan data dari Biro Umum Kemendiknas.  Persoalannya, data-data yang terekam dalam masing-masing sumber yang berbeda itu ternyata berbeda.  Maka berdasarkan kesepakatan, tim menetapkan data PPK sebagai sumber data rujukan.  Pemilihan sumber data ini sesekali membutuhkan kesabaran, karena apabila magnitude obyek yang dianalisis sangat besar, maka dibandingkan dengan waktu kegunaan akan hasil evaluasinya, akan membutuhkan waktu  yang lama atau apabila digantikan dengan man-month akan membutuhkan personil yang sangat banyak. 
Keenam, menyusun matriks tabulasi data.  Berdasarkan kerangka analisis maka disusun matriks tabulasi data.  Matriks tabulasi data digunakan sebagai formulir raw data entry yang berseumber dari instrumen pendataan yang telah diisi.  Seluruh data yang termuat di dalam instrumen pendataan dituang ke dalam matriks tabulasi data (converting process).  Seluruh data yang dituangkan merupakan data yang mewakili masing-masing yang telah ditentukan sesuai kerangka analisis yang telah disusun.  Penyusunan tabulasi data dapat disusun dalam format matriks dengan menggunakan ms-excel.  Penyusunan matriksnya berurutan mulai dari kelompok unit analisis terkecil hingga kelompok unit analisis terbesar.  Dengan kata lain, dimulai dari kegiatan-kegiatan, dan dapat diakhiri antara lain dengan kelompok program dan unit kerja.
Ketujuh, menyiapakan matriks pengolahan data.  Berdasarkan tabulasi data yang telah mengandung informasi lengkap, maka dilakukan proses pengolahan data.  Pada proses pengolahan data harus mempertimbangkan kolom-kolom dalam matriks tabulasi data yang terisi lengkap.  Sebagai catatan, apabila kerangka analisis evaluasi sudah ditetapkan, maka dalam melakukan scoring dan calculating harus sepenuhnya menerapkan model tersebut.  Apabila terdapat satu kegiatan yang mempunyai data tidak lengkap abahkan taidak ada data maka scoring tetap diberlakukan dengan nilai 0. Dan proses calculating harus tetap dilakukan dengan mengalikan score program/kegiatan bersangkutan dengan bobotnya.
Kedelapan, mencermati sifat nilai koefisien pada variabel tertentu.  Pada beberapa variabel tertentu, sebelum dilakukan perhitungan, perlu diteliti dulu sifat niali koefisiennya.  Terdapat dua jenis nilai koefisien, yaitu “Koefisien Berbanding Lurus” dan “Koefisien Berbanding terbalik”.  Apabila ditemukan variabel dengan nilai”Koefisien Berbanding Terbalik”, maka harus dilakukan perhitungan tambahan dengan melakukan pengurangan nilai, yaitu Bobot Variabel yang bersangkutan dikurangi Nilai Koefisien Hasil Hitung langsung.
Kesembilan, melakukan scoring dan calculating.  Untuk memperoleh nilai scoring per kegiatan, diperlukan (a) angka koefisien variabel dan (b) bobot kegiatan bersangkutan (bobot hanya diberikan apabiladipandang setiap item memerlukan pembedaan, lihat Tabel 2).  Langkah-langkah yang dilakukan meliputi : (1) Menghitung angka koefisien variabel.  Angka koefisien variabel dihitung dari angka faktual dibanding angka ideal.  Ketika angka koefisien variabel dari hasil hitungan telah diketahui, maka harus dilakukan pencermatan pada sifat nilai koefisien varibael tersebut.  Jika logikanya berbanding terbalik, maka harus dilakukan pembalikan untuk menemukan angka koefisien variabel sesungguhnya (lihat langkah kedelapan).  Perhitungan angka koefisien variabel dilakukan pada setiap kegiatan dan variabelnya; (2) Menghitung score.  Penghitungan score dilakukan dengan mengalikan angka koefisien variabel dengan bobotnya.  Penghitungan score dilakukan setiap kegiatan dan variabelnya; dan (3) Menghitung total score.  Penghitungan score total dilakukan dengan menjumlahkan masing-masing score pada tiap variabel menurut kegiatan.
Kesepuluh, melakukan penafsiran (interprating).  Penafsiran dilakukan sebagai cara untuk memberikan grading status.  Misalnya dalam tingkatan status seperti (a) sangat baik, (b) baik, (c) sedang, (d) kurang, (e) sangat kurang.  Proses pemberian menuju pemberian grading status pada suatu kegiatan harus dapat ditelusuri secara meyakinkan hingga ke proses penghitungan hulunya dan yang utama adalah scoring atas unit analisis terkecil yang digunakan.  Pemberian grading status dilakukan dengan cara melakukan pemeringkatan total score dari seluruh kegiatan yang menjadi obyek analisis.  Pendekatan grading-nya meminjam pendekatan Skala Likert, yaitu membagi total score sempurna (100) dalam 5 kelas.  Nilai total score dan grading status berdasarkan skala Likert dapat dilihat pada tabel 2.

Tabel 2.  Variabel Analisis dan Item Analisis
No
Score total
Grading Status
1
80 < sampai = 100
Sangat baik
2
60 < sampai = 80
Baik
3
40 < sampai = 60
Sedang
4
20 < sampai = 40
Kurang
5
0 < sampai = 20
Sangat kurang
6
= 0
Tidak ada data (buruk)


IV.           ANALISIS DAN REKOMENDASI
Evaluasi outcome dalam konteks evaluasi atas pelaksanaan berbagai program yang tercantum dalam dokumen rencana pembangunan mempunyai tujuan utama yakni memahami kinerja program yang telah dilakukan dalam satu kurun waktu tertentu.  Dalam dokumen rencana pembangunan, sebagai contoh adalah dokumen GBHN 1993-1998, RPJPN 2005-2025, RPJMN 2010-2014 dan dokumen Rencana Kerja Pemerintah sejak tahun 2005 sampai tahun 2011, pada kenyataannya selalu mempunyai jumlah program sangat besar.  Jumlah program dari tahun ke tahun bukan berkurang dan lebih sederhana, tetapi malah semakin banyak dan semakin rumit (lihat tabel 3).  Apabila proses normal yang dilakukan untuk mengevaluasi outcome atas program-program tersebut dilakukan, maka akan membutuhkan waktu yang tidak sedikit dan cenderung membutuhkan personil dengan kapaistas memadai dalam jumlah yang bisa jadi tidak sedikit.

Tabel 3.  Perbandingan Jumlah program
(Menurut Dokumen Rencana Pembangunan Yang Ada)
No
Dokumen Rencana
Pengelompokan rencana
Anchor
Mata Anggaran
Bab
Sasaran Pokok
Fokus Prioritas
Program
Kegiatan Prioritas
Outcome
/Output
Indikator Kegiatan
1
GBHN 1993-1998
28


165
285

415
2
RPJPN 2005-2025
5
8 s/d 12


118


3
RPJMN 2004-2009
33
33

293
1634

3089
4
RKP 2005



191
1828

4127
5
RKP 2006



259
2035

3972
6
RKP 2007



233
2172

4028
Sumber : berbagai dokumen rencana pembangunan, diolah penulis (2010)

Karena masifnya jumlah program yang ada dalam dokumen rencana pembangunan dan mengingat kerumitan yang mungkin dihadapi oleh para pelaksana evaluasi, maka penulis merekomendasikan sebagai berikut :
(1)    Para evaluator seyogyanya menggunakan metode evaluasi outcome yang sederhana.  Metode sederhana dapat dilakukan dengan menggunakan pendekatan scoring.  Salah satunya adalah menggunakan pendekatan sebagaimana disampaikan di atas.
(2)    Para evaluator seyogianya dibagi dalam beberapa kelompok sesuai kedekatan sifat program-program yang hendak dievaluasi outcomenya.  Dengan demikian diskusi untuk membahas kerangka analisis atas suatu program dapat dilakukan lebih seksama dan lebih tajam.  Kunci keberhasilan metode evaluasi outcome yang sederhana ini adalah ditentukan dari kekuatan dalam menyusun kerangka analisis program.
(3)    Data untuk evaluasi dapat mengandalkan data yang telah tersedia, misalnya menggunakan data berdasarkan format PP 39/2006.  Tentu saja dengan terlebih dahulu dlakukan telaah ulang atas data-data tersedia.  Apabila evaluasi outcome dilakukan atas RKP pada akhir tahun, maka berdasarkan pengalaman seringnya keterlambatan pelaporan pemantauan berformat PP 39/2006, maka sebaiknya menggunakan data kuartal III sebagai garis pokok data yang berlaku untuk seluruh program.

V.             KESIMPULAN
Sejalan dengan keberadaan UU SPPN yang mengamanatkan perlunya evaluasi kebijakan yang hasilnya menjadi dasar penyusunan rencana pembangunan, serta kehadiran unit kerja Kedeputian Evaluasi Kinerja Pembangunan maka kini evaluasi menjadi sebuah kebutuhan strategis dalam proses perencanaan.  Kesempurnaan hasil evaluasi tentu saja satunya sangat ditentukan oleh pendekatan yang digunakan sebagai metode evaluasi, pemilihan unit analisisnya, dan pelaksanaan evaluasinya.  Sementara itu, keberhasilan memaknai atau menafsirkan hasil evaluasi sangat ditentukan dari prosedur evaluasi yang harus dilalui dalam proses evaluasi.
Berkenaan dengan hal tersebut, maka penulis menyimpulkan bahwa metode evaluasi outcome dapat menjadi pilihan sebagai dasar penyusunan evaluasi yang kredibel.  Mengingat keterbatasan data, waktu dan tenaga, maka metode evaluasi outcome yang layak digunakan seogyanya menggunakan dan menerapkan pendekatan yang sederhana.  Salah satu pendekatan yang sederhana yang diusulkan adalah pendekatan scoring dan penafsiran dengan pendekatan skala Likert dengan prosedur evaluasi outcome yang diulas dalam makalah ini.

REFERENSI
Ali Hamzah, 2008.  Pengaruh Partisipasi dalam Pengangaran Terhadap Budgetary Slack, Makalah Seminar. Jakarta.
Bates dan Holton, 1995.  The Impact of Balanced Scorecard. University of Chicago Press, Chicago.
Caroline Pestieau, 2003.  Evaluating Policy research.  Canadian Policy Research. Ottawa.
Daniel L. Stufflebeam, Anthony J Shinkfield, 2007.  Evaluation Theory, Models, and Application.  Jossey-bass. San Fransisco.
David D. Williams, Evaluation Of Learning Objects and Instruction Using Learning Objects.  Juga lihat Clark Davidson, 2006.  Identifying Evaluation and Its Process, research Institute of Management. Wellington.
Eko Putro Widoyok, 2009.  Evaluasi Program pembelajaran : Panduan Praktis Bagi Pendidik dan Calon Pendidik. Pustaka Pelajar. Yogyakarta.
Eamnnuel V. Kane dan Normann L. Johnson, 1995.  Measuring The Process of Managerial.  Departemnt of Industrial Engineering and Managemant Sciences.  Nortwetern University.
Hamid Hasan, 2009.  Evaluasi Kurikulum.  Remaja Rosda Karya. Bandung.
Jemmy Ferris, 1997.  Coming up Participation in Budgeting. University of Michigan. Michigan.
Jermias Keban, 2004.  Enam Dimensi Admistrasi Strategis Publik. Konsep, Teori dan Isu. Gava Media. Yogyakarta.
JohnM. Echols dan Hasan Shadily, 1983.  Kamus Indonesia-Inggris/Inggris-Indonesia.
Kemetrian PPN/Bappenas dan kemenkeu, 2008. Pedoman Perencanaan dan Penganggaran, Modul 1.  Diterbitkan oleh Kementrian PPN/Bappenas dan Kemenkeu. Jakarta.
Modul kerangka Pemikiran Reformasi Perencanaan dan Penganggaran.  Kementrian PPN/Bappenas. Jakarta. 2008
Paul D. Gerder et. All. 2010.  Impact Evaluation in Practice. The World Bank. Washington DC.
Pedoman Penyusunan Laporan Akuntabilitas Kinerja Instansi pemerintah. (SK Kepala LAN Nomor 589/IX/6/Y/1999), LAN. Jakarta. 1999.
Randy R. Wrihatnolo, 2010.  Metode Evaluasi Kinerja: Sebuah panduan Sederhana. Institute for Policy Reform.
_____________________. Model Logika Untuk Evaluasi Pembangunan.___________________
Ronnie D. Green. 2003.  Genomics : Practical and Economic Consideration, USDA Agricultural Research Services anda University of Nebraska. Lincoln.
Samuel Nelson, 1997.  Balanced Scored : A Study Overview.  University of California San Diego. San Diego.
Suharsimi Arikuntodan Cepi Safrudin, 2009. Evaluasi Program Pendidikan: Pedoman Teoritis Praktis Bagi Mahasiswa dan Praktisi Pendidikan.  Bumi Aksara. Jakarta.
Viviane dan Gilbert de Lansheere, 1977.  Dictionnaire de L Evaluation et de la Recherche en Education. Paris
Yoland Wadswordth, 1997.  Everyday Evaluation on the Run.  Allen and Unwin. St Leonards.
Zaenal Arifin, 2009. Evaluasi pembelajaran: Prinsip, Teknik dan Prosedur. Remaja Rosdakarya. Bandung.

*)Penulis : perencana muda pada Direktorat Evaluasi Kinerja Sektoral, Bappenas
**)Tulisan  diambil dari majalah Perencanaan Pembangunan, Edisi 03/Tahun XVII/2011



Tidak ada komentar:

Poskan Komentar