The Art of Evaluation in the Pandemic: Adaptation and Adjustment?

Jonatan A. Lassa

Abstract: Evaluation should be about meaning making exercise. In the middle of COVID-19 pandemic, it is timely to reflect on what are the most valuable (or important) questions for evaluation industry today? Should they be about “How to questions” such as: How to conduct project/ program evaluation in the middle of pandemics? How to scientifically perform a project/program evaluation in the middle of a crisis characterised by VUCA (vulnerability, uncertainty, complexity and ambiguity)? Or, how evaluation industry cope with COVID-19? Long interruptions and delays in evaluation services might bring some existential challenges to the industry. In trying to deal with these questions, I will briefly discuss the history of evaluations science in the last 50 years while briefly outlines a framework for evaluation in the middle of the pandemic.

Disclaimer: Penulis menggunakan Evaluasi (huruf kapital) yang bermakna kata benda – yakni Evaluasi sebagai sebuah disipilin ilmu atau dimulainya kalimat. Sedangkan evaluasi (huruf kecil) bermakna kata kerja sebuah proses penilaian kinerja, capaian atau perubahan sosial. Disampaikan dalam “CIRCLE Indonesia will conduct Webinar with topic Evaluation Approaches in the Context of COVID-19 Pandemic.”

Introduction – Evaluation Science: The field turns > 50?

Usia evaluation science sebagai sebuah disiplin atau sub-disiplin ilmu sosial, belum lama. Setidaknya, pendekatan ilmiah/akademis/ilmu dalam evaluasi baru berusia 50 tahun. Minimal ada tiga gelombang studi evaluasi dengan proxy diterbitkannya jurnal-jurnal ilmiah terkait evaluasi. Gelombang pertama adalah periode paruh akhir 1970an-1980an. Gelombang ke dua adalah 1990-hingga era awal 2000an. Gelombang ke tiga adalah di mulai dekade ke dua abad 21.

Gelombang pertama di tandai oleh lahirnya berbagai scientific journal di Amerika Utara seperti Studies in Educational Evaluation yang terbit tahun 1975 (yang awalnya berfokus pada namun tidak terbatas evaluasi kurikulum dan proyek pembelaran) dan Evaluation and Program Planning yang dalam terbitan pertamanya (1978) lebih jelas dalam posisi filosofis dan reflektif (Lihat Evaluation: Manifestations of a new field). Lahir juga New Direction for Program Evaluation di 1978 memberi posisi yang lebih tegas bahwa Evaluasi  Era ini bisa dikatakan di dominasi atau tepatnya dipimpin oleh American Evaluation Association yang membidani lahirnya Evaluation Review tahun 1977, Evaluation and the Health Professions tahun 1978, dan American Journal of Evaluation tahun 1981. Praktik di Amerika Serikat di kemudian ikuti oleh jurnal Canadian Journal of Program Evaluation oleh Canadian Evaluation Society di tahun 1986. (Lihat Tabel 1).

Yang patut di pahami adalah era ini di juga tandai dengan masifnya distribusi kegagalan mesin birokrasi pemerintah di seluruh penjuru dunia (baik di yang mendorong lahirnya gerakan-gerakan governance (governing beyond government dengan kesadaran baru atas pentingnya bisnis dan organisasi non-government) (Lihat Lassa 2011). Efek gerakan ini termasuk dorongan lahirnya good governance dan akuntibilitas pemerintah baik di negara maju maupun negara-negara miskin dan berkembang. Alasan utama meningkatnya praktik evaluasi di era 1970an di rekam oleh Flaherty &  Morell 1978 dengan empat observasi: pertama, tuntutan akuntibiltas; kedua, meningkatnya ketertarikan limuan social atas relevansi evaluasi; ketiga, sedikitnya sumber pengetahuan dari ilmu social tradisional; dan berkembangnya metode-metode yang berguna bagi penelitian-penelitian aplikasi.

Gelombang ke dua di tandai paska 1990an-2000an awal, sebuah periode di mana praktik-praktik evaluasi dan akuntibilitas mulai di adopsi secara global di luar Amerika Serikat baik dalam konteks pembangunan domestic maupun bantuan-bantuan kemanusian dan pembangunan luar negeri maupun kerangka-kerangka pembangunan internasional seperti Millennium Development Goals Tahun (2000). Hal ini di tandai dengan lahirnya Evaluation – the international journal of theory, practice and policy yang dipelopori European Evaluation Society di Tahun 1995; Evaluation Journal of Australasia oleh Australian Evaluation Society tahun 2001. Terbitnya Zeitschrift für Evaluation di Jerman tahun 2002. Journal of MultiDisciplinary Evaluation yang di terbitkan pertama kali oleh Simon Fraser University di Kanada tahun 2004.

Name of Evaluation Journals	Focus	First Edition	H-Index / and Q Index	Publishers
Studies in Educational Evaluation	General- multidisciplinary	1975	33 [Q2]	Elsevier
Evaluation Review	General- multidisciplinary	1977	50 [Q1]	American Evaluation Association via SAGE
Evaluation and Program Planning	Development Studies and Planning	1978	54 [Q2]	Elsevier Ltd.
New Directions for Evaluation	General- multidisciplinary	1978	35 [Q3]	Wiley-Blackwell
Evaluation and the Health Professions	Nursing and Health	1978	49 [Q2]	American Evaluation Association via SAGE
American Journal of Evaluation	General- multidisciplinary	1981	48 [Q1]	American Evaluation Association [via  SAGE]
Performance Evaluation	General- multidisciplinary	1981	59 – Q1	Elsevier Ltd.
Canadian Journal of Program Evaluation	General- multidisciplinary	1986	13 [Q3]	Canadian Evaluation Society
Research Evaluation	General- multidisciplinary	1991	41 [Q1]	Oxford University Press
Evaluation – the international journal of theory, practice and policy	General- multidisciplinary	1995	44 [Q1]	European Evaluation Society via SAGE
Journal of Evaluation in Clinical Practice	Nursing and Health	1995	65 [Q2]	Blackwell
Evaluation Journal of Australasia	General- multidisciplinary	2001	N/A	Australasian Evaluation Society [Sage]
Zeitschrift für Evaluation	General- multidisciplinary	2002	6 [Q4]	zfev.de
Journal of MultiDisciplinary Evaluation	General- multidisciplinary	2004	N/A	sfu.ca/
Journal of Development Effectiveness	Development Studies and Planning	2011	18 [Q1]	Taylor and Francis
International Journal of Assessment and Evaluation	General- multidisciplinary	2013	2 [Q4]	Common Ground Research Networks
African Journal of Evaluation	General- multidisciplinary	2013	3 [Q2]	African Evaluation Association via AOSIS

Sumber: Penulis

Gelombang ketiga ditandai dengan gerakan global soal evidence-based policy – – terutama di Global South karena dukungan industry bantuan internasional, termasuk gairah yang besar dari donor-donor untuk memperkuat sektor think tank atau aliran NGO yang berfokus pada pengetahuan di periode ini. Lahirnya African Journal of Evaluation oleh African Evaluation Association (di tahun 2013). Walaupun aksi kolektif asosiasi evaluasi (Voluntary Organization for Professional Evaluation) dari berbagai negara kemudian membentuk secara formal International Organization for Cooperation in Evaluation di tahun 2003, namun secara signifikan baru terlihat dampaknya secara global setelah dekade ke dua. Hal ini juga bisa di lihat dalam konteks berkembangnya InDEC yang dimulai sejak 2007/2008 dan berkembang menjadi sebuah organisasi asosiasi formal di tahun 2012.

Belum jelas apakah akan lahir jurnal-jurnal baru terkait visi pemenuhan capaian Sustainable Development Goals dan Paris Accord, atau tidak dan apakah cukup perkembangan terkait data-science dan big-data untuk evaluasi program akan cukup dengan outlet studi evaluasi yang telah ada saat ini.

Mengapa di mulai dari Sejarah?

Mengapa untuk menjawab bagaimana adaptasi Evaluation Industry dalam COVID-19 harus gali sejarah Evaluasi? Referensi epidemic terdekat adalah krisis SARS 2003, H1N1 2009 ataupun MERS 2012. Tetapi karena skalanya tidak sama, maka bayangan yang bisa dipakai adalah Spanish Flu 1918-20. Sayangnya, ilmu evaluasi belum setua sejarah pandemik di Bumi.

Karena itu tiga alasan utama mengapa sejarah di atas penting dalam menjawab pertanyaan dalam konteks Indoensia. Pertama, perlu ditekankan bahwa ilmu evaluasi walau makin matang sebagai sebuah disliplin/profesi, tetap masih bersifat baru. Kedua, kita tidak punya dokumentasi yang cukup – misalkan bagaimana proses evaluasi program/proyek yang serupa krisis COVID-19 saat ini. Dari penggalian sepintas, melalu berbagai Teknik penggunaan kata kunci, sulit di dapatkan pengetahuan yang memadai terkait bagaimana melakukan adaptasi dalam proses evaluasi di era pandemic.

Ketiga, seperti ilmu kebencanaan yang saya geluti (termasuk soal bagaimana evaluasi dalam konteks bencana dan bencana dalam teropong ilmu evaluasi) yang masih belum tua (misalkan, jurnal bencana pertama kali pun terbit 1977 – lihat Disaster), dan dalam konteks Indonesia, ilmu evaluasi secara scientific belum lama terbentuk.  Dalam konteks community development evaluation (dalam disiplin development studies) di Indonesia, proses terbentuknya komunitas lebih di dorong oleh communities of practice ketimbang sebuah visi akademis.  Sebuah proses yang kontras dengan komunitas Ilmu Pendidikan di Indonesia di mana mulai bermunculan jurnal-jurnal evaluasi di era gelombang ketiga ini seperti Jurnal Evaluasi Pendidikan (JEP) oleh Universitas Negeri Jakarta tahun 2011 dan Jurnal Penelitian dan Evaluasi Pendidikan oleh Universitas Negeri Yogyakarta yang di mulai 2008.

Di Indonesia, Evaluasi di luar komunitas ilmu Pendidikan, misalkan studi pembangunan, ekonomi, perencanaan dan sebagainya, belum ada panduan yang jelas soal arah evaluation science khas Indonesia. Praktisi Evaluasi cenderung dihasilkan dari ‘learning by doing’ atau ‘on the job training’ dan ada kecenderungan ketergantungan pada dogma dan text-book Lembaga-lembaga donor. Karenanya, dalam konteks inovasi (khususnya process innovation maupun product innovation (dalam konteks evaluation tools dsb) kita cenderung masih berjalan di tempat.

Lalu Bagaimana Evaluasi di Era Pandemic?

Lockdown membuat traveling untuk field evaluation menjadi tidak mungkin. Bukan hanya industry Evaluasi yang terkena imbas. Hampir semua kegiatan penelitian di berbagai universitas di duniapun terhambat karena mobilitas adalah bagian penting dalam proses-proses kegiatan evaluasi dan penelitian.

Lalu bagaimana kita melakukan evaluasi di Era Pandemic dalam konteks di Indonesia? Saya berpendapat bahwa jawabannya mesti digali dan ditemukan oleh kita sendiri. Sejauh ini tidak ada pengetahuan mendominasi soal bagaimana melakukan evaluasi di era COVID-19. Untuk beberapa alasan. Pertama, hampir semua komunitas evaluasi internasional, sebagai misal, Australian Evaluation Society juga masih mendokumentasi pengalaman evaluasi di era pandemic ini.[1] Dan tidak banyak yang bisa di baca dari European Evaluation Society ataupun American Evaluation Association. Kedua, peer-reviewed literature terkait evaluasi lebih banyak terkait sisi medis dari COVID-19.

Hal ini berarti kita harus melakukan beberapa pilihan realistis yang coba saya rangkum untuk di diskusikan dalam Webinar hari ini. Pendekatan di bawah ini

Pertama, dan yang paling utama adalah memastikan prinsip dan etika evaluasi itu sendiri, baik ada atau tidaknya badai Pandemik, bahwa keselamatan semua pihak baik evaluator, client/staff dan responden (seperti penerima bantuan  – dalam konteks community development project; maupun stakeholder terkait termasuk pemerintah dan pihak terkait lainnya). Dalam konteks di mana pilihan hanya memungkinkan dilakuakan secara remote evaluation, kita perlu bertanya apakah memang kegiatan evaluasi yang anda lalukan adalah sebuah keharusan (dalam segala alasannya termasuk menolong industri evaluasi tetap bisa hidup). Hal ini termasuk di dalamnya focus pada mental health semua pihak; maupun akses pada bandwith dan teknologi (mobile phones) dan quality of engagements.

Kedua, terkait point pertama di atas, adalah renegosiasi dengan clients terkait scope dan pendekatan penelitian dengan target dan potensi  modifikasi aktiviitas. Hal ini tergantung pada status project evaluation anda, apakah sudah atau belum diikat formal agreement.

Tiga, Pentingnya pendekatan experimental and explorative sambil bertanya: What is possible? Tidak ada salahnya berimajinasi dan mencoba memberikan panduan terkait pendeketan-pendekatan exploratif yang sesuai konteks dan keinginan/kemauan users/clients maupun soal realistisnya akses pada stakeholder program/project dalam konteks remote evaluation atau digital-based evaluation.

Empat, adaptasi metodologis [To be explored/explained in details when time is available].

• The traditional methods: Desk research methods, Content analysis; Discourse analysis
• Phone interviews; and precautionary approach to face to face with solid risk reduction measures.
• Emerging methods: live interviews (Skype, Zoom, Google Meeting etc.); Social media data collection (WA survey tool; Online survey; Facebook); Big-data approach to evaluation; Webinar videos as data; Online FGDs; The use of Kobo and others.
• Secondary data analysis from both projects and external data. Like research, evaluation is about meaning making. Banyak Lembaga yang sudah memiliki sistim Monev dengan proses rekaman aktivitas monitoring yang rutin dan kaya; Kebanyakan dari rekaman-rekaman ini akan tersimpan dalam hard drive mereka untuk selama-lamanya tanpa bisa di konversi menjadi pengetahuan. Sedangkan data hanya bisa bermakna bila pemahaman atas teori dan konsep tentang (namun tidak terbatas pada) social change sebagai agenda utama proyek-proyek pembangunan sosial dan kemanusiaan. Bila dibarengi dengan penguasaan teknologi seperti Teknik coding yang berbasis aplikasi seperti NVivo atau Atlas.ti atau MAXQDA termasuk yang Open Source / free seperti RDQA.
• Dalam hal ini industry evaluasi juga wajib adaptive terhadap perkembagan teknologi dan implikasi metodologis.
• Bila evaluasinya terkait COVID-19 non-medis, maka pilihannya bisa dengan real-time evaluation dengan penggunaan berbagai emerging methods di atas.

Lima, terima kenyataan bahwa tidak semua evaluasi mesti dilakukankarena hidup lebih penting dari kegiatan-kegiatan yang bisa di tunda.

Reference

Anderson, S.B. 1978. Editor’s notes: The expanding role of program evaluation. New Directions for Program Evaluation, https://doi.org/10.1002/ev.1195

Flaherty, E.W., and Morell, J.A. 1978. Evaluation: Manifestations of a new field. Evaluation and Program Planning 1(1): 1-10

Lassa, JA. 2011. Institutional Vulnerability and Governance of Disaster Risk Reduction: Macro, Meso and Micro Scale Assessment. PhD Thesis – University of Bonn.

---

[1] Lihat AES’s COVID-19 update (16/04/2020)