Kilka szczegółów o ewaluacji

Historia badań ewaluacyjnych

Pierwsze skojarzenia związane z ewaluacją, tj. ocena, kontrola lub podsumowanie, nie są w pełni trafne, bo nie oddają całości charakteru badań ewaluacyjnych. Samo słowo ewaluacja pochodzi z języka angielskiego i jest tłumaczone zazwyczaj jako „ocena”, „oszacowanie”, „kontrola”, „test”, „sprawdzenie”. Natomiast Słownik Języka Polskiego PWN definiuje ewaluacje jako „oszacowanie wartości czegoś”. Na problemy semantyczne różnego tłumaczenia, rozumienia i stosowania pojęcia ewaluacja wskazywał M. Trocki.

W literaturze przedmiotu ewaluacja w wąskim rozumieniu odnosi się do oceny projektów. Podejście to wynika z potrzeb OECD i ONZ po II wojnie światowej, kiedy została opracowana koncepcja zarządzania projektami oparta na celu (GOPP – Goal Oriented Project Planning) i powiązany z tym system ewaluacji uwzględniający różne horyzonty celów i skutków realizacji projektów. System ten, stosowany do chwili obecnej, został przejęty i wykorzystany do celów ewaluacji projektów finansowanych ze środków Unii Europejskiej.

Główne definicje ewaluacji

Przedstawiciele amerykańskiej szkoły ewaluacji, którzy zbierali doświadczenia w procesie ewaluacji systemu edukacji definiowali ewaluację szeroko. Przykładowo M. Scriven definiował ją jako „zestaw działań stosowanych do ustalenia jakości, określenia wartości, znaczenia danego obiektu, programu”, a M. Q. Patton jako „wydanie osądu na temat wartości przedsięwzięcia, lecz jako partycypacyjnego, angażującego uczestników procesu wypracowywania tego osądu”. Jeden z pierwszych podręczników ewaluacji w Polsce podawał następującą definicję: „ewaluacja to systematyczne badanie, prowadzone z użyciem zróżnicowanych metod, złożone ze zbierania danych, analizy, oceny oraz informowania o wynikach. Jego celem jest oszacowanie (w odniesieniu do jasno sformułowanych kryteriów) jakości i wartości procesu oraz efektów wdrażania interwencji publicznych”.

Charakter ewaluacji

Analizując powyższe definicje można dojść do wniosku, że ewaluacja nie ogranicza się do wystawienia jednej oceny, nie jest to również kontrola ani audyt. Podkreślany jest wspólny partycypacyjny charakter i zaangażowanie wszystkich interesariuszy procesu. Biorąc pod uwagę ducha ewaluacji, należy wskazać na proces, który ma na celu udoskonalenie realizowanych działań w wyniku przeprowadzonego badania. Nie chodzi o wskazanie personalnych błędów ani wystawienie oceny – ma na celu wskazanie mocnych i słabych stron działania w celu jego udoskonalenia i wzmocnienia odziaływania. Ewaluacja tylko wtedy ma sens, gdy osoby zlecające mają poczucie, że wyniki wniosą wartość w działanie danej organizacji lub projektu oraz są gotowe zaangażować się i wesprzeć badaczy, aby wyniki dostarczyły użytecznej wiedzy.

Ewaluacja to temat złożony i wymagający rozszerzonej wiedzy, dlatego w kolejnych artykułach pojawi się więcej szczegółów o:

• korzyściach ewaluacji i przebiegu jej procesu (krok po kroku)
• kryteriach ewaluacyjnych i typach ewaluacji

Dla rozszerzenia tematu, sugerujemy zajrzeć do rozbudowanej listy publikacji zamieszczonej poniżej. Polecamy także 5-godzinny warsztat prowadzony przez specjalistę w tym temacie: Michael Quinn Patton Evaluation Workshop (YouTube), udostępniony dzięki USAID LearningLab.

Doświadczenia z ewaluacją

Doświadczenie Działu Analiz Strategicznych PW w realizacji badań ewaluacyjnych:

• Ewaluacja mid-term projektu „Podniesienie Jakości Zarządzania Politechniką Warszawską” (POKL 4.1.1)
• Ewaluacja ex-post projektu „Podniesienie Jakości Zarządzania Politechniką Warszawską” (POKL 4.1.1)
• Ewaluacja ex-post projektu „Program rozwoju dydaktycznego Wydziału Mechanicznego Energetyki i Lotnictwa Politechniki Warszawskiej” (POKL 4.1.1)
• Ewaluacja mid-term projektu „Architecture for Society of Knowledge ASK – Studia III stopnia w j. angielskim na Wydziale Architektury PW” (FSS)
• Ewaluacja ex-post projektu „Architecture for Society of Knowledge ASK – Studia III stopnia w j. angielskim na Wydziale Architektury PW” (FSS)
• Ewaluacje kursów programowania dla dzieci dla WOWschool
• Ewaluacja konferencji „Nauka, biznes i środowisko. Raport GEO-6 dla regionu paneuropejskiego”
• Ewaluacja programu akceleracyjnego „Wielki zderzacz pomysłów”
• Ewaluacja warsztatów „Science2biz” – badanie na zlecenie DeLab UW
• Ewaluacja konferencji „Forum Rozwoju Mazowsza” – raport z badania jakościowego
• Badanie ewaluacyjne wydarzenia pn. „Venture Day Warszawa”
• Ewaluacja „II Ogólnopolskiego Kongresu Energetyki Obywatelskiej”
• Realizacja badania ewaluacyjnego ex post wybranych programów NCBR
• Ocena jakości i efektów realizacji III osi priorytetowej PO WER Szkolnictwo wyższe dla gospodarki i rozwoju
• inne

Odnośniki

• Ewaluacja w strategicznym zarządzaniu publicznym, red. A. Haber, M. Szałaj, Polska Agencja Rozwoju Przedsiębiorczości, Warszawa 2010.
• Kupiec T., Ewaluacja jako narzędzie zarządzania w sektorze publicznym, Studia z Polityki Publicznej, Szkoła Główna Handlowa, nr 2(2), 2014.
• Olejniczak K., Wprowadzenie do zagadnień ewaluacji, w: Teoria i praktyka ewaluacji interwencji publicznych. Podręcznik akademicki, red. K. Olejniczak, M. Kozak, B. Ledzion, Wydawnictwa Akademickie i Profesjonalne, Warszawa 2008
• Olejniczka, K., Kupiec, T. i Raimondo, E. (2014). (R)ewaluacja 2. Wiedza w działaniu. (K. Olejniczka i A. Haber, Redaktorzy) Warszawa: Polska Agencja Rozwoju Przedsiębiorczości.
• Patton, M.Q. (2013). Przyszłe trendy w ewaluacji. W: A. Haber, Z. Popis (red.), (R)ewaluacja. Poszukiwanie nowych metod oceny efektów. Warszawa: Polska Agencja Rozwoju Przedsiębiorczości.
• Radimondo, E., Olejniczak, K. i Kupiec, T. (2016). Evaluation units as knowledge brokers: Testing and calibrating an innovative framework. Evaluation(22(2)), 168-189.
• Regionalny Program Operacyjny Województwa Mazowieckiego na lata 2014-2020. Urząd Marszałkowski Województwa Mazowieckiego w Warszawie Warszawa, 18 grudnia 2018 r.
• Scriven M., Key Evaluation Checklist, Evaluation Checklists Project, University of Michigan 2007.
• Standardy ewaluacji, Polskie Towarzystwo Ewaluacyjne, 2008.
• Trocki M., Juchniewicz M., Ocena projektów – koncepcje i metody, Oficyna Wydawnicza Szkoła Główna Handlowa w Warszawie
• Wprowadzenie do unijnej polityki spójności na lata 2014-2020 (https://ec.europa.eu/regional_policy/sources/docgener/informat/basic/basic_2014_pl.pdf)
• Wytyczne w zakresie ewaluacji polityki spójności 2014-2020, Minister Inwestycji i Rozwoju, 2018.

Zespół badaczy

Artykuł napisał Paweł Huras, a grafikę stworzono z narzędziem SI: Adobe Firefly