Kavade hindamise akadeemilistes valdkondades kasutatakse eri allikatest pärit ideid ja strateegiaid. Selles osas tõstame neist mõned esile ning muudame need ülesannete ja harjutuste kaudu reaalseks.

CIPP-mudel

Stufflebeami CIPP-mudel on kavade hindamise korraldamiseks väga hea vahend.

Kõik, mida meil on CIPP-mudeliga seoses konteksti, sisendi, protsessi, tulemi, tegevuste ja eesmärkide kohta öelda, põhineb meie haridusasutuse põhiväärtustel.

Põhiväärtuste määratlemine on haridusasutuse juhatuse ja nõukogu ülesanne koostöös meeskonna ja sidusrühmadega. INTENSE’i puhul leiab põhiväärtused hartast, üleminekujuhendajate koolituskavast, sidusrühmadega peetud aruteludest ja organisatsiooni üleminekukavast. Vt altpoolt.

Mudeli kasutamise kohta lisateabe saamiseks soovitame lugeda hoolikalt läbi järgmise artikli:

http://openjournals.libs.uga.edu/index.php/jheoe/article/download/628/482

«  Harjutus!

Leidke internetist CIPP-mudeli kohta lisateavet. Koostage CIPP-mudeli kohta lühikokkuvõte.

Panuse analüüsi mudel

„Põhjuse ja mõjuga seotud küsimused on tulemuste hindamisel väga olulised. Kui projekti arendamine tulemuste hindamiseks ei ole praktiline, on panuse analüüsi kaudu võimalik saada põhjuse ja mõju kohta usaldusväärne hinnang. Kava aluseks oleva muudatuste teooria kinnitamine ja teistele potentsiaalselt tulemusi mõjutavatele teguritele tähelepanu pööramine annab kava panuse kohta piisavalt tõendeid.“

John Mayne

Panuse analüüs: põhjuse ja mõju uurimise meetod. 2008

Selgituseks: otsese põhjusliku seose tõestamine ei ole eesmärk omaette. Oleks ebatõenäoline, kui sekkumine oleks teatud tulemuste saavutamisel ainus mõjutegur, arvestades keerulist sotsiaalset keskkonda, kus me töötame. Seega peame formuleerima omistamise probleemi. Mil määral tulenevad saadud tulemused kava tegevustest?

Panuse analüüs on struktureeritud meetod selleks, et mõista, mil määral tulemused tulenevad teatud tegevusest, mitte teistest teguritest. Otsese põhjusliku seose tõestamine ei ole eesmärk omaette. Oleks ebatõenäoline, kui sekkumine oleks teatud tulemuste saavutamisel ainus mõjutegur, arvestades keerulist sotsiaalset keskkonda, kus me töötame.

Panuse analüüs keskendub sellele, et mõista paremini seda, miks tulemusteni jõuti, milline tähtsus oli tegevustel ning millised olid teised sisemised ja välised tegurid. Põhjenduse kohta tõendite kogumisel ja esitamisel (muudatuste teooria) saab teha mõistliku järelduse. Panuse analüüsis on kuus iteratiivset (korduvat) etappi. Iga etapp arendab panuse lugu ja tegeleb eelmise etapi nõrkade külgedega. Vt altpoolt.

«  1. etapp. Määrake käsitletav omistamise probleem.

See etapp on vajalik kõigi küsimuste formuleerimiseks.

• Teadvustage omistamise probleemi. Omistamise peamise vea kaudu saab selgitada, miks me sageli teisi liiga karmilt hindame, kui samal ajal päästame end vastutusest, põhjendades oma (ebaeetilist) käitumist. Panuse analüüsis tuleb omistamise veast alati teadlik olla.
• Leidke kindel põhjuse-tagajärje küsimus, millega tegelete.
• Tehke kindlaks vajaliku enesekindluse tase.
• Uurige eeldatava panuse liiki.
• Leidke ülejäänud peamised mõjutegurid.
• Hinnake oodatava panuse tõenäosust võrreldes kava mahuga.

«  2. etapp. Koostage muudatuste teooria.

See etapp koos mõjuahelaga on panuse analüüsi peamine töövahend. Muudatuste teooria ja mõjuahel on teineteisega otseselt seotud.

Iga sekkumine, mis toimub projekti (INTENSE’i) kaudu, põhineb eeldusel selle kohta, mida projekt (sekkumiste kaudu) kaasa toob. Seega on muudatuste teooria selgitus selle kohta, miks teie arvates kaasnevad projektiga positiivsed tulemused. Kui organisatsioon soovib luua muudatuste teooria, tuleb mõelda järgmistele küsimustele.

1. Millised on INTENSE’i eesmärkide täitmise eeldused?
2. Millised on riskid?

Muudatuste teooria esitlemine

• Määrake üksikasjalikkuse tase.
• Tehke kindlaks kava eeldatav panus.
• Loetlege muudatuste teooria aluseks olevad eeldused.
• Võtke arvesse teised tegurid, mis võivad tulemusi mõjutada.
• Tehke kindlaks, mil määral on muudatuste teooria vaieldav.

3. Kuidas kasutada mõjuahelat muudatuste teooria raames?
4. Koostage mõjuahel, kasutades sisendeid, tegevusi, väljundeid, (vahe)tulemusi ja lõpptulemusi.

«  3. etapp. Koguge muudatuste teooria kohta olemasolevaid tõendeid.

Hinnake muudatuste teooria seoste loogikat. Kui vaatate üle loogika tugevad ja nõrgad küljed, teooria eri eelduste usutavuse ning selle, mil määral neid on võimalik vaidlustada, saate hea ülevaate kohtadest, kus on vaja konkreetseid tõendeid. Koguge tõendid kokku. Tõendeid muudatuste teooria kinnitamiseks on vaja kolmes valdkonnas: saadud tulemused, muudatuste teooriat käsitlevad eeldused ja muud mõjutavad tegurid.

• Tulemuste ja tegevustega seotud tõendid
• Eeldustega seotud tõendid
• Teiste mõjutavate teguritega seotud tõendid

«  4. etapp. Pange kokku ja hinnake panuse lugu ning sellega seotud raskuseid.

Nüüd on võimalik panna kokku panuse lugu, nagu seda on seni arendatud, ja seda kriitiliselt hinnata. Selles etapis tuleks küsida järgmiseid küsimusi. Mõned olulised näited on:

• Kui usutav on lugu üldiselt?
• Millised mõjuahela seosed on tugevad?
• Kas sidusrühmad nõustuvad looga?
• Kas on selge, millised tulemused on saavutatud?
• Kas peamised eeldused on kinnitatud?

«  5. etapp. Otsige lisatõendeid.

• Tuvastage, milliseid uusi andmeid on vaja.
• Kohandage muudatuste teooriat.
• Koguge uusi tõendeid.

«  6. etapp. Vaadake panuse lugu üle ja tugevdage seda.

• Uute tõenditega saab luua usutavama panuse loo.
• Toetage eelmise versiooni nõrku kohti või soovitage teha muudatusi muudatuste teoorias.
• On ebatõenäoline, et ülevaadatud lugu on lollikindel, aga see saab olema tugevam ja usutavam.

Panuse analüüs toimib kõige paremini korduva protsessina. Seega võib siinkohal analüüsis naasta 4. etapi juurde ning hinnata uuesti panuse loo tugevaid ja nõrku külgi.

Järgmisel joonisel on toodud eristatud ülevaade INTENSE’i projekti muudatuste teooriast. See on hindamiskava keskne osa ja seega peamine muudatuste teooria, mis on aluseks kõigile eraldi koostatud partnerite muudatuste teooriatele.

Allikas: Málaga ülikool

Andmete kogumiseks võib kasutada järgmiseid vahendeid, olenevalt partnerist, kes need valib:

• ametlik statistika;
• ametlikud aruanded;
• intervjuud;
• küsimustik või uuring;
• skaalad ja graafikud;
• testid;
• tähelepanekud: eneseanalüüs, päevik, kontroll-loend.

Lisateabe saamiseks lugege järgmisi dokumente:

• https://www2.gov.scot/Resource/Doc/175356/0116687.pdf
• https://www.betterevaluation.org/sites/default/files/ILAC_Brief16_Contribution_Analysis.pdf

OECD kriteeriumid

Järgmine oluline element on hindamise juhtimiseks kasutatavad kriteeriumid. DAC-OECD on koostanud hulganisti kriteeriume, mida pakutakse välja tegevustena. Palun lugege DAC-OECD hindamiskriteeriume.

https://www.oecd.org/development/evaluation/qualitystandards.pdf

Muudatuste teooria

„Organisatsiooni iga sekkumine põhineb eeldustel, mis üheskoos moodustavad teooria. Muudatuste teooria meetod katsetab tegijate teooriat – sest miski pole nii praktiline kui hea teooria.“ (Erik Snel, 2013)

Alltoodud mõjuahel kujutab muudatuste teooria aluseks olevaid järjestikuseid seoseid, mis Wikipedia kohaselt:

„… selgitavad muudatuste protsessi, tuues esile algatuse põhjuslikud seosed, st selle lühiajalised, keskmised ja pikaajalised tulemused. Tuvastatud muudatused määratakse nn tulemuste rajana, mis näitab iga tulemust loogilises suhtes kõigi teistega, ning kronoloogilist voogu. Tulemustevahelisi seoseid selgitatakse põhjenduste või väidetega, miks üht tulemust peetakse teise eelduseks.“

Muudatuste teooria kirjeldab samal ajal ka rakendamisprotsessi kulgu. Selle põhjal loodav kava on nii-öelda eduka rakendamise juhiseks. Lisaks aitab see muuta organisatsioonis töötavate inimeste mõtteviisi ja luua koostööprotsesse. Nagu teate, ei muutu midagi, kui inimesed ei muuda oma mõttemalli.

Edukas rakendusprotsess sõltub paljudest teguritest, nagu sobiv koolitus, teoreetilised teadmised, juhatuse tugi ja eelkõige selge pühendumine muudatuste tegemisele. Kui pühendumust pole, on peaaegu võimatu INTENSE’i nii üldise ideena kui ka osadena rakendada.

Lisateabe saamiseks vaadake palun järgmist videot: https://youtu.be/KRptX_DNL2Q

«  Harjutus

Vastake lühidalt järgmisele küsimusele. Milline roll võib olla muudatuste teoorial teie kui juhendaja töös?

This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License

The European Commission support for the production of this publication does not constitute an endorsement of the contents which reflects the views only of the authors, and the Commission cannot be held responsible for any use which may be made of the information contained therein.