Πολλές έννοιες και στρατηγικές από διαφορετικές πηγές χρησιμοποιούνται σε ακαδημαϊκούς τομείς της αξιολόγησης του προγράμματος. Σε αυτό το τμήμα, θα τονίσουμε μερικά από αυτά και θα τα καταστήσουμε απτά μέσα από εργασίες και ασκήσεις.

ΜΟΝΤΕΛΟ CIPP

Το μοντέλο CIPP του Stufflebeam είναι ένας πολύ χρήσιμος τρόπος για να οργανωθεί η αξιολόγηση των προγραμμάτων.

Όλα όσα έχουμε να πούμε στο μοντέλο CIPP σχετικά με το Πλαίσιο, την Εισροή, τη Διαδικασία, το Προϊόν, τις ενέργειες, τους στόχους και τα αποτελέσματα βασίζονται στις ΒΑΣΙΚΕΣ ΤΙΜΕΣ του εκπαιδευτικού μας οργανισμού και επανέρχονται σε αυτό.

Είναι η αποστολή της διοίκησης και του διοικητικού συμβουλίου ενός εκπαιδευτικού οργανισμού να διαμορφώσει τις βασικές αξίες μαζί με την ομάδα και τους ενδιαφερόμενους. Για το INTENSE, οι βασικές αξίες μπορούν να βρεθούν στο ΧΑΡΤΗ, στο ΠΡΟΓΡΑΜΜΑ ΚΑΤΑΡΤΙΣΗΣ για τους Καθοδηγητές Μετάβασης, στις ΣΥΖΗΤΗΣΕΙΣ με τα ενδιαφερόμενα μέρη και στο ΠΛΑΙΣΙΟ ΜΕΤΑΒΙΒΑΣΗΣ για τον οργανισμό. Δες παρακάτω.

Για να πάρετε περισσότερες πληροφορίες σχετικά με την εφαρμογή του μοντέλου, σας συνιστούμε να επεξεργαστείτε προσεκτικά το ακόλουθο άρθρο:

http://openjournals.libs.uga.edu/index.php/jheoe/article/download/628/482

«  Άσκηση!

Βρείτε περισσότερες πληροφορίες σχετικά με το μοντέλο CIPP στο Internet. Δημιουργήστε τη δική σας σύντομη περίληψη του μοντέλου CIPP.

μοντελο ΤΗΣ ΑΝΑΛΥΣΗΣ ΕΙΣΦΟΡΩΝ

“Τα ερωτήματα αιτίας και αποτελέσματος είναι κρίσιμα για την αξιολόγηση της απόδοσης. Όταν δεν είναι πρακτικό να αναπτυχθεί ένα έργο για την αξιολόγηση της απόδοσης, η ανάλυση συμβολής μπορεί να παρέχει αξιόπιστες εκτιμήσεις αιτίας και αποτελέσματος. Η επαλήθευση της θεωρίας της αλλαγής που βασίζεται στο πρόγραμμα και η προσοχή σε άλλους παράγοντες που μπορεί να επηρεάσουν τα αποτελέσματα, παρέχει εύλογα στοιχεία για τη συμβολή του προγράμματος. ”

John Mayne

Ανάλυση συμβολής: Μια προσέγγιση για τη διερεύνηση αιτίων και επιπτώσεων. 2008

Για να είναι σαφές: Δεν προορίζεται να αποδείξει την άμεση αιτιολογία. Θα ήταν απίθανο, στο σύνθετο κοινωνικό κόσμο, να εργαστούμε μέσα σε κάθε παρέμβαση που θα είναι η μόνη επίδραση σε συγκεκριμένα αποτελέσματα. Ως εκ τούτου, πρέπει να διατυπώσουμε ένα ΠΡΟΒΛΗΜΑ ΑΠΟΔΟΣΗΣ. Σε ποιο βαθμό παρατηρούνται αποτελέσματα λόγω δραστηριοτήτων του προγράμματος;

Η ανάλυση συμβολής είναι μια δομημένη προσέγγιση για να κατανοηθεί σε ποιο βαθμό τα παρατηρούμενα αποτελέσματα είναι συνέπεια μιας συγκεκριμένης δραστηριότητας, σε αντίθεση με άλλους παράγοντες. Δεν προορίζεται να αποδείξει την άμεση αιτιολογία. Θα ήταν απίθανο, στο σύνθετο κοινωνικό κόσμο, να εργαστούμε μέσα σε κάθε παρέμβαση που θα είναι η μόνη επίδραση σε συγκεκριμένα αποτελέσματα.

Η ανάλυση της συμβολής επικεντρώνεται στην αυξανόμενη κατανόηση του γιατί συνέβησαν τα παρατηρούμενα αποτελέσματα, οι ρόλοι που διαδραμάτισαν η δραστηριότητα και άλλοι εσωτερικοί και εξωτερικοί παράγοντες. Συγκεντρώνοντας και παρέχοντας αποδεικτικά στοιχεία γύρω από μια σειρά συλλογισμών (μια Θεωρία της Αλλαγής), μπορεί να συναχθεί ένα λογικό συμπέρασμα. Υπάρχουν έξι επαναληπτικά βήματα στην ανάλυση συμβολής. Κάθε βήμα δημιουργώντας το STORY CONTRIBUTION και αντιμετωπίζοντας τις αδυναμίες του προηγούμενου σταδίου. Δες παρακάτω.

«   Βήμα 1. Καθορίστε το πρόβλημα κατανομής που πρέπει να αντιμετωπιστεί.

Αυτό το βήμα είναι απαραίτητο για τη διατύπωση όλων των διαφορετικών ερωτήσεων.

• Αναγνωρίστε το πρόβλημα απόδοσης. Το βασικό σφάλμα απόδοσης εξηγεί γιατί συχνά κρίνουμε τους άλλους σκληρά, ενώ ταυτόχρονα αφήνουμε τον εαυτό μας μακριά από τον γάντζο, εξορθολογώντας τη δική μας (ανήθικη) συμπεριφορά. Στην Ανάλυση Συμμετοχής πρέπει πάντα να γνωρίζουμε το σφάλμα απόδοσης.
• Προσδιορίστε το συγκεκριμένο ερώτημα αιτίας-αποτελέσματος που αντιμετωπίζεται.
• Προσδιορίστε το επίπεδο εμπιστοσύνης που απαιτείται.
• Εξερευνήστε τον τύπο της αναμενόμενης συνεισφοράς
• Προσδιορίστε τους άλλους βασικούς παράγοντες επηρεασμού
• Αξιολογήστε την αξιοπιστία της αναμενόμενης συνεισφοράς σε σχέση με το μέγεθος του προγράμματος

«  Βήμα 2. Ανάπτυξη της Θεωρίας της Αλλαγής. (ToC)

Αυτό το βήμα μαζί με την αλυσίδα αποτελεσμάτων είναι τα βασικά εργαλεία της ανάλυσης συμβολής. Η αλυσίδα ToC και η αλυσίδα αποτελεσμάτων σχετίζονται άμεσα μεταξύ τους.

Κάθε παρέμβαση μέσω ενός έργου (INTENSE) βασίζεται σε υποθέσεις σχετικά με το τι θα επιφέρει το έργο (με παρεμβάσεις). Έτσι, μια Θεωρία της Αλλαγής είναι μια εξήγηση του γιατί πιστεύετε ότι το σχέδιό σας θα οδηγήσει σε θετικά αποτελέσματα. Όταν ένας οργανισμός θέλει να δημιουργήσει μια Θεωρία της Αλλαγής πρέπει κανείς να σκεφτεί μερικά πράγματα:

1. Ποιες είναι οι υποθέσεις για την επίτευξη των στόχων του INTENSE;
2. Ποιοι είναι οι κίνδυνοι;

Τι αντιπροσωπεύει ένα ToC:

• Προσδιορίστε το επίπεδο λεπτομέρειας
• Προσδιορίστε την αναμενόμενη συμβολή του προγράμματος
• Καταγράψτε τις παραδοχές στις οποίες βασίζεται το ToC
• Συμπεριλάβετε την εξέταση άλλων παραγόντων που ενδέχεται να επηρεάσουν τα αποτελέσματα
• Προσδιορίστε πόσο αμφισβητείται το ToC

3. Πώς να πραγματοποιήσετε μια αλυσίδα αποτελεσμάτων σε σχέση με το ToC;
4. Διαμορφώστε την αλυσίδα των αποτελεσμάτων από πλευράς εισροών – δραστηριοτήτων – εξόδων – (ενδιάμεσων) αποτελεσμάτων και τελικών επιπτώσεων.

«  Βήμα 3: Συγκεντρώστε τα υπάρχοντα στοιχεία σχετικά με τη Θεωρία της Αλλαγής.

Αξιολογήστε τη λογική των συνδέσμων στο ToC. Η επανεξέταση των ισχυρών και αδύνατων σημείων της λογικής, η αξιοπιστία των διαφόρων παραδοχών στη θεωρία και ο βαθμός αμφισβήτησής τους, θα δώσουν μια καλή ένδειξη για το πού είναι απαραίτητες συγκεκριμένες αποδείξεις. Συγκεντρώστε τα αποδεικτικά στοιχεία. Τα αποδεικτικά στοιχεία για την επικύρωση της θεωρίας της αλλαγής χρειάζονται σε τρεις τομείς: τα παρατηρούμενα αποτελέσματα, οι υποθέσεις σχετικά με τη θεωρία της αλλαγής και άλλους παράγοντες που επηρεάζουν.

• Στοιχεία σχετικά με τα αποτελέσματα και τις δραστηριότητες
• Στοιχεία για υποθέσεις
• Στοιχεία σχετικά με άλλους παράγοντες που επηρεάζουν

«  Βήμα 4: Συγκεντρώστε και αξιολογήστε την ιστορία της συμβολής και τις προκλήσεις σε αυτήν.

Η ιστορία συμβολής, όπως αναπτύχθηκε μέχρι τώρα, μπορεί τώρα να συγκεντρωθεί και να αξιολογηθεί κριτικά. Υπάρχουν ερωτήματα που πρέπει να τεθούν σε αυτό το στάδιο.

Μερικά σημαντικά παραδείγματα:

• Πόσο αξιόπιστη είναι η ιστορία συνολικά;
• Ποιοι σύνδεσμοι στην αλυσίδα αποτελεσμάτων είναι ισχυροί;
• Συμμετέχουν οι ενδιαφερόμενοι με την ιστορία;
• Είναι σαφές ποια αποτελέσματα έχουν επιτευχθεί;
• Υποστηρίζονται βασικές παραδοχές;

«  Βήμα 5. Ζητήστε επιπλέον στοιχεία.

• Προσδιορίστε ποια νέα δεδομένα χρειάζονται.
• Ρυθμίστε το ToC.
• Συγκεντρώστε περισσότερες αποδείξεις.

«  Βήμα 6. Αναθεωρήστε και ενισχύστε την ιστορία συμβολής.

• Νέα στοιχεία θα δημιουργήσουν μια πιο αξιόπιστη συμβολή.
• Υποστηρίζοντας τα πιο αδύναμα μέρη της προηγούμενης έκδοσης ή υποδεικνύοντας τροποποιήσεις στο ToC.
• Είναι απίθανο ότι η αναθεωρημένη ιστορία θα είναι ανόητη απόδειξη, αλλά θα είναι ισχυρότερη και πιο αξιόπιστη.

Η ανάλυση συμβολής λειτουργεί καλύτερα ως επαναλαμβανόμενη διαδικασία. Έτσι, σε αυτό το σημείο η ανάλυση μπορεί να επιστρέψει στο Βήμα 4 και να επαναξιολογήσει τις δυνάμεις και τις αδυναμίες της ιστορίας συμβολής.

Το παρακάτω γράφημα παρέχει μια διαφοροποιημένη εικόνα για το ToC του έργου INTENSE. Αποτελεί κεντρική συνιστώσα του σχεδιασμού της αξιολόγησης και ως εκ τούτου της βάσης ToC για όλες τις ατομικά αναπτυγμένες ToCs των εταίρων.

Πηγή: Πανεπιστήμιο της Μάλαγα

 

Για τη συλλογή πληροφοριών και δεδομένων, μπορούν να χρησιμοποιηθούν τα ακόλουθα μέσα, ανάλογα με τον εταίρο που τα επιλέγει:

• Επίσημη στατιστικά στοιχεία
• Επίσημες εκθέσεις
• Συνεντεύξεις
• Ερωτηματολόγιο ή Έρευνα
• Κλίμακες και γραφήματα
• Δοκιμές
• Παρατήρηση: αυτοαναφορά, ημερολόγια, κατάλογος ελέγχου.

Για περισσότερες πληροφορίες, διαβάστε τα παρακάτω έγγραφα:

• https://www2.gov.scot/Resource/Doc/175356/0116687.pdf
• https://www.betterevaluation.org/sites/default/files/ILAC_Brief16_Contribution_Analysis.pdf

ΚΡΙΤΗΡΙΑ ΤΟΥ oecd

Ένα άλλο σημαντικό στοιχείο είναι τα κριτήρια που χρησιμοποιούνται για την καθοδήγηση της αξιολόγησης. Η υπηρεσία DAC-OECD έχει αναπτύξει μια σειρά κριτηρίων που προτείνονται ως δραστηριότητες. Διαβάστε τα κριτήρια αξιολόγησης της DAC-OECD.

https://www.oecd.org/development/evaluation/qualitystandards.pdf

ΘΕΩΡΙΑ της ΑΛΛΑΓΗς

“Κάθε παρέμβαση σε έναν οργανισμό βασίζεται σε υποθέσεις που μαζί αποτελούν μια θεωρία. Η προσέγγιση της Θεωρίας της Αλλαγής δοκιμάζει τη θεωρία των ερμηνευτών – επειδή τίποτα δεν είναι τόσο πρακτικό όσο μια καλή θεωρία. »(Erik Snel, 2013)

Η αλυσίδα αποτελεσμάτων που παρουσιάζεται παρακάτω απεικονίζει την σειριακή σύνδεση πίσω από τη Θεωρία της Αλλαγής (ToC), η οποία σύμφωνα με τη Wikipedia

“… εξηγεί τη διαδικασία της αλλαγής, περιγράφοντας τις αιτιώδεις σχέσεις μιας πρωτοβουλίας, δηλαδή βραχυπρόθεσμα, ενδιάμεσα και μακροπρόθεσμα αποτελέσματα. Οι προσδιορισμένες αλλαγές χαρτογραφούνται – ως” πορεία των αποτελεσμάτων “- που δείχνουν κάθε αποτέλεσμα σε λογική Η σχέση μεταξύ των αποτελεσμάτων εξηγείται από «λογικές» ή δηλώσεις του γιατί ένα αποτέλεσμα θεωρείται ότι αποτελεί προϋπόθεση για ένα άλλο ».

Το ToC περιγράφει παράλληλα την πορεία της διαδικασίας εφαρμογής. Το σχέδιο που μπορείτε να δημιουργήσετε από αυτό είναι, για να μιλήσουμε, ο οδηγός για την επιτυχή εφαρμογή. Βοηθά επίσης να αλλάξει τον τρόπο σκέψης των ανθρώπων σε έναν οργανισμό και να δημιουργήσει μια συνεργατική διαδικασία. Όπως γνωρίζετε, τίποτα δεν αλλάζει χωρίς επανεξέταση που λαμβάνει χώρα στους ανθρώπους.

Μια επιτυχής διαδικασία υλοποίησης εξαρτάται από πολλούς παράγοντες, όπως η κατάλληλη κατάρτιση, οι θεωρητικές γνώσεις, η υποστήριξη της διαχείρισης και, πάνω απ ‘όλα, η σαφής δέσμευση για αλλαγή. Εάν αυτή η δέσμευση δεν υπάρχει, είναι σχεδόν αδύνατο να εφαρμοστεί το INTENSE ως γενική ιδέα ή σε μέρη.

Για περισσότερες πληροφορίες, παρακαλούμε παρακολουθήστε το παρακάτω βίντεο:

https://youtu.be/KRptX_DNL2Q

«  Άσκηση

… απαντώντας σύντομα στην ακόλουθη ερώτηση. Κατά την άποψή σας: Ποιος είναι ο ρόλος της Θεωρίας της Αλλαγής στην εργασία σας ως προπονητής;

This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License

The European Commission support for the production of this publication does not constitute an endorsement of the contents which reflects the views only of the authors, and the Commission cannot be held responsible for any use which may be made of the information contained therein.