Παρακολούθηση και αξιολόγηση του υλοποιημένου ΣΒΑΚ
Οι δραστηριότητες παρακολούθησης και αξιολόγησης ενός ΣΒΑΚ αφορούν στην 1) συλλογή και αξιολόγηση δεδομένων σχετικά με την πρόοδο της διαδικασίας σχεδιασμού και 2) μετά την εκπόνησή του, στις ενδεχόμενες επιπτώσεις από το πακέτο μέτρων κατά την περίοδο υλοποίησής του.
Η παρακολούθηση και αξιολόγηση διατρέχει λοιπόν όλο το φάσμα, τόσο του σχεδιασμού όσο και της υλοποίησης.
Οι δραστηριότητες αυτές παρέχουν πληροφορίες προς τους υπεύθυνους σχεδιασμού και λήψης αποφάσεων ώστε να κάνουν έγκαιρη αναγνώριση των προβλημάτων, των αναμενόμενων ή/ και πιθανών επιτυχιών και να προβαίνουν στις απαιτούμενες αναπροσαρμογές στα επιμέρους στοιχεία (στόχους, μέτρα) του ΣΒΑΚ.
Η παρακολούθηση και αξιολόγηση μπορεί να διαφέρει σημαντικά από τόπο σε τόπο.
Η επιτυχία τους εξαρτάται κατά πολύ από το τεχνικό προσωπικό και την ομάδα εργασίας του έργου, για αυτό και κρίνεται σκόπιμο να δοθεί μία τυπική μεθοδολογία που θα πρέπει να ακολουθείται από τις δομές εκπόνησης του ΣΒΑΚ.
Η διαδικασία της αξιολόγησης δίνει την ευκαιρία στους αρμόδιους να προβληματίζονται για το αν ακολουθήθηκαν σωστά τα βήματα σχεδιασμού και υλοποίησης.
Με την αξιολόγηση πρέπει να δίνονται απαντήσεις σε ερωτήματα όπως:
Πώς πήγε μέχρι σήμερα το ΣΒΑΚ;
Ποιες δράσεις πήγαν καλά και ποιες όχι και γιατί;
Ποιος δεν έκανε κάτι που έπρεπε να γίνει;
Πώς αντιλήφθηκαν την όλη διαδικασία οι φορείς και πώς συμμετείχαν σε αυτήν;
Σύμφωνα με τον οδηγό παρακολούθησης και αξιολόγησης του προγράμματος CHALLENGE, αφετηρία για την παρακολούθηση και αξιολόγηση αποτελεί η σύνταξη ενός Σχεδίου Παρακολούθησης και Αξιολόγησης του ΣΒΑΚ που θα περιλαμβάνει τα παρακάτω βασικά βήματα (CHALLENGE, 2016):
1. Καθορισμός στόχων
2. Καθορισμός δεικτών απόδοσης του σχεδίου
3. Eντοπισμός προβλημάτων
4α. Εκ των προτέρων αξιολόγηση, με εκτίμηση των μελλοντικών επιπτώσεων
-
Προσδιορισμός μίας αρχικής κατάστασης σε σχέση με την οποία θα αξιολογηθούν οι αλλαγές που θα προκύψουν από την υλοποίηση των προτάσεων του ΣΒΑΚ
-
Πρόβλεψη των επιπτώσεων από την υλοποίηση των προτάσεων του ΣΒΑΚ
4β. Εκ των υστέρων αξιολόγηση. Μέτρηση των επιπτώσεων σε σχέση με την αρχική κατάσταση
-
Μέτρηση των προηγούμενων συνθηκών
-
Μέτρηση των συνθηκών μετά το έργο
5. Ανάλυση, ερμηνεία και, αν απαιτείται, εκτίμηση των επιπτώσεων με οικονομικούς όρους
Σχηματική απεικόνιση της διαδικασίας παρακολούθησης και αξιολόγησης | πηγή: Πόλη Δρέσδης (σε CHΑLLENGE Monitoring and Evaluation Manual: Assessing the impact of measures and evaluating mobility planning processes)
Το σχέδιο Παρακολούθησης και Αξιολόγησης συστήνεται να το διαμορφώνει ο ανάδοχος σε συνεργασία με την Ομάδα Έργου του φορέα υλοποίησης.
Δομή και περιεχόμενα του Σχεδίου Παρακολούθησης και Αξιολόγησης του ΣΒΑΚ
H ενδεικτική δομή και περιεχόμενο του σχεδίου σύμφωνα με τα αποτελέσματα του έργου CHALLENGE (CHALLENGE, 2016) ακολουθεί το παρακάτω πρότυπο:
-
Εισαγωγή
-
Ορισμός βασικών εννοιών και αιτιολόγηση δραστηριοτήτων παρακολούθησης και αξιολόγησης
-
Περιγραφή πόλης
-
γενική ανάλυση της υφιστάμενης κατάστασης στον τομέα των μεταφορών και κύριες προβληματικές
-
Στρατηγική και στόχοι ΣΒΑΚ
-
κύριοι στόχοι και συστατικά του ΣΒΑΚ για να είναι αντιληπτοί οι στόχοι του παρόντος
-
διαδικασίες αξιολόγησης και παρακολούθησης
-
γενικό οργανωτικό και διαδικαστικό πλαίσιο για τις δραστηριότητες παρακολούθησης και αξιολόγησης, περιλαμβανομένου του χρονοδιαγράμματος και της καταγραφής των αρμόδιων φορέων
-
Δείκτες και στόχοι παρακολούθησης και αξιολόγησης
-
Λίστα αποτελεσμάτων, μέσων, δεικτών εισροών- εκροών για να επιλέξουν οι πόλεις το πώς θα παρακολουθούν την επίτευξη των στόχων και την πρόοδο της υλοποίησης. Προτείνονται βασικοί και συμπληρωματικοί δείκτες καθώς και συμβουλές για την καταλληλότητα των δεικτών σε διαφορετικές περιπτώσεις, και για όλη τη διαδικασία μετρήσεων (χρονοδιάγραμμα, πηγές, μέθοδος)
-
Καταγραφή πληροφορίας, ανάλυση και μέθοδοι αξιολόγησης
-
Περιγράφονται βασικές μέθοδοι για να διαλέξουν οι πόλεις πηγές για περαιτέρω διερεύνηση
-
Απαιτούμενοι πόροι για τις δραστηριότητες παρακολούθησης και αξιολόγησης
-
Περίγραμμα του κόστους για τη στελέχωση, τις συμβουλευτικές υπηρεσίες από εξωτερικούς συνεργάτες, την απόκτηση εξοπλισμού, όπως εργαλεία, βάσεις δεδομένων, μοντέλα κ.λπ..
Επιλογή δεικτών και κατηγορίες δεικτών
Βασικό συστατικό των διαδικασιών παρακολούθησης και αξιολόγησης είναι οι δείκτες που θα επιλεγούν ώστε να γίνεται η μέτρηση με ποσοτικό τρόπο τηςαποτελεσματικότητας των μέτρων.
Για την επιλογή των δεικτών, σύμφωνα με το εγχειρίδιο χρήσης του προγράμματος CHALLENGE, ακολουθούνται οι παρακάτω βασικές αρχές:
-
Οι υπεύθυνοι σχεδιασμού θα πρέπει να στοχεύουν στη χρήση τυποποιημένων δεικτών, οι οποίοι είναι ήδη προκαθορισμένοι και υπάρχει γνώση για τη χρήση και ανάλυσή τους. Αυτό δίνει τη δυνατότητα συγκριτικής αξιολόγησης πόλεων και εισαγωγής των στοιχείων της πόλης που μελετάται σε εθνικές / διεθνείς στατιστικές.
-
Οι δείκτες που επιλέγονται θα πρέπει να είναι εύκολα κατανοητοί για όλους τους εμπλεκόμενους στο σχεδιασμό.
-
Θα πρέπει να υπάρχει σαφής ορισμός για κάθε δείκτη που χρησιμοποιείται, για το πώς υπολογίζονται τα δεδομένα, για το πώς υπολογίζεται ο δείκτης από τα δεδομένα και πόσο συχνά θα πρέπει να μετρώνται.
-
Για κάθε δείκτη θα πρέπει να υπάρχει μία τιμή βάσης, δηλαδή η αρχική τιμή της μεταβλητής με βάση την οποία υπολογίζεται η τιμή στόχος.
-
Θα πρέπει να αποφασιστεί η μορφή της αναφοράς των δεικτών.
-
Θα πρέπει να οριστούν οι τιμές στόχοι για τους δείκτες που θα χρησιμοποιηθούν σχετικά με τα επιμέρους μέτρα.
-
Κάποιοι δείκτες μπορεί να απαιτήσουν συγκεκριμένη μεθοδολογία αξιολόγησης.
-
Η επιλογή των δεικτών θα πρέπει να λαμβάνει υπόψη τα διαθέσιμα δεδομένα, τις πηγές άντλησης στοιχείων και τους πόρους για τη συλλογή νέων δεδομένων.
Κατηγορίες δεικτών
Δείκτες αποτελεσμάτων (outcome indicators): μετρούν τις πραγματικές επιπτώσεις σχετικά με στόχους του ΣΒΑΚ (π.χ. εκπομπές αερίων θερμοκηπίου για τη βελτίωση των κλιματικών συνθηκών).
Ενδιάμεσοι δείκτες αποτελεσμάτων (δείκτες μεταφορών) : περιγράφουν αλλαγές στο σύστημα μεταφορών και μπορούν να συσχετίζονται με την επιτυχία των στρατηγικών (π.χ., κατανομή ανά μέσο).
Δείκτες Εκροών (output indicators) : υπολογίζουν το μέγεθος υλοποίησης των πολιτικών και τη βελτίωση των υπηρεσιών (π.χ. υλοποίηση λεωφορειολωρίδων, σε χλμ).
Δείκτες Εισροών (input indicators) : παρέχουν πληροφορίες σχετικά με το μέγεθος των πόρων που απαιτούνται για την εκτέλεση του σχεδίου, συμπεριλαμβανομένου και του κόστους.
Δείκτες ευρύτερου περιβάλλοντος (contextual indicators) : παρέχουν πληροφορίες σχετικά με τις εξωτερικές εξελίξεις που επηρεάζουν την επιτυχία και εφαρμογή ενός ΣΒΑΚ (π.χ. οικονομικές ή πολιτικές εξελίξεις).
Οι δείκτες διαχωρίζονται επιπλέον σε βασικούς και συμπληρωματικούς (core, additional).
Ένας εξαντλητικός πίνακας συμπληρωματικών δεικτών ανά κατηγορία δείκτη (συμπεριλαμβανομένων των βασικών και συμπληρωματικών δεικτών) παρουσιάζεται στις σελίδες 30-32 του εγχειριδίου του προγράμματος CHALLENGE (2016), διαθέσιμο στο σύνδεσμο: http://www.eltis.org/resources/tools/sump-monitoring-evaluation-kit
Πως επιλέγουμε τους κατάλληλους δείκτες
Σύμφωνα με το εγχειρίδιο χρήσης του προγράμματος CHALLENGE για την παρακολούθηση και αξιολόγηση ενός ΣΒΑΚ (2016) θα πρέπει να ακολουθούνται τα παρακάτω βήματα:
-
Ξεκινήστε με τον καθορισμό των στόχων (ή των κύριων προβλημάτων προς επίλυση).
-
Προσδιορίστε ποιες στρατηγικές και ποια μέτρα χρειάζονται παρακολούθηση/ αξιολόγηση.
-
Βρείτε ποιοι είναι οι δυνητικοί δείκτες;
-
εξετάστε τον αναλυτικό πίνακα συμπληρωματικών δεικτών ανά κατηγορία δείκτη (σελ. 30-32, εγχειρίδιο CHALLENGE (2016),
-
δείτε τους βασικούς δείκτες που δίνονται για κάθε στόχο ή μέτρο,
-
βρείτε τους πιο κατάλληλους από τους συμπληρωματικούς δείκτες
Για τα παραπάνω συνδυάστε τις γνώσεις σχετικά με το τι στοιχεία έχετε για την περιοχή και τι στοιχεία χρειάζεστε.
4. Εξετάστε ποια από τα μέτρα που μελετήσατε είναι καταλληλότερα.
- ‘περικόψτε’ την εξαντλητική λίστα ανάλογα με τις ανάγκες της πόλης σας,
- εξετάστε τους δείκτες που θα επιλέξετε σύμφωνα με τη διαθεσιμότητα των πόρων, των εργαλείων μέτρησης, τις νομικές και λειτουργικές απαιτήσεις της παρακολούθησης κ.λπ.
- κρατήστε λίγους βασικούς δείκτες, εύκολα αντιληπτούς και άμεσα συνδεδεμένους με τους στόχους και τα μέτρα του ΣΒΑΚ,
- προσδιορίστε πόσο συχνά θα πρέπει να ελέγχεται η πρόοδος του δείκτη και ποια είναι η τιμή βάσης του.
Παρουσίαση – ανάλυση- αξιολόγηση
Ένα από τα κρισιμότερα στάδια, το οποίο θα πρέπει να καθορίζεται αναλυτικά στο Σχέδιο Παρακολούθησης και Αξιολόγησης του ΣΒΑΚ, είναι η παρουσίαση και ανάλυση των δεδομένων και η εκπόνηση της αξιολόγησης σχετικά με την αποτελεσματικότητα των μέτρων/ στόχων.Με δεδομένο ότι τόσο το στάδιο της παρακολούθησης όσο και της αξιολόγησης πραγματοποιούνται και κατά την υλοποίηση των μέτρων του ΣΒΑΚ θα πρέπει ο φορέας να ανανεώνει συστηματικά τα στοιχεία του, να επικαιροποιεί τα δεδομένα του άρα και να κάνει συστηματική αξιολόγηση.
Παρουσίαση των δεδομένων – αποτελεσμάτων που παρακολουθούνται και καταγράφονται
Τα δεδομένα- αποτελέσματα της παρακολούθησης θα πρέπει να καταγράφονται με τρόπο ξεκάθαρο και συνεκτικό και να παρουσιάζονται τόσο σε περιληπτική όσο και αναλυτική μορφή. Ο τρόπος παρουσίασης . Η παρουσίαση των αποτελεσμάτων θα πρέπει να συνδέεται με τρόπο άμεσο και εύληπτο με τους στόχους και τα μέτρα του ΣΒΑΚ.
Ανάλυση των δεδομένων – αποτελεσμάτων
Σύμφωνα με το εγχειρίδιο του προγράμματος CHALLENGE (2016) απαιτείται περιγραφική στατιστική ανάλυση για την καταγραφή των μεταβολών των δεικτών ανά το χρόνο, ενώ ανάλυση παλινδρόμησης χρησιμοποιείται για να γίνουν εκτιμήσεις μελλοντικών τάσεων. Ωστόσο, για την άντληση αξιόπιστων συμπερασμάτων κρίνεται σκόπιμο να διεξάγεται και επαγωγική στατιστική ανάλυση για την αξιολόγηση των δεδομένων (όχι για την παρακολούθηση).
Είναι σημαντικό να συμπεριληφθούν σχόλια στη στατιστική ανάλυση των δεδομένων, τα οποία θα αναφέρουν τυχόν ζητήματα σχετικά με τις αστοχίες των μετρήσεων κ.α.
Αξιολόγηση αποτελεσμάτων
Η αξιολόγηση θα πρέπει να γίνεται περιγραφικά σε ειδικές αναφορές σύμφωνα με τα χρονικά διαστήματα που καθορίζονται στο Σχέδιο Παρακολούθησης και Αξιολόγησης, και μπορεί να περιέχει πίνακες με τους στόχους, τα μέτρα, τους δείκτες σε δεδομένες χρονικές στιγμές και τα πρόσφατα αποτελέσματα. Θα ήταν καλό να συνοδεύεται και από οπτικό υλικό και ποιοτικές περιγραφές.