Τα βασικά
- Ένα όριο εμπιστοσύνης χωρίζει τα αποτελέσματα σε αυτά που προχωρούν αυτόματα και σε αυτά που πάνε σε άνθρωπο.
- Στις ροές του IATHEN το όριο είναι 0,85. Ό,τι είναι κάτω από αυτό δεν μαντεύεται: προωθείται σε έγκριση.
- Το όριο δεν είναι μέρος του μοντέλου. Είναι πολιτική του οργανισμού, και μπορεί να αλλάξει μετά από μέτρηση.
Τι είναι το confidence score
Όταν ένα μοντέλο διαβάζει ένα ασφαλιστήριο ή ένα τιμολόγιο, δεν επιστρέφει μόνο τα πεδία. Επιστρέφει και μια βεβαιότητα για καθένα: πόσο σίγουρο είναι ότι διάβασε σωστά τον αριθμό συμβολαίου ή το ποσό. Αυτό είναι το confidence score.
Το σημαντικό είναι τι κάνει το σύστημα με αυτό. Αν το αγνοεί, κάθε πεδίο μετράει το ίδιο, είτε το μοντέλο είναι σίγουρο είτε μαντεύει. Αν το χρησιμοποιεί, μπορεί να πει: πάνω από ένα όριο προχωράω, κάτω από αυτό ρωτάω άνθρωπο.
Ένα παράδειγμα με πέντε πεδία
Δοκιμάστε να μετακινήσετε το όριο και δείτε πόσα πεδία προχωρούν μόνα τους και πόσα πάνε σε άνθρωπο.
Στο παράδειγμα, το «Όριο κάλυψης (σάρωση)» έχει 0,71, γιατί η σάρωση ήταν χαμηλής ποιότητας και ένας χαρακτήρας δεν διαβάστηκε. Με όριο 0,85, το σύστημα δεν το υποθέτει. Το στέλνει σε άνθρωπο, με ό,τι χρειάζεται για να αποφασίσει.
Κάθε όριο έχει κόστος
Δεν υπάρχει ιδανικό όριο, υπάρχει ισορροπία:
- Ψηλότερο όριο: λιγότερα λάθη περνούν αυτόματα, αλλά περισσότερη δουλειά πηγαίνει σε ανθρώπους.
- Χαμηλότερο όριο: λιγότερη χειρωνακτική δουλειά, αλλά μεγαλύτερος κίνδυνος να περάσει κάτι λάθος.
Γι' αυτό το όριο δεν είναι σταθερά του μοντέλου. Είναι επιλογή του οργανισμού, και μπορεί να είναι διαφορετική ανά ροή. Ένα τιμολόγιο μικρής αξίας δεν έχει το ίδιο ρίσκο με μια κλινική σημείωση.
Ασφαλής αποτυχία
Μία από τις πέντε αρχές σχεδιασμού του IATHEN είναι ότι, όταν η εμπιστοσύνη είναι χαμηλή ή μια επικύρωση αποτυγχάνει, το σύστημα δεν μαντεύει. Προωθεί σε έγκριση ή απορρίπτει ρητά. Η αλλαγή είναι μικρή αλλά σημαντική: το λάθος δεν γίνεται σιωπηλά, γίνεται ορατή εργασία για κάποιον.
Στο ίδιο πνεύμα, ο ελληνικός νόμος εφαρμογής του GDPR (Ν. 4624/2019) και οι κατευθυντήριες της ΑΠΔΠΧ για δεδομένα υγείας θέτουν το πλαίσιο για ανθρώπινο έλεγχο στις αυτοματοποιημένες αποφάσεις. Η αρχή «καμία τελική κλινική απόφαση χωρίς ρητή έγκριση ιατρού» ευθυγραμμίζεται με αυτή τη λογική, χωρίς να αποτελεί από μόνη της απόδειξη συμμόρφωσης.
Τι να μετράτε σε έναν πιλότο
- Πόσα αποτελέσματα προχώρησαν αυτόματα και πόσα πήγαν σε άνθρωπο.
- Πόσα από τα αυτόματα βρέθηκαν λάθος σε δειγματοληπτικό έλεγχο.
- Πόσα από αυτά που πήγαν σε άνθρωπο ήταν τελικά σωστά (δηλαδή περιττή δουλειά).
Με αυτούς τους τρεις αριθμούς, το όριο παύει να είναι εικασία και γίνεται απόφαση.