Ο Πραγματικός Κίνδυνος της AI στις Δοκιμές: Ψευδής Εμπιστοσύνη, Όχι Σφάλματα

Ο πίνακας ελέγχου έλαμπε πράσινος. Όλες οι δοκιμές καπνού πέρασαν. Ο βοηθός AI δημιούργησε νέες δοκιμαστικές περιπτώσεις, διέγραψε παλιές και ανέφερε ακόμη και μέσα σε λίγα λεπτά πώς είχε βελτιωθεί η κάλυψη δοκιμών. Η ομάδα προχώρησε προς την κυκλοφορία με εμπιστοσύνη την Παρασκευή.

Τώρα, είναι Δευτέρα πρωί.

Υπάρχουν αιτήματα υποστήριξης. Πελάτες των οποίων οι αποθηκευμένες διευθύνσεις δεν μπορούσαν να ολοκληρώσουν την αγορά. Πώς έσπασαν οι αποθηκευμένες διευθύνσεις τους; Η διεπαφή χρήστη φαίνεται εντελώς χαλασμένη σε μια τυπική φορητή συσκευή. Ένα κρίσιμο API δεν είχε ισχυρό χειρισμό περιπτώσεων ακραίων καταστάσεων. Όταν συνδυαστούν, όλα αυτά τα ζητήματα δείχνουν μια μεγαλύτερη απειλή: την προθυμία μιας ομάδας να βασίζεται τυφλά σε εξωτερικές εισόδους, υποθέτοντας ότι όλα είναι σωστά.

Αυτός είναι ο πραγματικός κίνδυνος που φέρνει η AI στο QA.

Δεν είναι ότι η AI θα εισάγει σφάλματα στις δοκιμές μας. Όλο το λογισμικό έχει σφάλματα. Όλες οι ομάδες QA είναι καλές στον εντοπισμό και την επίλυσή τους. Ωστόσο, η μεγαλύτερη απειλή της AI είναι ότι μπορεί να κάνει μια ομάδα να πιστέψει ότι οι δοκιμές της είναι ενδελεχείς ακόμη και όταν δεν είναι. Με AI στις δοκιμές, μια ομάδα QA μπορεί να αποκτήσει μια ψευδή αίσθηση άνεσης ότι όλα είναι ακριβή.

Αυτή η ψευδής εμπιστοσύνη μπορεί να είναι πολύ ακριβή. Αυτή η υπερβολική αυτοπεποίθηση μπορεί να οδηγήσει σε τεράστιες οικονομικές υποχρεώσεις. Ακόμη και πλήρως δοκιμασμένα συστήματα AI μπορούν μερικές φορές να αποτύχουν όταν αντιμετωπίζουν πραγματικές πολυπλοκότητες. Η McDonald's πρόσφατα έκλεισε ένα σύστημα AI της IBM που δοκίμαζε στους πάγκους drive-thru αφού έκανε επανειλημμένα λάθη στις παραγγελίες. Είναι μια υπενθύμιση ότι ακόμη και οι αξιόπιστες τεχνολογίες μπορούν να έχουν σοβαρά ελαττώματα.

Τι Σημαίνει Πραγματικά η Ψευδής Εμπιστοσύνη στο QA

Το πραγματικό πρόβλημα συμβαίνει όταν μια ομάδα πείθεται ότι οι δοκιμές έχουν δοκιμάσει επαρκώς ένα συγκεκριμένο σύστημα. Αυτή η ψευδής αίσθηση ασφάλειας προέρχεται από το γεγονός ότι οι σχετικοί κίνδυνοι ασφαλείας είτε δεν ανακαλύπτονται είτε δεν δοκιμάζονται αυστηρά.

Αυτό είναι εδώ και καιρό ένα ζήτημα στις παραδοσιακές μεθόδους αυτοματισμού. Σε αυτές τις μεθόδους, μπορεί να εκτελεστούν πολλές δοκιμές, αλλά δεν υπάρχει μεγάλο βάθος στις δοκιμές. Το γεγονός ότι μια αναφορά διαδικασίας λέει ότι όλοι οι έλεγχοι έχουν περάσει (όλα πράσινα) δεν σημαίνει ότι το ίδιο το σύστημα θα είναι απαραίτητα απόλυτα λειτουργικό.

Ο αυτοματισμός γίνεται ακόμη πιο πολύπλοκος κατά την εφαρμογή της AI. Ένα πράγμα που πρέπει να γνωρίζετε για τα γλωσσικά μοντέλα AI είναι ότι μπορούν να παρουσιάζουν πληροφορίες με τρόπο που φαίνεται πειστικός αλλά είναι στην πραγματικότητα παραπλανητικός. 

Μπορεί να δούμε τις δοκιμές να εκτελούνται και ακόμη καλύτερη κάλυψη δοκιμών, καθώς η AI βοηθά στην κατασκευή δοκιμών και την ανάλυση των αποτελεσμάτων οποιασδήποτε εκτέλεσης δοκιμής. Όλα αυτά είναι επωφελή.

Αλλά όχι όλα τα οφέλη είναι απόλυτα αξιόπιστα.

Μια δοκιμή που κατασκευάζεται από την AI μπορεί να χάσει κάποιο κρίσιμο κομμάτι επιχειρηματικής λογικής. Εναλλακτικά, μπορεί να σχεδιαστεί μόνο για να δοκιμάσει τα κοινά σενάρια. Μια τέτοια δοκιμή θα φαίνεται εντελώς επαρκής. Εάν τα αποτελέσματα είναι καθαρά και εκφράζονται σαφώς, η ομάδα πιθανότατα θα δει τη δοκιμή ως επαρκή, αφήνοντας σοβαρά ελαττώματα ανακάλυπτα.

Γι' αυτό οι δοκιμές μπορούν συχνά να δημιουργήσουν ευκαιρίες για τις ομάδες να κάνουν ψευδείς υποθέσεις.

Το πιο κρίσιμο ερώτημα σήμερα, για όποιον εμπλέκεται σε αυτοματοποιημένες δοκιμές λογισμικού που χρησιμοποιούν τεχνητή νοημοσύνη, δεν πρέπει να είναι "Η AI κατασκευάζει δοκιμές πιο αποτελεσματικά;" Αλλά, πρέπει να είναι "Είναι οι δοκιμές που κατασκευάζει η AI πραγματικά αξιόπιστες;"

Γιατί η AI Κάνει το Πρόβλημα Πιο Δύσκολο να Παρατηρηθεί

Μια κακή χειροκίνητη δοκιμή μπορεί να εντοπιστεί γρήγορα. Οι δοκιμές με σενάριο που δεν είναι γραμμένες σωστά κάνουν συχνά λάθη.

​Αλλά όταν οι δοκιμές που κατασκευάζονται από την τεχνητή νοημοσύνη (AI) αποτυγχάνουν, είναι δύσκολο να το πεις με μια ματιά. Μπορεί να κάνουν ισχυρισμούς που φαίνονται πολύ ακριβείς, και ονόματα και σενάρια που φαίνονται ρεαλιστικά. Αλλά μπορεί να παραλείψουν σιωπηλά τους πιο σημαντικούς παράγοντες. Μπορεί να παρερμηνεύσουν τον πραγματικό σκοπό ενός χαρακτηριστικού. Μπορεί να παρουσιάσουν τις ίδιες ιδέες διαφορετικά. Η AI μπορεί επίσης να κάνει υπερβολικά αυτοπεποιθημένες αναφορές για μια κυκλοφορία λογισμικού χωρίς επαρκή στοιχεία.

​Αυτό δημιουργεί ένα επικίνδυνο χάσμα μεταξύ της ομαλότητας που φαίνεται έξω και της ποιότητας που είναι μέσα.

​Στη διασφάλιση ποιότητας (QA), η εμπιστοσύνη μας πρέπει να προέρχεται από την ιχνηλασιμότητα των δοκιμών, το βάθος της κάλυψης, τις αξιολογήσεις κινδύνων και τα παρατηρήσιμα αποτελέσματα. Όχι από το πόσο όμορφα είναι τα δεδομένα που παράγει η AI να τα κοιτάζεις.

Πέντε Τρόποι που η AI Δημιουργεί Ψευδή Εμπιστοσύνη στο Σύγχρονο QA

Υπερβολική Δοκιμή των Κοινών Σεναρίων

Η AI διαπρέπει όπου υπάρχουν κανονικά μοτίβα. Επομένως, έλκεται εύκολα από κανονικές ροές, αναμενόμενες εισόδους και κοινή συμπεριφορά χρηστών.

Αλλά τα σοβαρά ελαττώματα λογισμικού συχνά κρύβονται σε άλλα μέρη:

• Μεταβάσεις κατάστασης: Κατά τις αλλαγές από μια κατάσταση σε άλλη.
• Ζητήματα χρονισμού: Σφάλματα στον χρονισμό των διαδικασιών.
• Επαναλήψεις και διακοπές: Προβλήματα όταν αποτυχημένες συναλλαγές επαναλαμβάνονται ή διακόπτονται.
• Όρια αδειών: Κενά ασφαλείας στα όρια των αδειών.
• Μερικές αποτυχίες: Όταν μόνο μέρη του συστήματος αποτυγχάνουν χωρίς να καταρρεύσουν εντελώς.
• Ασυνεπής είσοδος πραγματικού κόσμου: Τυχαίες πληροφορίες που παρέχονται από τους πελάτες στον πραγματικό κόσμο. 

Εάν οι δοκιμές που δημιουργούνται από την AI ακολουθούν μόνο τα κοινά σενάρια που φαντάζεται ένας σχεδιαστής προϊόντων, θα αφήσουν τις επικίνδυνες διαδρομές ανέγγιχτες. Αυτό χρησιμεύει μόνο για να δημιουργήσει την ψευδαίσθηση ότι οι δοκιμές είναι πλήρεις.

Δημιουργεί Φτωχούς Ισχυρισμούς 

Η πραγματική αξία μιας δοκιμής είναι αυτό που αποδεικνύει για το λογισμικό. Πάρα πολλές φοβερές δοκιμές καλύπτουν ένα τεράστιο φάσμα ενεργειών στην εφαρμογή, αλλά δεν ελέγχουν σωστά αν αυτές οι ενέργειες πετυχαίνουν για την επιχείρηση. Μια δοκιμή είναι απλώς μια κίνηση όπου το μόνο που κάνει είναι να κάνει κλικ σε κουμπιά, να συμπληρώνει πεδία, να κάνει κλικ σε περισσότερα κουμπιά, να βλέπει οθόνες και να βλέπει κάτι να εμφανίζεται.

Η AI μπορεί να εκτελέσει τέτοιες ελαφριές αυτοματοποιημένες δοκιμές πολύ πιο γρήγορα από έναν άνθρωπο. Ωστόσο, εάν οι συνθήκες δοκιμής σας (ισχυρισμοί) είναι πολύ γενικές, κακώς ορισμένες ή άσχετες με την επιχειρηματική περίπτωση χρήσης, τότε η απλή εκτέλεση μιας επιτυχούς δοκιμής δεν παρέχει μεγάλη ασφάλεια για μια κυκλοφορία λογισμικού. Μια επιτυχής δοκιμή σε μια ολοκλήρωση αγοράς μπορεί απλώς να εμφανίσει ένα banner επιτυχίας και να μην διασφαλίζει ότι μια παραγγελία επεξεργάζεται σωστά (φόρος, σύνολα κ.λπ.), ότι στέλνεται ένα email ή ότι το απόθεμα μειώνεται.

Περισσότερες Δοκιμαστικές Περιπτώσεις & Περισσότερα Ελαττώματα

Μια ομάδα μπορεί να ελέγξει 40 δοκιμαστικές περιπτώσεις γραμμένες με το χέρι. Αλλά μπορεί να μην ακολουθήσει την ίδια προσέγγιση για 400 που δημιουργήθηκαν γρήγορα χρησιμοποιώντας AI. Αυτή είναι μια από τις μεγαλύτερες παγίδες της διασφάλισης ποιότητας (QA) που βασίζεται στην AI: η προσεκτική δοκιμή μειώνεται φυσικά καθώς ο αριθμός αυξάνεται.

Το να έχεις περισσότερες δοκιμαστικές περιπτώσεις μπορεί να μας δώσει ένα είδος ψυχολογικής εμπιστοσύνης. Όταν ο αριθμός αυξάνεται, αισθανόμαστε ότι η σουίτα δοκιμών είναι πολύ εκτεταμένη και οι αναφορές είναι άψογες. Αλλά η αύξηση του αριθμού των δοκιμαστικών περιπτώσεων δεν υποκαθιστά ποτέ την ποιότητά τους.

Χωρίς σωστή χαρτογράφηση κινδύνων και ιχνηλασιμότητα απαιτήσεων, η AI θα βοηθήσει μόνο στην καταγραφή εικασιών αντί να ελέγχει την πραγματική ποιότητα του συστήματος.

Δημιουργεί Τυφλή Εμπιστοσύνη στα Πράσινα Φώτα

Όταν οι αναφορές διαδικασίας δείχνουν πάντα πράσινο, δίνει στις ομάδες μια ισχυρή αίσθηση εμπιστοσύνης και ενθαρρύνει γρήγορες αποφάσεις. Αφαιρεί εμπόδια για να γίνει η δουλειά, οπότε αυτή η αίσθηση ασφάλειας εξαπλώνεται εύκολα καθώς οι ομάδες αρχίζουν να κατασκευάζουν, να διορθώνουν και να δίνουν προτεραιότητα στις δικές τους δοκιμές χρησιμοποιώντας AI. Το ένστικτό τους μετατοπίζεται από τον έλεγχο και την επαλήθευση των αποτελεσμάτων στην τυφλή εμπιστοσύνη στο σύστημα. Στην επιφάνεια, φαίνεται μικρό, αλλά μπορεί να αλλάξει τη δομή QA για πάντα. Το ερώτημα σταματά να είναι "ποιον κίνδυνο καλύπτει αυτή η δοκιμή;" και γίνεται "έκανε η AI δοκιμή για αυτό;" Σε αυτό το σημείο, οι άνθρωποι τείνουν να υποθέτουν ότι όλα είναι εντάξει και σταματούν να αμφισβητούν την ποιότητα.

Κάνει Ακόμη και Τυφλά Λάθη να Φαίνονται Έξυπνα

Ένα από τα πιο επικίνδυνα χαρακτηριστικά των σύγχρονων συστημάτων AI είναι ότι μπορούν να παρουσιάσουν ακόμη και τα πιο προφανή λάθη με μεγάλη αυθεντικότητα. Αυτό έχει μεγάλη σημασία στη διασφάλιση ποιότητας (QA).

Ακόμα κι αν μια δοκιμή AI γραφτεί με παρανόηση μιας απαίτησης ή ελλιπείς πληροφορίες, η έξοδός της θα είναι πολύ ακριβής και γυαλισμένη ώστε να φαίνεται ότι γράφτηκε σωστά. Μια τυπική δοκιμή δεν θα μπορέσει να βρει γρήγορα το λάθος. Ο κίνδυνος εδώ δεν είναι μόνο στο ίδιο το λάθος, αλλά και στο πόσο εύκολα μπορεί το λάθος να γίνει πιστευτό.

Ένα προφανές λάθος μπορεί να διορθωθεί γρήγορα. Αλλά ένα ψευδές συμπέρασμα που φαίνεται πιστευτό είναι πιθανό να κυκλοφορήσει χωρίς να δοκιμαστεί.

Τι Κάνουν Διαφορετικά οι Έξυπνες Ομάδες QA

Αυτό δεν σημαίνει ότι η AI πρέπει να αποφεύγεται εντελώς.

Η λύση είναι να τη χρησιμοποιήσετε χωρίς να παραδώσετε την κρίση σας στην AI. Οι καλύτερες ομάδες διασφάλισης ποιότητας (QA) βλέπουν την AI ως βοηθό, όχι κάτι που να εμπιστεύονται τυφλά. Ενώ τη χρησιμοποιούν για να αυξήσουν την ταχύτητα, δεν της δίνουν την τελική εμπιστοσύνη. Δηλαδή, ακολουθούν ένα στυλ εργασίας όπου εμπιστεύονται μόνο την έξοδο που παρέχει η AI μετά την επαλήθευσή της.

Ας δούμε πώς λειτουργεί αυτό στην πράξη.

Κατανοήστε τον Κίνδυνο Πριν Κατασκευάσετε Δοκιμές

Πριν δημιουργήσετε δοκιμαστικές περιπτώσεις, θα πρέπει να ορίσετε σαφώς τα κύρια προβλήματα που θα μπορούσαν να επηρεάσουν την επιχείρηση ή τον χρήστη.

Οι περιοχές που σχετίζονται με χρηματοοικονομικές συναλλαγές, νομικά θέματα (συμμόρφωση), ταυτότητα, άδειες και εμπιστοσύνη πελατών πρέπει να είναι οι πρώτες που θα προσέξετε. Ποια είναι τα σφάλματα που συμβαίνουν πολύ σπάνια αλλά προκαλούν πολλή ζημιά; Πού τα σφάλματα περνούν εύκολα απαρατήρητα;

Η AI μπορεί να παρέχει νέες ιδέες σε τέτοιες περιοχές. Αλλά εναπόκειται στους ανθρώπους να αποφασίσουν πού υπάρχουν περισσότεροι κίνδυνοι.

Ελέγξτε Τι Ισχυρίζεται η Δοκιμή, Όχι Μόνο τα Βήματα

Κάθε βήμα σε μια δοκιμαστική περίπτωση που δημιουργείται από την AI μπορεί να φαίνεται σωστό με την πρώτη ματιά. Αλλά το πραγματικό ερώτημα είναι αν η δοκιμή ελέγχει πραγματικά το σωστό αποτέλεσμα.

Είναι καλή ιδέα να αναπτύξετε μια απλή συνήθεια κατά τη δοκιμή: εστιάστε περισσότερο σε αυτό που αποδεικνύει η δοκιμή παρά στον τρόπο που λειτουργεί.

Διατηρήστε Πολυεπίπεδη Κάλυψη Δοκιμών

Ένα μόνο επίπεδο δοκιμών δεν μπορεί να εγγυηθεί ότι το σύστημα είναι πλήρες. Οι δοκιμές μονάδας, API, ενσωμάτωσης, από άκρο σε άκρο (E2E), διερευνητικές δοκιμές και τα σχόλια παραγωγής εκθέτουν όλα διαφορετικούς τύπους κινδύνων.

Εάν η AI δοκιμάζει μόνο ένα επίπεδο, οι ομάδες δεν πρέπει να θεωρούν ότι το σύστημά τους είναι εντελώς ασφαλές. Κάθε επίπεδο πρέπει να δοκιμάζεται με τη δική του σημασία.

Το Μέλλον του QA Δεν Είναι Λιγότερο Ανθρώπινο

Πολλοί φοβούνται ότι η AI στις δοκιμές θα γίνει μια προσπάθεια χωρίς ανθρώπους. Αλλά στην πραγματικότητα, συμβαίνει το αντίθετο.

Καθώς η AI αναλαμβάνει επαναλαμβανόμενες εργασίες, η ανθρώπινη παρέμβαση γίνεται πιο πολύτιμη. Ο εντοπισμός κινδύνων, η αφαίρεση ασαφειών, η αμφισβήτηση υποθέσεων, η δοκιμή σύνθετων ακραίων περιπτώσεων και το ερώτημα "Είναι το σύστημα ασφαλές επειδή μια δοκιμή πέρασε;" Όλα αυτά απαιτούν ανθρώπινη νοημοσύνη.

Δεν πρόκειται για λιγότερη δουλειά, αλλά για καλύτερη ποιότητα. Οι καλύτερες ομάδες του μέλλοντος δεν είναι αυτές που κατασκευάζουν αμέτρητες δοκιμές. Είναι εκείνες που μπορούν να δουλέψουν γρήγορα και προσεκτικά, αλλά να αμφισβητήσουν όπου χρειάζεται.

Επειδή τα σφάλματα στα συστήματα είναι πάντα ορατά. Αλλά η υπερβολική αυτοπεποίθηση συχνά μας οδηγεί να τα αγνοούμε.

Διδάγματα για την Επόμενη Κίνησή σας

Η AI μπορεί σίγουρα να επιταχύνει τις διαδικασίες QA. Μπορεί να βοηθήσει τις ομάδες να κατασκευάσουν δοκιμές, να μειώσουν επαναλαμβανόμενες εργασίες και να ανταποκρίνονται στις αλλαγές πιο γρήγορα.

Αλλά αυτή η ανεπίβλεπτη ταχύτητα μπορεί να οδηγήσει σε ένα νέο είδος προβλήματος ποιότητας. Όταν οι δοκιμές που δημιουργούνται από την AI μας κάνουν να αισθανόμαστε πλήρεις, όταν οι γυαλιστερές ταμπλό μας κάνουν να πιστεύουμε σε αυτές, όταν οι φανταχτερές αναφορές υπερισχύουν των αυστηρών αξιολογήσεων, το QA δεν είναι πραγματικά ισχυρό. Αντίθετα, γίνεται εύκολα εξαπατημένο.

Οι ασφαλέστερες ομάδες είναι εκείνες που θυμούνται το απλό γεγονός ότι επειδή μια δοκιμή περνάει, δεν είναι απόλυτη απόδειξη ότι το σύστημα είναι ασφαλές. Είναι μόνο μια ένδειξη, και η ανθρώπινη νοημοσύνη εξακολουθεί να χρειάζεται για να αξιολογήσει αυτή την ένδειξη.

Επομένως, η πραγματική απειλή που θέτει η AI στο QA δεν είναι τα σφάλματα. Είναι μάλλον η ψευδής εμπιστοσύνη που δίνει.