Η τεχνητή νοημοσύνη (AI) αλλάζει ριζικά τον κόσμο, δημιουργώντας παράλληλα μια νέα γλώσσα για να περιγράψει αυτή τη μεταμόρφωση. Διαβάζοντας για πέντε λεπτά σχετικά με την AI, θα βρείτε όρους όπως LLMs, RAG, RLHF και δεκάδες άλλες ακρώνυμες εκφράσεις που μπορούν να κάνουν ακόμη και τους πιο καταρτισμένους στον τομέα να νιώσουν ανασφάλεια. Αυτό το γλωσσάριο είναι η προσπάθειά μας να αποσαφηνίσουμε αυτές τις έννοιες, και ενημερώνεται τακτικά καθώς εξελίσσεται ο τομέας.
Η έννοια της «γενικής τεχνητής νοημοσύνης» (AGI) είναι ασαφής, αλλά γενικά αναφέρεται σε τεχνητή νοημοσύνη που είναι πιο ικανή από τον μέσο άνθρωπο σε πολλές και συχνά σε βαθμό που να υπερβαίνει τις ικανότητες των περισσοτέρων. Ο CEO της OpenAI, Sam Altman, χαρακτήρισε την AGI ως «την αντίστοιχη του μέσου ανθρώπου που θα μπορούσες να προσλάβεις ως συνεργάτη». Αντίστοιχα, η καταστατική πράξη της OpenAI ορίζει την AGI ως «υψηλά αυτόνομα συστήματα που υπερβαίνουν τους ανθρώπους σε πολλές οικονομικά αποδοτικές εργασίες». Η άποψη της Google DeepMind διαφέρει ελαφρώς, θεωρώντας την AGI ως «τεχνητή νοημοσύνη που είναι τουλάχιστον ισοδύναμη των ανθρώπων σε περισσότερες γνωστικές εργασίες». Αν σας φαίνονται μπερδεμένες αυτές οι έννοιες, δεν είστε οι μόνοι — και οι ειδικοί που ερευνούν την AI συχνά βρίσκονται σε κατάσταση σύγχυσης.
Ένας AI πράκτορας είναι ένα εργαλείο που εκμεταλλεύεται τις τεχνολογίες της AI για να εκτελεί μια σειρά από εργασίες εκ μέρους σας — ξεπερνώντας τη λειτουργικότητα ενός απλού chatbot — όπως η υποβολή δαπανών, η κράτηση εισιτηρίων ή ακόμη και η συγγραφή και συντήρηση κώδικα. Ωστόσο, όπως έχουμε εξηγήσει, υπάρχουν πολλοί παράγοντες σε αυτόν τον αναδυόμενο τομέα, και η έννοια του «AI πράκτορα» μπορεί να σημαίνει διαφορετικά πράγματα ανάλογα με τον χρήστη. Η υποδομή εξακολουθεί να αναπτύσσεται για να υποστηρίξει τις envisaged δυνατότητές του, με την έννοια της αυτόνομης λειτουργίας που ενδέχεται να στηριχθεί σε πολλές AI συστήματα για την εκτέλεση πολύπλοκων εργασιών.
Σκεφτείτε τα API endpoints ως «κουμπιά» στο παρασκήνιο ενός λογισμικού που επιτρέπουν σε άλλα προγράμματα να τα πατούν για να προκαλέσουν συγκεκριμένες λειτουργίες. Οι προγραμματιστές χρησιμοποιούν αυτά τα interfaces για να δημιουργούν ενσωμάτωσεις — π.χ. επιτρέποντας σε μια εφαρμογή να αντλεί δεδομένα από άλλη ή διευκολύνοντας έναν AI πράκτορα να ελέγχει υπηρεσίες τρίτων κατευθείαν, χωρίς την ανθρώπινη παρέμβαση. Πολλές έξυπνες οικιακές συσκευές και συνδεδεμένες πλατφόρμες διαθέτουν αυτά τα κρυφά κουμπιά, αν και οι μέσοι χρήστες μπορεί να μην τα δουν ποτέ ή να αλληλεπιδράσουν με αυτά. Καθώς οι AI πράκτορες γίνονται πιο ικανοί, καταφέρνουν ολοένα και περισσότερο να εντοπίζουν και να χρησιμοποιούν αυτά τα endpoints, δημιουργώντας ισχυρές — και κάποιες φορές απρόσμενες — δυνατότητες αυτοματοποίησης.
Με μια απλή ερώτηση, ο ανθρώπινος εγκέφαλος μπορεί να απαντήσει χωρίς ιδιαίτερη σκέψη — όπως να ρωτήσει «ποιο ζώο είναι πιο ψηλό, η καμηλοπάρδαλη ή η γάτα;». Ωστόσο, σε πολλές περιπτώσεις, απαιτείται χαρτί και μολύβι για να προκύψει η σωστή απάντηση, εξαιτίας των ενδιάμεσων βημάτων. Για παράδειγμα, αν ένας αγρότης έχει κοτόπουλα και αγελάδες, και μαζί έχουν 40 κεφάλια και 120 πόδια, ίσως χρειαστεί να γράψει μια απλή εξίσωση για να φτάσει στην απάντηση (20 κοτόπουλα και 20 αγελάδες).
Στο πλαίσιο της AI, η λογική ακολουθίας (chain-of-thought reasoning) για τα μεγάλα γλωσσικά μοντέλα σημαίνει την απαραίτητη διαίρεση ενός προβλήματος σε μικρότερα, ενδιάμεσα βήματα, ώστε να βελτιωθεί η ποιότητα του τελικού αποτελέσματος. Συνήθως, η διαδικασία απαιτεί περισσότερο χρόνο, αλλά η απάντηση είναι πιο πιθανό να είναι σωστή, ιδιαίτερα σε λογικά ή προγραμματιστικά πλαίσια. Τα μοντέλα αλληλεπίδρασης διαμορφώνονται από τα παραδοσιακά μεγάλα γλωσσικά μοντέλα και βελτιστοποιούνται για σκέψη ακολουθίας μέσω της ενίσχυσης της εκπαίδευσης.
(Δείτε: Μεγάλο γλωσσικό μοντέλο)
Αυτή είναι μια πιο συγκεκριμένη έννοια από τον «AI πράκτορα», που σημαίνει ότι ένα πρόγραμμα μπορεί να εκτελεί ενέργειες με τη σειρά, βήμα προς βήμα, για να ολοκληρώσει έναν στόχο. Ένας πράκτορας κώδικα είναι μια εξειδικευμένη εκδοχή αυτού στην ανάπτυξη λογισμικού. Αντί να προτείνει μόνο κώδικα που πρέπει να εξετάσει και να ενσωματώσει ένας άνθρωπος, ένας πράκτορας κώδικα μπορεί να γράφει, να δοκιμάζει και να διορθώνει κώδικα αυτόνομα, αναλαμβάνοντας το είδος της επαναληπτικής και δοκιμαστικής εργασίας που καταναλώνει συνήθως την ημέρα ενός προγραμματιστή. Αυτοί οι πράκτορες μπορούν να λειτουργούν σε ολόκληρες βάσεις κώδικα, εντοπίζοντας σφάλματα, εκτελώντας δοκιμές και εμποδίζοντας διορθώσεις με ελάχιστη ανθρώπινη επιτήρηση. Σκεφτείτε το σαν να προσλαμβάνετε έναν πολύ γρήγορο υπάλληλο που δεν κοιμάται ποτέ και δεν αποσπάται — αν και, όπως σε κάθε υπάλληλο, χρειάζεται πάντα έναν άνθρωπο για να ελέγξει τη δουλειά του.
Αν και η έννοια του υπολογιστικού (compute) φαίνεται πολυδιάστατη, αναφέρεται γενικά στην απαραίτητη υπολογιστική ισχύ που επιτρέπει στα μοντέλα AI να λειτουργούν. Αυτή η διαδικασία πυροδοτεί τη βιομηχανία AI, δίνοντάς της τη δυνατότητα να εκπαιδεύει και να αναπτύσσει τα ισχυρά μοντέλα της. Ο όρος χρησιμοποιείται συχνά για να περιγράψει τον τύπο υλικού που παρέχει αυτήν την υπολογιστική ισχύ — όπως GPUs, CPUs, TPUs και άλλες υποδομές που αποτελούν τη βάση της σύγχρονης βιομηχανίας AI.
Ο βαθύς μάθησης (deep learning) είναι ένα υποσύνολο της μηχανικής μάθησης που εστιάζει σε αλγόριθμους σχεδιασμένους με μια πολυεπίπεδη δομή τεχνητής νευρωνικής δικτύωσης (ANN). Αυτό επιτρέπει στους αλγόριθμους να κάνουν πιο περίπλοκες συσχετίσεις σε σχέση με πιο απλά συστήματα μηχανικής μάθησης, όπως τα γραμμικά μοντέλα ή τα δέντρα αποφάσεων. Η δομή των αλγορίθμων βαθιάς μάθησης αντλεί έμπνευση από τις διασυνδεδεμένες διαδρομές των νευρώνων στον εγκέφαλο ανθρώπων.
Οι μονάδες AI με βαθιά μάθηση είναι ικανές να εντοπίζουν σημαντικά χαρακτηριστικά στα δεδομένα ανεξάρτητα, αντί να απαιτούν από τους ανθρώπινους μηχανικούς να καθορίσουν αυτά τα χαρακτηριστικά. Η δομή υποστηρίζει επίσης αλγορίθμους που μπορούν να μαθαίνουν από λάθη και, μέσα από μια διαδικασία επαναλαμβανόμενης προσαρμογής, να βελτιώνουν τις εξόδους τους. Ωστόσο, τα συστήματα βαθιάς μάθησης απαιτούν μεγάλο όγκο δεδομένων για να αποδώσουν καλά (εκατομμύρια ή περισσότερα). Συχνά χρειάζονται περισσότερη ώρα για να εκπαιδευτούν σε σύγκριση με απλούστερες αλγορίθμους μηχανικής μάθησης, με το κόστος ανάπτυξης να είναι συνήθως υψηλότερο.
(Δείτε: Νευρωνικό δίκτυο)
Η διάχυση αποτελεί την τεχνική που βρίσκεται στο επίκεντρο πολλών μοντέλων τεχνητής νοημοσύνης για την παραγωγή τέχνης, μουσικής και κειμένου. Εμπνευσμένη από τη φυσική διαδικασία της διάχυσης, οι συστήματα διάχυσης «καταστρέφουν» το δομημένο δεδομένο — π.χ. φωτογραφίες, μουσική κ.λπ. — προσθέτοντας θόρυβο μέχρι να μείνει μόνο θόρυβος. Στη φυσική, η διάχυση είναι αυθόρμητη και μη αναστρέψιμη — η ζάχαρη που διαλύεται σε καφέ δε μπορεί να επαναφερθεί σε μορφή κύβου. Ωστόσο, τα συστήματα διάχυσης στην AI προσπαθούν να αποκτήσουν τη δυνατότητα αναστρόφως διάχυσης για να αποκαταστήσουν τα κατεστραμμένα δεδομένα, αποκτώντας τη δυνατότητα ανάκτησης των δεδομένων από τον θόρυβο.
Η απόσταξη αναφέρεται σε μια τεχνική που χρησιμοποιείται για να εξαγάγει γνώσεις από ένα μεγάλο μοντέλο AI με τη «δασκαλο-μαθητική» μέθοδο. Οι προγραμματιστές στέλνουν αιτήματα στο μοντέλο δασκάλου και καταγράφουν τα αποτελέσματα. Αυτές οι εξόδους συγκρίνονται με ένα σύνολο δεδομένων για να μετρηθεί η ακρίβεια τους. Αυτές οι εξόδους χρησιμοποιούνται στη συνέχεια για να εκπαιδεύσουν το μαθητικό μοντέλο, που εκπαιδεύεται για να προσεγγίσει τη συμπεριφορά του δασκάλου.
Η απόσταξη μπορεί να χρησιμοποιηθεί για τη δημιουργία ενός πιο μικρού και αποδοτικού μοντέλου βασισμένο σε ένα μεγαλύτερο μοντέλο με ελάχιστη απώλεια απόσταξης. Αυτό είναι πιθανό το πώς η OpenAI ανέπτυξε το GPT-4 Turbo, μια ταχύτερη εκδοχή του GPT-4.
Ενώ όλες οι εταιρείες τεχνητής νοημοσύνης χρησιμοποιούν την απόσταξη εσωτερικά, μπορεί επίσης να χρησιμοποιηθεί από ορισμένες εταιρείες AI για να προλάβουν ανταγωνιστικά μοντέλα. Ωστόσο, η απόσταξη από ανταγωνιστή παραβιάζει συνήθως τους όρους υπηρεσίας των API και των chat assistants της AI.
Αυτή η έννοια αναφέρεται στην περαιτέρω εκπαίδευση ενός μοντέλου AI για να βελτιωθεί η απόδοση για μια πιο συγκεκριμένη εργασία ή τομέα, από ό,τι είχε εστιάσει προηγουμένως η εκπαίδευσή του — συνήθως μέσω της τροφοδότησης νέων, ειδικών (δηλαδή προσανατολισμένων στις εργασίες) δεδομένων.
Πολλές νεοφυείς εταιρείες AI χρησιμοποιούν μεγάλα γλωσσικά μοντέλα ως σημείο εκκίνησης για την ανάπτυξη εμπορικών προϊόντων και επικεντρώνονται στη βελτίωση της χρησιμότητάς τους για έναν επιλεγμένο τομέα ή εργασία, συμπληρώνοντας τους προηγούμενους κύκλους εκπαίδευσης με εξειδικευμένες γνώσεις και εμπειρίες.
(Δείτε: Μεγάλο γλωσσικό μοντέλο [LLM])
Ο GAN ή Γενετικό Αντίθετο Δίκτυο είναι μια μορφή πλατφόρμας μηχανικής μάθησης που υποστηρίζει κάποιες σημαντικές εξελίξεις στην παραγωγή διακυβερνητικής AI. Τα GAN περιλαμβάνουν τη χρήση δύο αντιθετικών νευρωνικών δικτύων, το ένα από τα οποία βασίζεται στα δεδομένα εκπαίδευσης του για να παράγει αποτελέσματα που περνούν στο άλλο μοντέλο για αξιολόγηση.
Τα δύο μοντέλα είναι προγραμματισμένα να προσπαθούν να ξεπεράσουν το ένα το άλλο. Ο γεννήτορας προσπαθεί να περάσει την έξοδο του στον διακριτή, ενώ ο διακριτής εργάζεται για να εντοπίσει δεδομένα που έχουν παραχθεί τεχνητά. Αυτός ο δομημένος ανταγωνισμός μπορεί να βελτιώσει τις εξόδους της AI χωρίς να απαιτεί πρόσθετη ανθρώπινη παρέμβαση. Αν και οι GAN δουλεύουν καλύτερα για στενές εφαρμογές (όπως η παραγωγή ρεαλιστικών φωτογραφιών ή βίντεο), δεν είναι σχεδιασμένοι για γενικής χρήσης AI.
Οι «παραισθήσεις» (hallucination) είναι ο προτιμώμενος όρος της βιομηχανίας AI για τα μοντέλα που δημιουργούν λανθασμένες πληροφορίες. Προφανώς, πρόκειται για ένα σοβαρό πρόβλημα όσον αφορά την ποιότητα της AI.
Οι παραισθήσεις οδηγούν σε παραπλανητικά αποτελέσματα στην GenAI, που μπορεί να προκαλέσουν ρίσκα στον πραγματικό κόσμο — με πιθανές επικίνδυνες συνέπειες (σκεφτείτε μια υγειονομική αναζήτηση που επιστρέφει επιβλαβείς ιατρικές συμβουλές).
Το πρόβλημα των ΑIs να ανακαλύπτουν και να κατασκευάζουν πληροφορίες θεωρείται ότι προκύπτει από κενά στην εκπαιδευτική τους βάση. Οι παραισθήσεις συμβάλλουν στην τάση προς ολοένα και πιο εξειδικευμένα και/ή κάθετα μοντέλα AI — δηλαδή, μοντέλα AI που απαιτούν στενότερη εμπειρία — ως τρόπος μείωσης της πιθανότητας κενών γνώσεων και των σχετικών κινδύνων παραπληροφόρησης.
Η έγχυση (inference) είναι η διαδικασία εκτέλεσης ενός μοντέλου AI. Αυτή είναι η διαδικασία να «απελευθερώσετε» ένα μοντέλο για να κάνει προβλέψεις ή να καταλήγει σε συμπεράσματα από δεδομένα που έχει δει στο παρελθόν. Για να είμαστε σαφείς, η έγχυση δεν μπορεί να συμβεί χωρίς προηγούμενη εκπαίδευση· ένα μοντέλο πρέπει να μάθει μοτίβα σε ένα σύνολο δεδομένων προτού μπορέσει να εξάγει αποτελέσματα από αυτά τα δεδομένα κατάρτισης.
Πολλά είδη υλικού μπορούν να εκτελέσουν έγχυση, από τους επεξεργαστές των κινητών τηλεφώνων μέχρι τις ισχυρές GPUs και τους σχεδιασμένους AI επιταχυντές. Ωστόσο, όχι όλα μπορούν να τρέξουν μοντέλα το ίδιο καλά. Πολύ μεγάλα μοντέλα χρειάζονται πολύ χρόνο για να κάνουν προβλέψεις σε έναν φορητό υπολογιστή σε σύγκριση με έναν cloud server που διαθέτει προηγμένα AI chips.
[Δείτε: Εκπαίδευση]
Τα μεγάλα γλωσσικά μοντέλα (LLMs) είναι τα μοντέλα AI που χρησιμοποιούνται από δημοφιλείς AI βοηθούς, όπως το ChatGPT, Claude, Gemini της Google, AI Llama της Meta, Microsoft Copilot ή Le Chat του Mistral. Όταν συνομιλείτε με έναν AI βοηθό, αλληλεπιδράτε με ένα μεγάλο γλωσσικό μοντέλο που επεξεργάζεται το αίτημά σας άμεσα ή με τη βοήθεια διάφορων διαθέσιμων εργαλείων, όπως η πλοήγηση στο διαδίκτυο ή οι ερμηνευτές κώδικα.
Τα LLMs είναι βαθιά νευρωνικά δίκτυα φτιαγμένα από δισεκατομμύρια αριθμητικών παραμέτρων (ή βάρους, όπως αναφέρεται παρακάτω) που μαθαίνουν τις σχέσεις μεταξύ λέξεων και φράσεων και δημιουργούν μια αναπαράσταση της γλώσσας, έναν είδος πολυδιάστατου χάρτη λέξεων.
Αυτά τα μοντέλα δημιουργούνται από την κωδικοποίηση των μοτίβων που εντοπίζουν σε δισεκατομμύρια βιβλία, άρθρα και κείμενα. Όταν δίνετε εντολή σε ένα LLM, το μοντέλο δημιουργεί το πιο πιθανό μοτίβο που ταιριάζει με την παραγγελία σας.
(Δείτε: Νευρωνικό δίκτυο)
Η μνήμη cache αναφέρεται σε μια σημαντική διαδικασία που ενισχύει την έγχυση (η διαδικασία μέσω της οποίας η AI εργάζεται για να παράγει μια απάντηση στην ερώτηση ενός χρήστη). Στην ουσία, η caching είναι μια τεχνική βελτιστοποίησης σχεδιασμένη να κάνει την έγχυση πιο αποτελεσματική. Η AI τροφοδοτείται φυσικά από υπολογισμούς υψηλής ταχύτητας και κάθε φορά που αυτοί οι υπολογισμοί γίνονται, καταναλώνεται περισσότερη ενέργεια. Η caching αποσκοπεί στην μείωση του αριθμού των υπολογισμών που μπορεί να πρέπει να εκτελέσει ένα μοντέλο, αποθηκεύοντας συγκεκριμένους υπολογισμούς για μελλοντικά αιτήματα και λειτουργίες. Υπάρχουν διαφορετικοί τύποι μνήμης caching, αν και μία από τις πιο γνωστές είναι η KV (ή key value) caching. Το KV caching λειτουργεί σε μοντέλα βάσης μετασχηματιστών, αυξάνοντας την απόδοση και οδηγώντας σε ταχύτερα αποτελέσματα.
(Δείτε: Έγχυση)
Ένα νευρωνικό δίκτυο αναφέρεται στη δομή του αλγορίθμου πολλών επιπέδων που υποστηρίζει την βαθιά μάθηση — και, γενικότερα, ολόκληρη τη βόμβα εργαλειών AI που έχει προκύψει από την εμφάνιση των μεγάλων γλωσσικών μοντέλων.
Αν και η ιδέα να αντλούμε έμπνευση από τις διασυνδεδεμένες διαδρομές του ανθρώπινου εγκεφάλου ως δομή σχεδίασης για αλγορίθμους επεξεργασίας δεδομένων χρονολογείται από τη δεκαετία του 1940, η πρόσφατη ανάπτυξη της γραφικής επεξεργασίας μέσω της βιομηχανίας παιχνιδιών απελευθέρωσε τη δύναμη αυτής της θεωρίας. Αυτές οι τσιπ ήταν κατάλληλες για την εκπαίδευση αλγορίθμων με πολύ περισσότερα επίπεδα από ό,τι ήταν δυνατό σε προηγούμενες εποχές — επιτρέποντας στα συστήματα AI με βάση τα νευρωνικά δίκτυα να βελτιώσουν σημαντικά την απόδοσή τους σε πολλούς τομείς, όπως η αναγνώριση φωνής, η αυτόνομη πλοήγηση και η ανακάλυψη φαρμάκων.
(Δείτε: Μεγάλο γλωσσικό μοντέλο [LLM])
Το open source αναφέρεται σε λογισμικό — ή, όλο και πιο συχνά, μοντέλα AI — όπου ο υποκείμενος κώδικας είναι δημόσια διαθέσιμος για χρήση, επιθεώρηση ή τροποποίηση από οποιονδήποτε. Στον κόσμο της AI, η οικογένεια μοντέλων Llama της Meta αποτελεί ένα σημαντικό παράδειγμα· το Linux είναι ο ιστορικός παραλληλισμός με τα λειτουργικά συστήματα. Οι ανοικτές πηγές επιτρέπουν στους ερευνητές, στους προγραμματιστές και στις εταιρείες σε όλο τον κόσμο να επενδύουν στο έργο του άλλου, επιταχύνοντας τη πρόοδο και διευκολύνοντας τις ανεξάρτητες αξιολογήσεις ασφάλειας που τα κλειστά συστήματα δεν μπορούν εύκολα να παρέχουν. Οι κλειστές πηγές σημαίνουν ότι ο κώδικας είναι ιδιωτικός — μπορείτε να χρησιμοποιήσετε το προϊόν, αλλά δεν μπορείτε να δείτε πώς λειτουργεί, όπως στην περίπτωση των μοντέλων GPT της OpenAI — μια διάκριση που έχει γίνει μία από τις διαφορές της AI βιομηχανίας.
Η παραλληλία (parallelization) σημαίνει την ταυτόχρονη εκτέλεση πολλών εργασιών αντί για τη διαδοχική εκτέλεσή τους — όπως το να έχουμε 10 υπαλλήλους να εργάζονται σε διαφορετικά σημεία ενός έργου ταυτόχρονα αντί ενός υπαλλήλου που κάνει τα πάντα διαδοχικά. Στην AI, η παραλληλία είναι θεμελιώδης τόσο για την εκπαίδευση όσο και για την έγχυση: οι σύγχρονες GPUs είναι σχεδιασμένες να εκτελούν χιλιάδες υπολογισμούς σε παράλληλη λειτουργία, κάτι που είναι ένας από τους βασικούς λόγους που έγιναν ο βασικός ραχοκοκαλιά της βιομηχανίας. Καθώς τα AI συστήματα γίνονται πιο περίπλοκα και τα μοντέλα μεγαλώνουν, η δυνατότητα παραλληλοποίησης της εργασίας σε πολλές μονάδες και πολλές μηχανές έχει καταστεί ένας από τους πιο σημαντικούς παράγοντες που καθορίζουν πόσο γρήγορα και οικονομικά μπορούν να κατασκευαστούν και να αναπτυχθούν αυτά τα μοντέλα. Η έρευνα σε καλύτερες στρατηγικές παραλληλίας έχει γίνει πλέον τομέας σπουδών από μόνη της.
Η RAMageddon είναι ο ευφυής όρος για μια όχι και τόσο ευχάριστη τάση που κυριαρχεί στη βιομηχανία τεχνολογίας: μια συνεχώς αυξανόμενη έλλειψη μνήμης τυχαίας πρόσβασης, ή RAM, που τροφοδοτεί σχεδόν όλα τα τεχνολογικά προϊόντα που χρησιμοποιούμε στην καθημερινή μας ζωή. Καθώς η βιομηχανία AI έχει ανθίσει, οι μεγαλύτερες τεχνολογικές εταιρείες και εργαστήρια AI — που όλοι επιδιώκουν να έχουν την πιο ισχυρή και αποδοτική AI — αγοράζουν τόση RAM για να τροφοδοτήσουν τα data centers τους που δεν μένει αρκετή για τους υπόλοιπους. Και αυτό το πρόβλημα προσφοράς σημαίνει ότι ό,τι έχει απομείνει γίνεται όλο και πιο ακριβό.
Αυτό περιλαμβάνει βιομηχανίες όπως το gaming (όπου μεγάλες εταιρείες έχουν αναγκαστεί να αυξήσουν τις τιμές στις κονσόλες επειδή είναι πιο δύσκολο να βρουν τσιπ μνήμης για τις συσκευές τους), ηλεκτρονικά καταναλωτικά προϊόντα (όπου η έλλειψη μνήμης μπορεί να προκαλέσει τη μεγαλύτερη πτώση στις αποστολές smartphones εδώ και περισσότερο από μια δεκαετία) και γενική επιχείρηση υπολογιστών (επειδή οι εταιρείες δεν μπορούν να αποκτήσουν αρκετή RAM για τα δικά τους data centers). Η αύξηση τιμών αναμένεται να σταματήσει μόνο όταν τελειώσει η καταραμένη έλλειψη, αλλά, δυστυχώς, δεν υπάρχουν σημάδια ότι θα συμβεί σύντομα.
Όπως η AGI, η επαναλαμβανόμενη αυτοβελτίωση (recursive self-improvement) είναι ένα κατώφλι για το πόσο έξυπνη μπορεί να γίνει η AI, και πόση λιγότερο μπορεί να εξαρτάται από τους ανθρώπους. Σε ένα σενάριο RSI, τα μοντέλα AI αρχίζουν να βελτιώνουν τον εαυτό τους χωρίς ανθρώπινη παρέμβαση, οδηγώντας σε μια τεράστια επιτάχυνση των ικανοτήτων και αυτονομίας. Σε κάποιες περιπτώσεις, αυτή θεωρείται καταστροφική στιγμή, παρόμοια με τη singularity, όταν τα μοντέλα AI γίνονται ανθεκτικά σε εξωτερικές παρεμβάσεις. Ωστόσο, η RSI περιγράφει επίσης μια βασική ικανότητα — μπορεί ένα μοντέλο AI να σχεδιάσει τον ίδιο τον διάδοχό του; — διευκολύνοντας τους μηχανικούς να αναλάβουν να το κατασκευάσουν. Πολλές πρόσφατες νεοφυείς εταιρείες AI έχουν σκοπό να δημιουργήσουν μοντέλα που αυτοβελτιώνονται, αλλά οι περισσότερες απορρίπτουν τις αποκρουστικές συνέπειες, παρουσιάζοντας την RSI ως απλώς την επόμενη πρόκληση για έρευνα.
Η ενίσχυση της μάθησης (Reinforcement learning) είναι μια μέθοδος εκπαίδευσης της AI όπου ένα σύστημα μαθαίνει δοκιμάζοντας πράγματα και παίρνοντας ανταμοιβές για σωστές απαντήσεις — όπως εκπαιδεύοντας τον αγαπημένο σας κατοικίδιο με λιχουδιές, μόνο που το «κατοικίδιο» εδώ είναι ένα νευρωνικό δίκτυο και η «λιχουδιά» είναι ένα μαθηματικό σήμα που υποδεικνύει την επιτυχία. Σε αντίθεση με την επιβλεπόμενη μάθηση, όπου μοντέλα εκπαιδεύονται σε ένα σταθερό σύνολο δεδομένων με ετικέτες, η ενίσχυση της μάθησης επιτρέπει σε ένα μοντέλο να εξερευνήσει το περιβάλλον του, να αναλαμβάνει δράσεις και να ενημερώνει συνεχώς τη συμπεριφορά του βάσει της ανατροφοδότησης που λαμβάνει. Αυτή η προσέγγιση έχει αποδειχθεί εξαιρετικά αποτελεσματική για την εκπαίδευση της AI να παίζει παιχνίδια, να ελέγχει ρομπότ και, πρόσφατα, να οξύνει τις λογικές ικανότητες των μεγάλων γλωσσικών μοντέλων. Τεχνικές όπως η ενίσχυση της μάθησης από ανθρώπινη ανατροφοδότηση ή RLHF είναι πλέον κεντρικές για το πώς οι κορυφαίοι εργαστηριακοί ΑΙ βελτιστοποιούν τα μοντέλα τους για μεγαλύτερη χρησιμότητα, ακρίβεια και ασφάλεια.
Όσον αφορά την επικοινωνία ανθρώπου-μηχανής, υπάρχουν ορισμένες προφανείς προκλήσεις — οι άνθρωποι επικοινωνούν χρησιμοποιώντας ανθρώπινη γλώσσα, ενώ τα προγράμματα AI εκτελούν έργα μέσω πολύπλοκων διαδικασιών αλγορίθμου που ενημερώνονται με δεδομένα. Οι tokens γεφυρώνουν αυτό το χάσμα: είναι τα βασικά δομικά στοιχεία της επικοινωνίας ανθρώπου-AI, που αντιπροσωπεύουν διακριτές επιμέρους κομμάτια δεδομένων που έχουν επεξεργαστεί ή παραχθεί από ένα LLM. Δημιουργούνται μέσω μιας διαδικασίας που ονομάζεται tokenization, η οποία διασπά την ακατέργαστη κείμενο σε μικρές μονάδες που ένα μοντέλο γλώσσας μπορεί να αφομοιώσει, παρόμοια με το πώς ένας μεταγλωττιστής μεταφράζει την ανθρώπινη γλώσσα σε δυαδικό κώδικα που μπορεί να καταλάβει ένας υπολογιστής. Στις επαγγελματικές ρυθμίσεις, οι tokens καθορίζουν επίσης το κόστος — οι περισσότερες εταιρείες AI χρεώνουν για τη χρήση LLM ανά token, που σημαίνει ότι όσο περισσότερο χρησιμοποιεί μια επιχείρηση, τόσο περισσότερο πληρώνει.
Έτσι, οι tokens είναι οι μικρές κομμάτια κειμένου — συχνά τμήματα λέξεων και όχι ολόκληρες — που τα μοντέλα γλώσσας AI διασπούν τη γλώσσα πριν την επεξεργαστούν· είναι περίπου ανάλογα με τις «λέξεις» για τους σκοπούς της κατανόησης των φορτίων εργασίας AI. Η ικανότητα επεξεργασίας (throughput) αναφέρεται στην ποσότητα που μπορεί να επεξεργαστεί σε συγκεκριμένη περίοδο, οπότε η ικανότητα επεξεργασίας tokens είναι ουσιαστικά ένα μέτρο του πόσο AI έργο μπορεί να διαχειριστεί ένα σύστημα ταυτόχρονα. Υψηλή ικανότητα επεξεργασίας tokens είναι ένας βασικός στόχος για τις ομάδες υποδομής AI, καθώς προσδιορίζει πόσους χρήστες μπορεί να εξυπηρετήσει ένα μοντέλο ταυτόχρονα και πόσο γρήγορα κάθε ένας από αυτούς θα λάβει μια απάντηση. Ο ερευνητής AI Andrej Karpathy έχει περιγράψει πώς νιώθει άγχος όταν οι AI συνδρομές του παραμένουν ανενεργές — αποτυπώνοντας τη συναισθηματική ανησυχία που προκαλεί το μη πλήρες νταμπλ των πολυάριθμων υπολογιστικών διαδικασιών — μια αίσθηση που αποδίδει την πρόθεση για την αύξηση της ικανότητας επεξεργασίας tokens.
Η ανάπτυξη μηχανικών μοντέλων μάθησης περιλαμβάνει μια διαδικασία που ονομάζεται εκπαίδευση. Σε απλή γλώσσα, αυτό αναφέρεται στην τροφοδότηση δεδομένων προκειμένου το μοντέλο να εξετάσει μοτίβα και να παράγει χρήσιμες εξόδους. Στην ουσία, είναι η διαδικασία που επιτρέπει στο σύστημα να ανταποκριθεί στις χαρακτηριστικές συνθήκες των δεδομένων, προσαρμόζοντας τις εξόδους του προς έναν επιθυμητό στόχο — είτε πρόκειται για την αναγνώριση εικόνων γατών είτε για την παραγωγή ενός haiku κατόπιν αιτήματος.
Η εκπαίδευση μπορεί να είναι δαπανηρή γιατί απαιτεί πολλές εισόδους, και οι όγκοι που απαιτούνται τείνουν να αυξάνονται — γι’ αυτό και οι υβριδικές προσεγγίσεις, όπως είναι η βελτίωση της εκπαίδευσης ενός κανόνα με στοχευμένα δεδομένα, μπορούν να βοηθήσουν στη διαχείριση του κόστους χωρίς να ξεκινάτε εντελώς από την αρχή.
[Δείτε: Έγχυση]
Μια τεχνική όπου ένα προϋπάρχον μοντέλο AI χρησιμοποιείται ως αφετηρία για την ανάπτυξη ενός νέου μοντέλου για μια άλλη αλλά συχνά σχετική εργασία – επιτρέποντας την εφαρμογή γνώσεων που αποκτήθηκαν σε προηγούμενους κύκλους εκπαίδευσης.
Η εκμάθηση μεταφοράς (Transfer learning) μπορεί να επιφέρει εξοικονόμηση πόρων συντομεύοντας την ανάπτυξη του μοντέλου. Μπορεί επίσης να είναι χρήσιμη όταν τα δεδομένα που διατίθενται για την εργασία που αναπτύσσεται είναι περιορισμένα. Ωστόσο, είναι σημαντικό να σημειωθεί ότι η προσέγγιση έχει περιορισμούς. Τα μοντέλα που βασίζονται στην εκμάθηση μεταφοράς για να αποκτήσουν γενικευμένες ικανότητες πιθανότατα θα απαιτούν επιπλέον εκπαίδευση σε δεδομένα για να αποδώσουν καλά στον συγκεκριμένο τομέα τους.
(Δείτε: Βελτίωση λεπτομερειών)
Η απώλεια επικύρωσης (validation loss) είναι ένας αριθμός που σας λέει πόσο καλά μαθαίνει ένα μοντέλο AI κατά τη διάρκεια της εκπαίδευσης — και όσο πιο χαμηλή είναι, τόσο το καλύτερο. Οι ερευνητές τον παρακολουθούν προσεκτικά ως μια μορφή αναφοράς σε πραγματικό χρόνο, χρησιμοποιώντας τον για να αποφασίσουν πότε θα σταματήσουν την εκπαίδευση, πότε να προσαρμόσουν τις υπερπαραμέτρους ή αν πρέπει να ερευνήσουν ένα πιθανό πρόβλημα. Ένα από τα κύρια ζητήματα που βοηθά να εντοπιστεί είναι η υπερβολική προσαρμογή (overfitting), μια κατάσταση όπου ένα μοντέλο απομνημονεύει τα δεδομένα εκπαίδευσής του αντί να μαθαίνει πραγματικά πρότυπα που μπορεί να γενικεύσει σε νέες καταστάσειςΩς εκ τούτου, σκεφτείτε το ως την διαφορά μεταξύ ενός φοιτητή που κατανοεί πραγματικά τον υλικό και ενός άλλου που απλώς απομνημόνευσε το περσινό εξεταστικό — η απώλεια επικύρωσης βοηθά να αποκαλυφθεί ποιο μοντέλο γίνεστε.
Οι βάρη (weights) είναι βασικοί παράγοντες στην εκπαίδευση AI, καθώς προσδιορίζουν πόσο σημαντικότητα (ή βάρος) δίνεται σε διάφορα χαρακτηριστικά (ή μεταβλητές εισόδου) στα δεδομένα που χρησιμοποιούνται για την εκπαίδευση του συστήματος — διαμορφώνοντας έτσι την έξοδο του μοντέλου AI.
Με άλλα λόγια, οι βάρη είναι αριθμητικές παράμετροι που καθορίζουν τι είναι πιο σημαντικό σε ένα σύνολο δεδομένων που σχετίζεται με την συγκεκριμένη εκπαιδευτική εργασία. Επιτυγχάνουν τη λειτουργία τους εφαρμόζοντας πολλαπλασιασμό σε εισροές. Η εκπαίδευση ενός μοντέλου συνήθως ξεκινά με βάρη που αποδίδονται τυχαία, αλλά καθώς η διαδικασία προχωρά, τα βάρη προσαρμόζονται καθώς το μοντέλο προσπαθεί να βρει μια έξοδο που πλησιάζει τη στόχο.
Για παράδειγμα, ένα μοντέλο AI που αποσκοπεί στην πρόβλεψη τιμών κατοικιών που έχει εκπαιδευτεί σε ιστορικά δεδομένα στην αγορά ακινήτων ενός συγκεκριμένου τόπου θα μπορούσε να περιλαμβάνει βάρη για χαρακτηριστικά όπως ο αριθμός υπνοδωματίων και μπάνιων, αν ένα ακίνητο είναι αυτόνομο ή ημι-αυτόνομο, αν έχει χώρο στάθμευσης, γκαράζ, και άλλα.
Τελικά, τα βάρη που το μοντέλο αποδίδει σε κάθε μία από αυτές τις εισροές αντικατοπτρίζουν πόσο επηρεάζουν την αξία μιας περιουσίας, βάσει των παρατηρήσεων στα συγκεκριμένα δεδομένα.
Αυτό το άρθρο ενημερώνεται τακτικά με νέες πληροφορίες.
Όταν κάνετε αγορές μέσω συνδέσμων στα άρθρα μας, μπορεί να κερδίσουμε μια μικρή προμήθεια. Αυτό δεν επηρεάζει την ανεξαρτησία της συντακτικής μας ομάδας.
