Οι ερευνητές του Πανεπιστημίου Στάνφορντ δημοσίευσαν OpenJarvisένα πλαίσιο ανοιχτού κώδικα σχεδιασμένο για τη δημιουργία προσωπικών πρακτόρων τεχνητής νοημοσύνης που λειτουργούν εξ ολοκλήρου στη συσκευή.
Το πλαίσιο στοχεύει στη μείωση του λανθάνοντος χρόνου, του επαναλαμβανόμενου κόστους και των ανησυχιών σχετικά με την έκθεση δεδομένων που σχετίζονται με λύσεις τεχνητής νοημοσύνης που βασίζονται σε σύννεφο, δίνοντας προτεραιότητα στην τοπική εκτέλεση. Αυτή η προσέγγιση τοποθετεί το τοπικό AI ως προεπιλογή, με τη χρήση cloud να γίνεται προαιρετικό στοιχείο.
Το OpenJarvis προέρχεται από το Scaling Intelligence Lab του Stanford. Λειτουργεί τόσο ως πλατφόρμα έρευνας όσο και ως υποδομή ανάπτυξης για τοπικά συστήματα AI.
Το έργο δίνει έμφαση στην πλήρη στοίβα λογισμικού που απαιτείται για τους πράκτορες στη συσκευή, συμπεριλαμβανομένης της χρηστικότητας, της μέτρησης και της μακροπρόθεσμης προσαρμοστικότητας. Η έρευνα αναφέρει προηγούμενη εργασία, «Intelligence Per Watt», η οποία βρήκε ότι τα μοντέλα τοπικής γλώσσας μπορούσαν να χειριστούν το 88,7% των ερωτημάτων συνομιλίας και συλλογισμού σε διαδραστικούς λανθάνοντες χρόνους. Η απόδοση βελτιώθηκε 5,3 φορές μεταξύ 2023 και 2025, σύμφωνα με την ομάδα.
Το OpenJarvis χρησιμοποιεί μια αρχιτεκτονική “Five-Primitives”: Intelligence, Engine, Agents, Tools & Memory και Learning. Αυτά τα πρωτόγονα λειτουργούν ως συνθέσιμες αφαιρέσεις για ανεξάρτητη συγκριτική αξιολόγηση και βελτιστοποίηση.
Το Intelligence primitive λειτουργεί ως το επίπεδο μοντέλου, παρέχοντας έναν ενοποιημένο κατάλογο για διάφορες τοπικές οικογένειες μοντέλων. Αυτή η αφαίρεση επιτρέπει στους προγραμματιστές να επιλέγουν μοντέλα χωρίς να παρακολουθούν με μη αυτόματο τρόπο τον αριθμό των παραμέτρων ή την προσαρμογή υλικού.
Το Engine primitive χρησιμεύει ως χρόνος εκτέλεσης συμπερασμάτων, προσφέροντας μια κοινή διεπαφή για backends όπως Ollama, vLLM, SGLang, llama.cpp και API cloud. Περιλαμβάνει εντολές όπως “jarvis init” για ανίχνευση υλικού και σύσταση διαμορφώσεων και “jarvis doctor” για συντήρηση.
Το Agents primitive σχηματίζει το επίπεδο συμπεριφοράς, μετατρέποντας τις δυνατότητες του μοντέλου σε δομημένες ενέργειες κάτω από περιορισμούς συσκευής. Υποστηρίζει συνθετικούς ρόλους, συμπεριλαμβανομένου ενός ενορχηστρωτή για ανάλυση εργασιών και ενός Operative για προσωπικές ροές εργασίας.
Το Tools & Memory primitive αποτελεί το στρώμα γείωσης. Αυτό περιλαμβάνει υποστήριξη για MCP (Model Context Protocol) για χρήση εργαλείων, Google A2A για επικοινωνία agent-to-agent και σημασιολογική ευρετηρίαση για τοπική ανάκτηση. Συνδέει επίσης τοπικά μοντέλα με εργαλεία και επίμονο προσωπικό πλαίσιο.
Το Learning primitive παρέχει έναν μηχανισμό βελτίωσης κλειστού βρόχου. Χρησιμοποιεί τοπικά ίχνη αλληλεπίδρασης για να δημιουργήσει δεδομένα εκπαίδευσης, να βελτιώσει τη συμπεριφορά των πρακτόρων και να βελτιώσει την επιλογή μοντέλου. Η βελτιστοποίηση πραγματοποιείται μεταξύ των βαρών μοντέλων, των προτροπών LM, της πρακτορικής λογικής και της μηχανής συμπερασμάτων.
Το OpenJarvis δίνει προτεραιότητα στην αποτελεσματικότητα, αντιμετωπίζοντας την ενέργεια, τα FLOP, τον λανθάνοντα χρόνο και το κόστος ως βασικούς περιορισμούς παράλληλα με την ποιότητα εργασίας. Ενσωματώνει ένα σύστημα τηλεμετρίας αγνωστικού υλικού για τη δημιουργία προφίλ ενέργειας σε NVIDIA GPU, AMD GPU και Apple Silicon, με διαστήματα δειγματοληψίας 50 ms. Η εντολή “jarvis bench” τυποποιεί τη συγκριτική αξιολόγηση για την καθυστέρηση, την απόδοση και την ενέργεια ανά ερώτημα.
Οι διεπαφές προγραμματιστών για το OpenJarvis περιλαμβάνουν μια εφαρμογή προγράμματος περιήγησης, μια εφαρμογή επιφάνειας εργασίας για macOS, Windows και Linux, ένα Python SDK και μια διεπαφή γραμμής εντολών (CLI). Όλες οι βασικές λειτουργίες λειτουργούν χωρίς σύνδεση δικτύου.
Η εντολή “jarvis serve” ξεκινά έναν διακομιστή FastAPI με ροή SSE, τον οποίο, σύμφωνα με τους προγραμματιστές, μπορεί να χρησιμεύσει ως αντικατάσταση drop-in για πελάτες OpenAI. Αυτή η δυνατότητα προορίζεται να μειώσει το κόστος μετεγκατάστασης για προγραμματιστές που δημιουργούν πρωτότυπα με μια διεπαφή σε σχήμα API, διατηρώντας παράλληλα τοπικά συμπεράσματα.
VIA: DataConomy.com
