Εκπαίδευση ChatGPT AI Απαιτούνται 185.000 γαλόνια νερού: Μελέτη

Τα δημοφιλή μοντέλα μεγάλων γλωσσών (LLMs) όπως

ChatGPT του OpenAI

και

Ο Βάρδος της Google

είναι ενεργοβόρα, απαιτώντας τεράστια αγροκτήματα διακομιστών για να παρέχουν αρκετά δεδομένα για την εκπαίδευση των ισχυρών προγραμμάτων. Η ψύξη αυτών των ίδιων κέντρων δεδομένων κάνει επίσης τα chatbot AI απίστευτα διψασμένα. Νέα έρευνα προτείνει εκπαίδευση για

GPT-3

μόνο κατανάλωσε 185.000 γαλόνια (700.000 λίτρα) νερού. Η ανταλλαγή συνομιλιών ενός μέσου χρήστη με το ChatGPT ουσιαστικά ισοδυναμεί με την απόρριψη ενός μεγάλου μπουκαλιού φρέσκου νερού στο έδαφος, σύμφωνα με μια νέα μελέτη. Δεδομένων του chatbot

πρωτοφανής δημοτικότητα

οι ερευνητές φοβούνται ότι όλα αυτά τα χυμένα μπουκάλια θα μπορούσαν να επηρεάσουν ανησυχητικά τα αποθέματα νερού, ειδικά εν μέσω

ιστορικές ξηρασίες και διαφαινόμενη περιβαλλοντική αβεβαιότητα

στις Η.Π.Α.

Ερευνητές από το Πανεπιστήμιο της Καλιφόρνια Ρίβερσαϊντ και το Πανεπιστήμιο του Τέξας Άρλινγκτον δημοσίευσαν τις εκτιμήσεις κατανάλωσης νερού με τεχνητή νοημοσύνη σε ένα προεκτυπωμένο έγγραφο με τίτλο «


Κάνοντας το AI λιγότερο «διψασμένο».


Οι συγγραφείς βρήκαν ότι η ποσότητα καθαρού γλυκού νερού που απαιτείται για την εκπαίδευση του GPT-3 είναι ισοδύναμη με την ποσότητα που απαιτείται για


γεμίσει τον πύργο ψύξης ενός πυρηνικού αντιδραστήρα


. Το OpenAI δεν έχει αποκαλύψει το χρόνο που απαιτείται για την εκπαίδευση του GPT-3, περιπλέκοντας τις εκτιμήσεις των ερευνητών, αλλά η Microsoft, η οποία έχει συνάψει μια πολυετή συνεργασία πολλών δισεκατομμυρίων δολαρίων με την startup τεχνητής νοημοσύνης και κατασκεύασε υπερυπολογιστές για εκπαίδευση τεχνητής νοημοσύνης, λέει. ότι ο τελευταίος υπερυπολογιστής του, ο οποίος θα απαιτούσε μια εκτεταμένη συσκευή ψύξης, περιέχει 10.000 κάρτες γραφικών και πάνω από 285.000 πυρήνες επεξεργαστή, δίνοντας μια ματιά στην τεράστια κλίμακα της λειτουργίας πίσω από την τεχνητή νοημοσύνη. Αυτός ο τεράστιος αριθμός γαλονιών θα μπορούσε να παράγει στοιχεία μπαταρίας για 320 Teslas, ή, με άλλο τρόπο, το ChatGPT, που ήρθε μετά το GPT-3, θα χρειαζόταν να «πιει» ένα μπουκάλι νερού 500 χιλιοστόλιτρων για να ολοκληρώσει μια βασική ανταλλαγή με έναν χρήστη που αποτελείται από περίπου 25-50 ερωτήσεις.

Ο τεράστιος αριθμός των γαλονιών που απαιτούνται για την εκπαίδευση του μοντέλου AI προϋποθέτει επίσης ότι η εκπαίδευση πραγματοποιείται στο υπερσύγχρονο κέντρο δεδομένων της Microsoft στις ΗΠΑ, που κατασκευάστηκε ειδικά για το OpenAI ύψους δεκάδων εκατομμυρίων. Εάν τα δεδομένα εκπαιδεύονταν στο λιγότερο ενεργειακά αποδοτικό κέντρο δεδομένων της εταιρείας στην Ασία, η έκθεση σημειώνει ότι η κατανάλωση νερού θα μπορούσε να είναι τρεις φορές υψηλότερη. Οι ερευνητές αναμένουν ότι αυτές οι απαιτήσεις σε νερό θα αυξηθούν περαιτέρω με νεότερα μοντέλα, όπως το

κυκλοφόρησε πρόσφατα το GPT-4

οι οποίες βασίζονται σε ένα μεγαλύτερο σύνολο παραμέτρων δεδομένων από τους προκατόχους τους.

«Το αποτύπωμα νερού των μοντέλων AI δεν μπορεί πλέον να μείνει κάτω από το ραντάρ», είπαν οι ερευνητές. «Το υδάτινο αποτύπωμα πρέπει να αντιμετωπιστεί ως προτεραιότητα ως μέρος των συλλογικών προσπαθειών για την καταπολέμηση των παγκόσμιων προκλήσεων για το νερό».

Πώς χρησιμοποιούν το νερό τα chatbots;

Κατά τον υπολογισμό της κατανάλωσης νερού του AI, οι ερευνητές κάνουν μια διάκριση μεταξύ «απόσυρσης» και «κατανάλωσης» νερού. Το πρώτο παράδειγμα είναι η πρακτική της φυσικής αφαίρεσης νερού από ένα ποτάμι, λίμνη ή άλλη πηγή, ενώ η κατανάλωση αναφέρεται συγκεκριμένα στην απώλεια νερού από την εξάτμιση όταν χρησιμοποιείται σε κέντρα δεδομένων. Η έρευνα σχετικά με τη χρήση νερού από την τεχνητή νοημοσύνη επικεντρώνεται κυρίως στο μέρος της κατανάλωσης αυτής της εξίσωσης, όπου το νερό δεν μπορεί να ανακυκλωθεί.

Όποιος έχει περάσει μερικά δευτερόλεπτα σε ένα δωμάτιο διακομιστή της εταιρείας ξέρει ότι πρέπει πρώτα να ετοιμάσετε ένα πουλόβερ. Τα δωμάτια των διακομιστών διατηρούνται δροσερά, συνήθως μεταξύ 50 και 80 βαθμών Φαρενάιτ για να αποφευχθεί η δυσλειτουργία του εξοπλισμού. Η διατήρηση αυτής της ιδανικής θερμοκρασίας είναι μια συνεχής πρόκληση, επειδή οι ίδιοι οι διακομιστές μετατρέπουν την ηλεκτρική τους ενέργεια σε θερμότητα. Οι πύργοι ψύξης όπως αυτοί που φαίνονται παρακάτω συχνά αναπτύσσονται για να προσπαθήσουν να εξουδετερώσουν αυτή τη θερμότητα και να διατηρήσουν τα δωμάτια στην ιδανική τους θερμοκρασία εξατμίζοντας το κρύο νερό.

Οι πύργοι ψύξης κάνουν τη δουλειά τους, αλλά απαιτούν τεράστιες ποσότητες νερού για να το κάνουν. Οι ερευνητές εκτιμούν ότι περίπου ένα γαλόνι νερού καταναλώνεται για κάθε κιλοβατώρα που δαπανάται σε ένα μέσο κέντρο δεδομένων. Ούτε μπορεί να χρησιμοποιηθεί οποιοδήποτε είδος νερού. Τα κέντρα δεδομένων αντλούν από καθαρές πηγές γλυκού νερού για να αποφύγουν τη διάβρωση ή την ανάπτυξη βακτηρίων που μπορεί να προκύψει με το θαλασσινό νερό. Το γλυκό νερό είναι επίσης απαραίτητο για τον έλεγχο της υγρασίας στα δωμάτια. Οι ερευνητές επίσης θεωρούν τα κέντρα δεδομένων υπεύθυνα για το νερό που απαιτείται για την παραγωγή των υψηλών ποσοτήτων ηλεκτρικής ενέργειας που καταναλώνουν, κάτι που οι επιστήμονες ονόμασαν «έμμεση κατανάλωση νερού εκτός του χώρου».

Εικόνες του κέντρου δεδομένων της Google

Τα προβλήματα κατανάλωσης νερού δεν περιορίζονται σε μοντέλα OpenAI ή AI. Το 2019, η Google ζήτησε περισσότερα από


2,3 δισεκατομμύρια γαλόνια νερού


για κέντρα δεδομένων σε μόλις τρεις πολιτείες. Η εταιρία


αυτή τη στιγμή διαθέτει 14 κέντρα δεδομένων


εξαπλώνεται σε ολόκληρη τη Βόρεια Αμερική, την οποία χρησιμοποιεί για να τροφοδοτήσει την Αναζήτηση Google, τη σουίτα προϊόντων του στο χώρο εργασίας της και πιο πρόσφατα, της

Λάμδα

και

Βάρδος

μεγάλα γλωσσικά μοντέλα. Μόνο το LaMDA, σύμφωνα με την πρόσφατη ερευνητική εργασία, θα μπορούσε να απαιτήσει εκατομμύρια λίτρα νερού για εκπαίδευση, μεγαλύτερο από το GPT-3, επειδή πολλά από τα διψασμένα κέντρα δεδομένων της Google στεγάζονται σε καυτές πολιτείες όπως το Τέξας. Οι ερευνητές εξέδωσαν μια προειδοποίηση με αυτήν την εκτίμηση, ωστόσο, αποκαλώντας την “κατά προσέγγιση σημείο αναφοράς”.

Εκτός από το νερό, τα νέα LLM απαιτούν ομοίως μια εκπληκτική ποσότητα ηλεκτρικής ενέργειας. Μια έκθεση Stanford AI που δημοσιεύθηκε την περασμένη εβδομάδα εξετάζει

διαφορές στην κατανάλωση ενέργειας μεταξύ τεσσάρων εξέχων μοντέλων τεχνητής νοημοσύνης

, υπολογίζοντας ότι το GPT-3 του OpenAI απελευθέρωσε 502 μετρικούς τόνους άνθρακα κατά τη διάρκεια της εκπαίδευσής του. Συνολικά, η ενέργεια που απαιτείται για την εκπαίδευση του GPT-3 θα μπορούσε να τροφοδοτήσει το σπίτι ενός μέσου Αμερικανού για εκατοντάδες χρόνια.

«Ο αγώνας για τα κέντρα δεδομένων για να συμβαδίσουν με όλα είναι αρκετά ξέφρενος», δήλωσε ο Διευθύνων Σύμβουλος της Critical Facilities Efficiency Solution, Kevin Kent.


συνέντευξη


με τον καιρό. «Δεν μπορούν πάντα να κάνουν τις πιο περιβαλλοντικά καλύτερες επιλογές».

Η κλιματική αλλαγή και η επιδείνωση της ξηρασίας θα μπορούσαν να ενισχύσουν τις ανησυχίες σχετικά με τη χρήση νερού από την τεχνητή νοημοσύνη

Ήδη, το Παγκόσμιο Οικονομικό Φόρουμ


υπολογίζει


περίπου 2,2 εκατομμύρια κάτοικοι των ΗΠΑ δεν έχουν νερό και βασικές υδραυλικές εγκαταστάσεις. Άλλα 44 εκατομμύρια ζουν με «ανεπαρκή» συστήματα ύδρευσης. Οι ερευνητές φοβούνται ότι ένας συνδυασμός κλιματικής αλλαγής και αύξησης του πληθυσμού των ΗΠΑ θα κάνει αυτά τα στοιχεία ακόμη χειρότερα μέχρι το τέλος του αιώνα. Μέχρι το 2071, το Στάνφορντ


υπολογίζει


σχεδόν οι μισές από τις 204 λεκάνες απορροής γλυκού νερού της χώρας δεν θα είναι σε θέση να καλύψουν τις μηνιαίες ανάγκες σε νερό. Σύμφωνα με πληροφορίες, πολλές περιοχές θα μπορούσαν να δουν τα αποθέματα νερού τους να μειώνονται κατά το ένα τρίτο τα επόμενα 50 χρόνια.

Η άνοδος της θερμοκρασίας που τροφοδοτείται εν μέρει από την ανθρώπινη δραστηριότητα έχει ως αποτέλεσμα την καταγραφή της από την αμερικανική Δύση

η χειρότερη ξηρασία των τελευταίων 1.000 ετών

που απειλεί επίσης το γλυκό νερό, αν και οι πρόσφατες πλημμυρικές βροχές έχουν βοηθήσει να αποτραπούν ορισμένες τρομερές ανησυχίες. Τα επίπεδα του νερού σε ταμιευτήρες όπως το Lake Mead έχουν υποχωρήσει τόσο πολύ

εκτεθειμένα ανθρώπινα λείψανα δεκαετιών

. Όλα αυτά σημαίνουν ότι οι υψηλές απαιτήσεις νερού της τεχνητής νοημοσύνης πιθανότατα θα γίνουν ένα αυξανόμενο σημείο διαμάχης, ειδικά εάν η τεχνολογία ενσωματωθεί σε ολοένα και περισσότερους τομείς και υπηρεσίες. Οι απαιτήσεις δεδομένων για LLM γίνονται όλο και μεγαλύτερες, πράγμα που σημαίνει ότι οι εταιρείες θα πρέπει να βρουν τρόπους για να αυξήσουν την απόδοση νερού των κέντρων δεδομένων τους.

Οι ερευνητές λένε ότι υπάρχουν μερικοί σχετικά σαφείς τρόποι για να μειωθεί η τιμή του νερού της τεχνητής νοημοσύνης. Για αρχή, έχει σημασία πού και πότε εκπαιδεύονται τα μοντέλα AI. Οι εξωτερικές θερμοκρασίες, για παράδειγμα, μπορούν να επηρεάσουν την ποσότητα νερού που απαιτείται για την ψύξη των κέντρων δεδομένων. Οι εταιρείες τεχνητής νοημοσύνης θα μπορούσαν υποθετικά να εκπαιδεύσουν μοντέλα τα μεσάνυχτα όταν είναι πιο δροσερό ή σε ένα κέντρο δεδομένων με καλύτερη απόδοση νερού για να μειώσουν τη χρήση. Οι χρήστες Chatbot, από την άλλη πλευρά, θα μπορούσαν να επιλέξουν να ασχοληθούν με τις μονάδες κατά τη διάρκεια «ωρών εξοικονόμησης νερού», όπως οι δημοτικές αρχές ενθαρρύνουν τη χρήση πλυντηρίου πιάτων εκτός ωραρίου. Ωστόσο, οποιαδήποτε από αυτές τις αλλαγές από την πλευρά της ζήτησης θα απαιτήσει μεγαλύτερη διαφάνεια από την πλευρά των εταιρειών τεχνολογίας που κατασκευάζουν αυτά τα μοντέλα, κάτι που σύμφωνα με τους ερευνητές είναι ανησυχητικά έλλειψη.

«Συνιστούμε στους προγραμματιστές μοντέλων AI και στους χειριστές των κέντρων δεδομένων να είναι πιο διαφανείς», έγραψαν οι ερευνητές. «Πότε και πού εκπαιδεύονται τα μοντέλα AI; Τι γίνεται με τα μοντέλα τεχνητής νοημοσύνης που έχουν εκπαιδευτεί και/ή αναπτύσσονται σε κέντρα δεδομένων συντοπισμού τρίτων ή σε δημόσια σύννεφα; Τέτοιες πληροφορίες θα έχουν μεγάλη αξία για την ερευνητική κοινότητα και το ευρύ κοινό».

Θέλετε να μάθετε περισσότερα για την τεχνητή νοημοσύνη, τα chatbots και το μέλλον της μηχανικής μάθησης; Δείτε την πλήρη κάλυψή μας για



τεχνητή νοημοσύνη



ή περιηγηθείτε στους οδηγούς μας



Οι καλύτερες δωρεάν γεννήτριες τέχνης AI



και



Όλα όσα γνωρίζουμε για το ChatGPT του OpenAI



.