Στην ειδυλλιακή εκτεταμένη περιοχή της Ακαδημίας, στα προάστια της πόλης, κοντά στον Κηφισό που προσέφερε άφθονη φυσική βλάστηση με τα νερά του, υπήρχαν πολλοί ναοί και βωμοί αφιερωμένοι στους θεούς, καθώς και ένα ιερό άλσος αφιερωμένο στη θεά Αθηνά. Τον 6ο αι. π.Χ., πιθανόν επί Πεισιστράτου, ιδρύθηκε εκεί το Γυμνάσιο της Ακαδημίας, ένα εκπαιδευτικό κέντρο που προοριζόταν για τη σωματική αγωγή, τη στρατιωτική άσκηση και την πνευματική καλλιέργεια των νέων. Το Γυμνάσιο της Ακαδημίας, όπως και αυτό του Λυκείου και του Κυνοσάργους, ήταν αρχικά υπαίθριοι χώροι. Κατά την κλασική περίοδο άρχισαν να ιδρύονται κτηριακές εγκαταστάσεις όπως γυμνάσια, παλαίστρες και λουτρά. Το Γυμνάσιο της Ακαδημίας, τον 5ο αι. π.Χ., επί Κίμωνα, δέχτηκε βελτιώσεις, καθώς δεντροφυτεύτηκε και υδροδοτήθηκε από τον Κηφισό. Θεωρείται πως εκείνη την εποχή ο χώρος του Γυμνασίου, που ως τότε απευθυνόταν στην αριστοκρατική τάξη, μετατράπηκε σε κέντρο δημόσιου χαρακτήρα, ανοικτό σε όλους. Τον 4ο αι. π.Χ. αποτέλεσε την έδρα της φιλοσοφικής σχολής που ίδρυσε ο Πλάτωνας, το πρώτο ίδρυμα επιστήμης και φιλοσοφίας στον κόσμο.
Η περιοχή της Ακαδημίας στο μεγαλύτερο μέρος της βρίσκεται κάτω από τον σύγχρονο πολεοδομικό ιστό. Ωστόσο, οι ανασκαφές που διενεργήθηκαν από τις πρώτες δεκαετίες του 20ού αι. αποκάλυψαν κατάλοιπα οικοδομημάτων που σχετίζονται με τη λειτουργία του Γυμνασίου. Στα βόρεια της εκκλησίας του Αγίου Τρύφωνα, στο νότιο τμήμα του σημερινού κηρυγμένου αρχαιολογικού χώρου της Ακαδημίας, οι ανασκαφές έφεραν στο φως ένα μεγάλο κτηριακό συγκρότημα. Το οικοδόμημα δεν έχει αποκαλυφθεί στο σύνολό του, όμως οι ερευνητές το ταυτίζουν συνήθως με την Παλαίστρα του Γυμνασίου, ενώ νεότερες έρευνες θεωρούν ότι πρόκειται για βιβλιοθήκη, και συγκεκριμένα για την Εξέδρα ή Μουσείο του Πλάτωνα.
Το κεντρικό κτήριο αποτελείται από μια ορθογώνια κεντρική αυλή διαστάσεων 23,4 επί 44,4 μ., η οποία περιβάλλεται από στοές. Στο κέντρο της βόρειας πλευράς του υπάρχει μια μεγάλη αίθουσα η οποία έχει στις τρεις πλευρές της εξωτερικά ένα δεύτερο τοίχο που διαμορφώνει έναν διάδρομο σε σχήμα Π, πλάτους 1,35 μ. Εκατέρωθεν της αίθουσας είναι διατεταγμένα συμμετρικά από τέσσερα δωμάτια με διαφορετικό εμβαδόν. Καθώς για την κατασκευή αυτών των δωματίων χρησιμοποιήθηκαν ογκόλιθοι που χρονολογούνται στην αρχαϊκή περίοδο, θεωρείται βέβαιο ότι στην περιοχή υπήρχε κτίσμα προγενέστερων χρόνων. Στο βόρειο τμήμα της αυλής εντοπίστηκε μια επιμήκης δεξαμενή, και στο κέντρο της υπάρχει χώρος καλυμμένος με ισχυρό κονίαμα που ορίζεται από πήλινες πλάκες. Στα δυτικά του κτηρίου αποκαλύφθηκε λουτρικό συγκρότημα της ρωμαϊκής εποχής και στα ανατολικά τάφοι των ύστερων ελληνιστικών χρόνων.
Το κτήριο ταυτίστηκε αρχικά ως η Παλαίστρα του Γυμνασίου καθώς προσεγγίζει την περιγραφή του Βιτρούβιου, αρχιτέκτονα και μηχανικού του 1ου αι. π.Χ., για αυτού του τύπου τα οικοδομήματα. Έτσι, το κεντρικό βόρειο δωμάτιο αναγνωρίστηκε ως το Εφηβείο, μια εξέδρα για τη συγκέντρωση των νέων και τη διδαχή τους, και τα άλλα δωμάτια της βόρειας πλευράς έχει υποτεθεί ότι θα φιλοξενούσαν το Ελαιοθέσιον (αποθήκη για τα έλαια που χρησιμοποιούσαν οι αθλητές), το Κορυκείον (χώρος που φυλάσσονταν οι κώρυκοι, οι δερμάτινοι σάκοι που χρησιμοποιούνταν για εξάσκηση στην πυγμαχία) και το Κονιστήριον (χώρος για τη χρήση της σκόνης ή της άμμου που κολλούσαν οι αθλητές στα λαδωμένα σώματα τους).
Νεότερες έρευνες, όμως, επανεξετάζοντας προσεκτικά τα δεδομένα, θεωρούν ότι το κτήριο δεν διαθέτει όλους τους απαραίτητους χώρους μιας Παλαίστρας (όπως αίθουσες γύρω από την αυλή και λουτρώνες μέσα στο κτήριο), ειδικά μετά την ανακάλυψη της Παλαίστρας του Λυκείου και τη σύγκρισή της με αυτήν της Ακαδημίας. Επιπλέον, το δάπεδο από υδραυλικό κονίαμα στην αυλή σχετίζεται με δεξαμενή, και δεν θα ήταν κατάλληλο για την προπόνηση των αθλητών. Βάσει της αναθεώρησης της λειτουργίας του κτηρίου, προτείνεται από ερευνητές η ταύτισή του με την Εξέδρα ή το Μουσείο του Πλάτωνα. Το κεντρικό βόρειο δωμάτιο στέγαζε τη βιβλιοθήκη της Σχολής και ο διάδρομος που υπήρχε στις τρεις πλευρές βοηθούσε στον εξαερισμό ώστε τα βιβλία που βρίσκονταν στα ράφια (βιβλιοστάσια) του δωματίου να μην κινδυνεύουν από την υγρασία. Στις άλλες αίθουσες αποθηκεύονταν ενδεχομένως άλλα, λιγότερο σημαντικά συγγράμματα με τα βιβλιοστάσια τους τοποθετημένα στη μέση του χώρου, και κατά μήκος των στοών θα υπήρχαν τραπέζια που χρησίμευαν για μελέτη, όπως φανερώνουν οι τετράγωνες βάσεις που βρέθηκαν εκεί τοποθετημένες ανά τακτά διαστήματα.
Η άποψη ότι πρόκειται για την Εξέδρα ή το Μουσείο του Πλάτωνα υποστηρίζεται και από την επαναχρονολόγηση του κτηρίου. Παρότι το οικοδόμημα είχε χρονολογηθεί στους ρωμαϊκούς χρόνους, οι κατασκευαστικές του λεπτομέρειες και η χωροθέτηση των ελληνιστικών τάφων στα ανατολικά του συνηγορούν στη χρονολόγηση του κτηρίου στις αρχές του 4ου αιώνα π.Χ. Φαίνεται, λοιπόν, ότι το κτήριο αρχικά δεν προοριζόταν για αθλητικές δραστηριότητες, αλλά χτίστηκε για να φιλοξενήσει την πλούσια βιβλιοθήκη του μεγάλου φιλοσόφου. Θεωρείται ότι ο Πλάτωνας είχε στην κατοχή του σπάνια συγγράμματα φιλοσοφίας, μαθηματικών, ποίησης, αστρονομίας, ιατρικής κ.ά., τα οποία είτε κληρονόμησε από την εύπορη οικογένειά του είτε τα αγόρασε ο ίδιος διαθέτοντας μεγάλα ποσά. Με τη συστηματική συλλογή συγγραμμάτων για την υποστήριξη της διδασκαλίας του, ο Πλάτωνας εδραίωσε την ανάγκη χρήσης της βιβλιοθήκης στην επιστημονική έρευνα και συγγραφή. Παρόμοιο δρόμο ακολούθησε και ο μαθητής του Αριστοτέλης, όταν δημιούργησε μια σπουδαία βιβλιοθήκη για τη δική του Σχολή στο Λύκειο.
