Στις αρχές του 2ου αι. μ.Χ., ή λίγο νωρίτερα, το νοτιοανατολικό τμήμα της Αρχαίας Αγοράς άλλαξε όψη με την ανοικοδόμηση της Βιβλιοθήκης του Πανταίνου καθώς και ενός συγκροτήματος δωματίων και στοών πέριξ αυτής. Η βιβλιοθήκη βρίσκεται ανατολικά της οδού των Παναθηναίων, στα νότια της Στοάς του Αττάλου, και σύμφωνα με την αναθηματική επιγραφή που βρέθηκε εντοιχισμένη στο Υστερορρωμαϊκό τείχος, τη βιβλιοθήκη αφιέρωσε ο Τίτος Φλάβιος Πάνταινος και τα παιδιά του στην Αθηνά Πολιάδα, στον αυτοκράτορα Τραϊανό και στον λαό των Αθηνών μεταξύ του 98 και του 102 μ.Χ.
Το κτήριο σήμερα σώζεται αποσπασματικά και καλύπτεται εν μέρει από το Υστερορρωμαϊκό τείχος. Η κάτοψη του είναι ιδιαίτερη καθώς το αρχιτεκτονικό του σχέδιο προσαρμόστηκε στον ακανόνιστο ελεύθερο χώρο που υπήρχε ανάμεσα στην Παναθηναϊκή οδό και τη Στοά του Αττάλου. Το κεντρικό τμήμα του οικοδομήματος διαμορφώνεται από δυο δωμάτια, εκ των οποίων το ένα είναι αίθριο. Το μεγάλο δωμάτιο, στα ανατολικά του αιθρίου είχε τοίχους και δάπεδο επενδεδυμένα με μαρμάρινες πλάκες. Περιμετρικά των δωματίων διαμορφώνονταν τρεις στοές με ιωνικές κιονοστοιχίες και δωμάτια στο πίσω μέρος που λειτουργούσαν κατά κύριο λόγο ως καταστήματα ή εργαστήρια. Η δυτική στοά χτίστηκε κατά μήκος της οδού των Παναθηναίων, η μικρή βόρεια στοά ήταν απέναντι από το νότιο άκρο της Στοάς του Αττάλου και η μεγάλη ανατολική στοά ήταν παράλληλη με την οδό που συνέδεε την Αρχαία Αγορά με τη Ρωμαϊκή Αγορά που χτίστηκε στα τέλη του 1ου αι. π.Χ. από τις δωρεές του Ιουλίου Καίσαρα και του Αυγούστου. Τη μνημειακή διαμόρφωση του δρόμου που οδηγούσε στην εμπορική αγορά με την ανέγερση της ανατολικής στοάς και την πλακόστρωση του δρόμου είχε αναλάβει ο Δήμος.
Από την αναθηματική επιγραφή που καταλάμβανε το υπέρθυρο του κεντρικού δωματίου μαθαίνουμε επίσης ότι ο Πάνταινος, που αυτοπροσδιορίζεται ως ιερέας των φιλοσοφικών μουσών, δωρίζει τη βιβλιοθήκη με όλα της τα βιβλία και τον εξοπλισμό, όπως και το περιστύλιο με τις εξωτερικές στοές. Από μια δεύτερη επιγραφή μαθαίνουμε τους κανονισμούς της βιβλιοθήκης, όπως ότι κανένα βιβλίο δεν επιτρέπεται να βγει από εκεί, καθώς και το ωράριο λειτουργίας της.
Η Βιβλιοθήκη του Πανταίνου φαίνεται πως ήταν ένα πολυλειτουργικό κτήριο και πολλοί μελετητές υποστηρίζουν ότι είχε αξιοποιηθεί ως έδρα κάποιας φιλοσοφικής σχολής της πόλης. Επιπλέον, υπάρχουν ενδείξεις ότι ένα δωμάτιο ήταν χώρος λατρείας αφιερωμένος στον αυτοκράτορα Τραϊανό. Σε κάθε περίπτωση, το μνημειακό αυτό οικοδόμημα σχετίζεται με τον ρόλο της Αθήνας ως πολιτιστικό και εκπαιδευτικό κέντρο της Ρωμαϊκής Αυτοκρατορίας.
Με την επιδρομή των Ερούλων το κτήριο υπέστη καταστροφές, ειδικότερα η βόρεια και η δυτική στοά. Τα επόμενα χρόνια ένα τμήμα του ενσωματώθηκε στο Υστερορρωμαϊκό τείχος και πολλά αρχιτεκτονικά του μέλη όπως επιστύλια, τμήματα κιόνων, κιονόκρανα, γείσα αποσπάστηκαν για να αναχρησιμοποιηθούν στις παρειές και στο γέμισμα του τείχους.
