C'est grâce à la munificence d’un grand mécène: le financier David de Pury, que les Neuchâtelois purent s'offrir ce bâtiment qui était destiné, à l’origine, à abriter les classes du Collège et du Gymnase jusque-là dispersées, mais aussi la Bibliothèque publique et le Cabinet d’histoire naturelle. Il s’élève à l’emplacement de l’ancien port.
Bâti en pierre jaune, dite pierre d’Hauterive, à l’exception du soubassement en roc, l’édifice est de style néo-classique. Il est dû à Anton Froelicher, un architecte soleurois talentueux établi à Paris. Ses dimensions sont imposantes. D’une longueur de 78 mètres, le bâtiment avec les perrons a une largeur de 32 mètres. Sa hauteur, sans le toit, atteint 18,5 mètres. Il comporte deux étages sans les combles. La façade principale, au nord, tournée vers la ville, est bordée de deux ailes qui lui donnent du relief et qui encadrent à distance l’escalier d’honneur. Plus douce, harmonieuse, la façade sud fait face au lac. Elle est ornée de niches abritant les effigies du prétendu chanoine Hugues de Pierre, du chancelier Georges de Montmollin, du jurisconsulte Emer de Vattel et du théologien Jean-Frédéric Ostervald. Celles-ci, comme les statues, côté nord, incarnant la littérature et la science, sont dues au ciseau du sculpteur Iguel. Les bustes d’Homère et d’Aristote qu’on y voit aussi sont de Fritz Landry.
L’intérieur est tout simplement imposant avec son large escalier à une volée centrale et deux latérales à balustres qui conduit au vestibule à colonnes ioniques du deuxième étage, supportant un plafond à neuf caissons ornés de denticules et d’une rosace. Deux vastes salles se superposent dans la partie méridionale du corps central : une salle, au rez-de-chaussée, dite circulaire – en réalité un hémicycle – et au-dessus de celle-ci la Salle de lecture de la Bibliothèque.