Expédiée pièce par pièce de Paris, cet édifice a été monté en 1893 à l'emplacement de l'ancien hôtel du Petit Gouverneur. Elle est le chefd'oeuvre de l'architecte Henry Picq, contemporain de Gustave Eiffel. De style néo-romanobyzantin polychrome, la bibliothèque conserve près de 200 000 ouvrages. Partisan obstiné de l'abolition de l'esclavage, Victor Schoelcher avait offert à la bibliothèque qui porte son nom une collection de 1200 livres sauvée de l'incendie de 1890. L'édifice, considéré comme le plus beau monument de la ville est inscrit à l'inventaire des monuments historiques depuis 1973.