Kütüphanenin vakfiyesinde belirtildiği üzere 1796 tarihinde III. Selim zamanında Dışişleri Bakanlığı yapmış olan Mehmet Raşid Efendi tarafından inşa ettirildiği bilinmektedir. Raşid Efendi binanın inşasının tamamlanmasından sonra 925 cilt el yazması ve 18 cilt de İbrahim Müteferrika basması olmak üzere 943 cilt kıymetli eseri kütüphaneye bağışlamıştır. İnşa edildiği yıllarda vye giriş, cami içerisinden sağlanmıştır. Caminin güneyindeki mahkeme hanı yıkılınca kütüphanenin güney cephesine şimdiki giriş kapısı açılmıştır.
Kütüphane, dikdörtgen ve kare planlı iki mekândan oluşmaktadır. Dikdörtgen bölümün üzeri aynalı tonozla, kare mekânın üzeri ise kubbe ile örtülmüştür. Kubbe ile örtülü bölüm okuma salonudur.