Публичная библиотека в Ростове-на-Дону, ставшая первой в городе, открылась 7 января 1886 года года. Фонд новой библиотеки насчитывал 3000 книг, которые городская управа приобрела у частной библиотеки за 5000 рублей. Вплоть до 1994 года Ростовская публичная библиотека фактически не имела своего собственного здания, как и другие библиотеки Ростова-на-Дону, и размещалась в различных частных купеческих домах на Большой садовой улице.

В течение своей истории прошла много трансформаций. В самом начале она называлась Ростовской публичной библиотекой, далее — Ростовская государственная публичная библиотека им. К. Маркса, книгохранилище им. К. Маркса, Донская публичная библиотека им. К. Маркса, Северо-Кавказская государственная библиотека им. К. Маркса, Азово-Черноморская краевая библиотека, Ростовская государственная научная библиотека им. К. Маркса, Ростовская областная научная библиотека им. К. Маркса и с 1992 года— Донская государственная публичная библиотека.

В 1974 году началось возведение нового здания библиотеки на улице Пушкинской. Его спроектировал архитектор Я.С.Занис и инженер Б. Н. Сидельковский, однако, строительство затянулось на 20 лет и было окончено только в 1994 году. 

Корпуса здания библиотеки расположены перпендикулярно друг к другу. 16-этажное, (включая подземные этажи), монолитное бетонное книгохранилище практически лишено какого-либо архитектурного декора. Единственным скульптурным акцентом экстерьера является рельеф, обрамляющий верхний угол фасада книгохранилища. Московские художники-монументалисты В.С.Лемпорт и H. A. Силис создали стилизованный набор образов-знаков, включающих в себя изображения «ликов гениев человечества» между книжными страницами. Читальные залы занимают трёхэтажные блоки, выполненные в том же архитектурном стиле. Намеренная сдержанность внешнего облика комплекса зданий библиотеки сочетается с многообразием в интерьере библиотеки. Стены отделаны белым гранитом и мрамором. Залы украшают каскады водопадов и бассейнов. Всё это дополнено обилием зелени и различных скульптурных композиций.