Первая публичная городская библиотека в Борисоглебске была открыта в январе 1897 года в доме купца Смирнова на углу улиц Дворянской и Болховитинской (ныне Советской и К. Маркса).
Этот красивый особняк был построен в традициях провинциальной архитектуры русских уездных городов и великолепно сохранился до наших дней.
Одним из инициаторов создания первой публичной библиотеки в городе был отец академика Е.Н. Павловского – Никанор Васильевич Павловский, бывший в ту пору инспектором народных училищ Борисоглебского уезда.
В 1885 году Борисоглебск, насчитывающий более 20 тысяч жителей, не имел публичной библиотеки.
Общественность города обратилась к тамбовскому губернатору с просьбой об открытии библиотеки. Разрешение от него было получено 3 октября 1896 года.
В августе 1896 года состоялось общее собрание горожан, желающих стать читателями. Были избраны комитет и должностные лица, отвечающие за создание библиотеки и ее работу в дальнейшем. Перед комитетом стояла очень нелегкая задача: как почти без всяких средств приступить к организации библиотеки? Откуда взять деньги для арендной платы за помещение, для покупки книг, столов, стульев, шкафов? А расходы на отопление, освещение, содержание библиотекаря, сторожа? Ясно, что читатель должен платить за пользование библиотекой. В городе появились расклеенные объявления, в которых говорилось: «…Комитет, приступая к организации библиотеки почти без всяких средств, надеется, что общество придет на помощь ему своими пожертвованиями».
Библиотека открылась на средства, которые состояли из членских взносов, пожертвований деньгами и книгами. Так открывались почти все публичные библиотеки в России. 200 рублей единовременного пособия комитет получил от городской Думы на условиях, что учителя приходских и земского училищ будут пользоваться библиотекой бесплатно. 100 рублей выделило правление банка. Было дано два спектакля и один концерт, сбор от которых передали будущей библиотеке.
Было послано множество писем в редакции, учреждения с просьбой, если возможно, бесплатно высылать книги, журналы, газеты. Некоторые соглашались высылать литературу не за полную стоимость, а со скидкой. Были и такие, как известный прогрессивный издатель К.Т. Солдатенков, подаривший библиотеке 77 томов книг. Борисоглебцы тоже жертвовали деньги и книги. Материальную поддержку библиотеке оказали Борисоглебское уездное земство, общество взаимного кредита, Воронежский коммерческий банк, московские книжные магазины. Помогли также влиятельные петербуржцы – оберкамергер царского двора Д. Нарышкин, протоиерей Иоанн Кронштадтский, представители купечества (Е.Д. Мягков, П.О. Волостных), городской интеллигенции (Т.И.Жевандрова, Н.Н. Масловский, Н.П. Успенский), состоятельные горожане, среди которых был князь С.М. Волконский (внук декабриста С.Г. Волконского).
После революции 1917 года библиотека стала общедоступна: плата за посещение библиотеки была отменена.
Осенью 1989 года библиотека переехала в новое здание по улице Павловского, 87, где располагается и в настоящее время. А в этом здании теперь расположена детская городская библиотека.