Основателем парка генерал Михаил Ерофеев. По его инициативе были созданы оркестровая веранда, фонтан, лодочная станция у пруда. Центральный вход в парк располагается со стороны площади Свободы. Рядом установлен памятник Коста Хетагурову, выполненный из бежевого камня. На самой скульптуре высечены строки одного из произведений поэта.
Условно парк отдыха поделен на Верхний и Нижний, и разделены эти части лестницей. Здесь есть беседка в китайском стиле, дом-особняк барона Штейнгеля, братская могила, где захоронены солдаты Советской армии. Зоны отдыха оборудованы скамейками, а недавно открылся каток.
До недавнего времени вход в Парк культуры и отдыха был платным. Такое решение приняли городские власти, чтобы свести к минимуму хулиганские действия со стороны вандалов, ломающих лавочки и срывающих цветы. Сейчас вход вновь свободный.
В прошлом веке на территории парка садовник Кумковский организовал оранжерею. В наши дни от нее сохранилась только одна секция, где растут редкие и ценные породы деревьев и кустарников, многолетние цветы. С западной части находится набережная, откуда открывается неповторимый вид на горные вершины.