Он был организован в здании бывшего Дворянского Собрания 21 марта 1936 года.
Здание, расположенное в доме номер 1 по улице Карла Маркса строилось в 1847-1854 годах по типовому проекту. До революции 1917 года здесь находилось Дворянское Собрание.
С 1936 года в здании был организован Дворец пионеров. Многие калужане старшего возраста по-прежнему знают его под этим названием. А в 1991 году Дворец пионеров переименовали в Калужский областной дворец творчества юных имени Ю.А. Гагарина. Сейчас учреждение вновь сменило название, и теперь здесь находится Областной центр дополнительного образования детей имени Ю.А. Гагарина, в котором занимаются около полутора тысяч учеников.