Centrum Rzeźby Polskiej zajmuje teren dziewiętnastowiecznego majątku dworskiego, którego ostatnimi właścicielami była rodzina Józefa Brandta, wysiedlona w czasie II wojny światowej przez Niemców. W 1945 roku majątek przejął skarb państwa. W 1958 roku uzyskał on status zabytku jako zespół parkowo-pałacowy. W latach 60. XX wieku utworzono tu Ośrodek Pracy Twórczej Rzeźbiarzy, historyczne budynki przeznaczono na pracownie, a w parku pojawiły się pierwsze wystawy. W 1974 roku ośrodkowi pod egidą ZPAP nadano nazwę Centrum Rzeźby Polskiej, zaś w 1981 Centrum stało się instytucją podległą Ministerstwu Kultury i Sztuki. Lata 1981–1986 to okres kompleksowego remontu założenia i adaptacji zabytkowych budynków do funkcji wystawienniczych. Powstało także zaplecze techniczne dla twórców. W 1992 wystawą „Nowoczesna rzeźba polska 1955–1991” zainaugurowano działalność Muzeum Rzeźby Współczesnej, które wraz z galeriami rozlokowanymi w parku prezentuje kilkanaście ekspozycji rocznie. Centrum jest obecnie miejscem spotkań artystów z różnych stron świata, gromadzi dzieła sztuki, realizuje program wystawienniczy i naukowo-badawczy, stanowi zaplecze dla pracy twórczej rzeźbiarzy.