W XVII wieku na miejscu obecnego pałacu mieścił się drewniany dwór Radziwiłłów. W latach ok. 1680–1705 dla prymasa Michała Radziejowskiego wzniesiono murowany pałac, najprawdopodobniej według projektu Tylmana z Gameren. W 1712 teren został własnością hetmana wielkiego koronnego Adama Sieniawskiego. Zajął się on przebudową pałacu i oficyn (nastąpiła w latach 1713–1721). Stworzył oficyny frontowe, dziedziniec gospodarczy i reprezentacyjny, założył ogród. Po jego śmierci w 1726, posiadłość odziedziczyła jego córka Zofia (będąca żoną Augusta Czartoryskiego). W 1732 małżeństwo Czartoryskich sprzedało pałac bankierowi Piotrowi de Riacour.

W 1733 budynek kupiła rodzina Czapskich. Rozpoczęli kolejną przebudowę wnętrza pałacu jak i jego otoczenia. W latach 1752–1756 nadano mu późnobarokowy wystrój. Bramę główną udekorowano kamiennymi orłami. Czapski zmarł w 1784. Budynek odziedziczyła jego córka Konstancja, żona marszałka Sejmu Stanisława Małachowskiego. Od tego czasu w pałacu odbywały się narady, projekty Konstytucji i ustaw, wystawne obiady. W 1790 architekt Jan Chrystian Kamsetzer wybudował dwie oficyny w stylu klasycystycznym; przebudował także bramę.

Od 1809, po śmierci Stanisława Małachowskiego, pałac stał się własnością rodziny Krasińskich. Stał się jednym z ośrodków życia kulturalnego Warszawy. Odbywały się w nim spotkania literackie pisarzy i poetów organizowane przez Wincentego Krasińskiego, ojca Zygmunta Krasińskiego. Rodzina ta zgromadziła w pałacu zbiory biblioteczne – Bibliotekę Ordynacji Krasińskich.

W latach 1909–1945 właścicielem pałacu był hrabia Edward Bernard Raczyński. W okresie 1905 i 1910–1911 w pałacu mieścił się m.in. konsulat Stanów Zjednoczonych, po I wojnie światowej Francuska Misja Wojskowa (1924).

Korpus główny pałacu został spalony podczas obrony Warszawy we wrześniu 1939. Całkowitemu zniszczeniu uległy wtedy wnętrza pałacowe. Budynki od ulicy zostały wypalone w 1944. Po wojnie zniszczenia budynku oszacowano na ok. 70%.

Pałac odbudowano w latach 1948–1959 według projektu Stanisława Brukalskiego. Starano się przywrócić wygląd, jaki miał w XVIII w.

Obecnie, od lat powojennych, pałac i sąsiadujące mu budynki zajmuje Akademia Sztuk Pięknych. W 1962 Ministerstwo Gospodarki Komunalnej odebrało Raczyńskiemu prawo własności i zezwoliło na użytkowanie pałacu przez ASP. Budynki mieszczą katedrę historii i teorii sztuki, rektorat, bibliotekę oraz wydziały malarstwa i grafiki.

W 1950 w rogu pałacowego dziedzińca, od strony ul. Traugutta, ustawiono pomnik Bartolomeo Colleoniego, będącego kopią monumentu w Wenecji.

Na drugim piętrze lewej oficyny pałacu w latach 1960–2014 mieścił się Salonik Chopinów, oddział Muzeum Fryderyka Chopina[5]. Był to odtworzony fragment mieszkania, do którego w czerwcu 1827 wprowadziła się rodzina Chopinów. Fryderyk Chopin mieszkał tutaj do 2 listopada 1830, co upamiętnia odsłonięta 100 lat później tablica na fasadzie[6]. Na ścianie od strony ul. Traugutta znajduje się tablica upamiętniająca Zygmunta Krasińskiego.