Zamek średniowieczny

Pierwszy zamek z kamienia wapiennego zbudowano na planie owalu na skarpie nad rzeką, kilkanaście metrów od obecnie istniejącego pałacu. Była ta główna siedzibą księcia Wacława w nowo utworzonym w 1445 roku księstwie zatorskim. W budowie lub rozbudowie wcześniej istniejącego zamku pomagali mu finansowo jego bracia. W 1477 roku opisano zamek w związku z podziałem księstwa i przypuszczalnie była to wtedy jeszcze dość skromna budowla. Niewykluczone, że zaobserwowana podczas wykopalisk archeologicznych XV wieczna rozbudowa zamku o nowy podpiwniczony budynek, była związana z adaptacją zamku na siedzibę nowego księcia zatorskiego.

W drugiej połowie XVI wieku zamek leżał w powiecie śląskim województwa krakowskiego. W 1494 roku księstwo zatorskie wraz z zamkiem kupił król Polski Jan Olbracht za 80 tys. złotych węgierskich.

Pałac barokowy

Przypuszczalnie pod koniec XVI wieku lub na początku XVII wieku w odległości kilkunastu metrów od starego zamku kamiennego zbudowano pałac na planie prostokąta, a niefunkcjonalny już stary średniowieczny zamek książęcy rozebrano na materiał budowlany.

W 1778 roku pałac został kupiony przez Duninów i częściowo przebudowany z dobudową drugiego piętra. Kolejni prywatni właściciele pałacu i dóbr zatorskich to: Poniatowscy, Tyszkiewiczowie, Wąsowiczowie, Potoccy.

Pałac neogotycki

W 1836 roku na zlecenie Anny z Tyszkiewiczów Potockiej Wąsowiczowej pałac przebudowano według projektu Franciszka Marii Lanciego, nadając mu formę rezydencji w stylu romantycznego neogotyku.

W roku 1945 został przez władze Polski Ludowej bezprawnie odebrany prawowitym właścicielom. Od 1946 roku był siedzibą Instytutu Zootechniki, ostatnio Rybackiego Zakładu Doświadczalnego. W latach 1964–1973 gruntownie odrestaurowany. Na parterze bogato zdobione sale: myśliwska, złota, paprociowa, bluszczowa. Po procesie spadkowym na początku 2013 roku zamek został odzyskany przez ród Potockich.

Budynek wpisany jest do rejestru zabytków województwa małopolskiego pod numerami: 371 z 17 maja 1947  r., A-397 z 2 grudnia 1972 r. i A-300/78 z 20 kwietnia 1978 .