Początki Pałacu sięgają końca XIII wieku, gdy był siedzibą książąt żagańskich. W roku 1299 Konrad II podarował wzniesiony przez brata budynek zakonowi reguły św. Augustyna, a sam rozpoczął budowę nowej siedziby w miejscu dziś istniejącej. Pierwotny kształt Pałac uzyskał w 1495r., kiedy to Jerzy Saksoński kazał odbudować strawioną pożarem budowlę. Już wtedy budowla miała formę czworokąta z wewnętrznym dziedzińcem i wieżą. Gdy w 1628r. cesarz Ferdynand II przekazał Żagań czeskiemu księciu Albrechtowi von Wallenstein, ten postanowił, że w miejscu zamku stanie ogromna manierystyczna rezydencja typu palazzo in fortezza z fosą. Do sporządzenia planów Wallenstein zatrudnił włoskiego architekta Vicenzo Boccaciego, prace budowlane jednak przerwała tragiczna śmierć Wallensteina w lutym 1634r.

W 1791 roku, po zakupie księstwa w 1786 roku przez księcia Kurlandii i Semigalii, Piotra Birona (1786 -1800), rozpoczęto prace zmierzające do adaptacji pomieszczeń pałacu do potrzeb rodziny książęcej. Nadzór nad pracami budowlanymi przekazano szwagrowi księcia Christophowi Johannowi Friedrichowi hrabiemu von Medem. Na początku lat 1790 - tych część pomieszczeń otrzymała klasycystyczny wystrój sztukatorski, częściowo zachowany do chwili obecnej. W skrzydle wschodnim urządzono salę koncertową i teatr, w którym wystawiano sztuki teatralne i opery z udziałem włoskich aktorów i śpiewaków.

Opuszczając stolicę Kurlandii - Mitawę w 1795 roku, książę Piotr Biron zabrał ze sobą kolekcję obrazów, na którą składały się m. in. dzieła Caravaggia, Rembrandta, Canaletta, Brueghela, da Cortony, Watteau, Greuze a, Graffa, Darbćs a, Hackerta i Angeliki Kaufmann. Po osiedleniu się Bironów w Żaganiu zbiór został wzbogacony m. in. o portrety członków rodziny książęcej autorstwa Luigiego Remondiniego, Johanna Heinricha Wilhelma Tischbeina i Josefa Grassiego, który odwiedził żagańską rezydencję po raz pierwszy w 1797 roku.
Okres panowania najmłodszej córki księcia kurlandzkiego i żagańskiego - Piotra Birona, Doroty de Talleyrand - Perigord, księżnej de Dino (1844 - 1862), to czas ponownego rozkwitu miejscowej rezydencji.

Za czasów księżnej Doroty pałac w Żaganiu odwiedzali znamienici przedstawiciele ze świata polityki, nauki i kultury, wśród nich Alexander baron von Humboldt, Ferenz Liszt, książę - regent, późniejszy król pruski Wilhelm I (od 1871 roku cesarz Niemiec) z małżonką, arcybiskup wrocławski Melchior von Diepenbrock, Hermann książę von Puckler - Muskau. Szczególnie często bywał tu Fryderyk Wilhelm IV - przyjaciel księżnej żagańskiej jeszcze z lat dziecinnych, dla którego w południowej części zachodniego skrzydła pałacu, na piętrze, urządzono apartament. W liście z 24 kwietnia 1850 roku pruski monarcha zapewniał księżną Dino: Zawsze jestem gotów z pochyloną głową zgodzić się na wszystkie plany prowadzące do wspaniałego Żagania i pozwalające mi oglądać, co stworzyła Pani pięknego i dobroczynnego [..].

W latach 1920 - tych, za czasów ostatniego księcia żagańskiego, Howarda księcia de Talleyrand-Perigord, księcia de Valencay (1910 - 1929) sprzedano znaczną część pałacowych mebli, natomiast część obrazów przewieziono do francuskiej rezydencji Talleyrandów w Valencay, bądź przekazano w depozyt do muzeów. W 1935 roku władze III Rzeszy skonfiskowały pałac, a Bosona II księcia de Talleyrand - Perigord, księcia de Valencay, który po bezpotomnej, samobójczej śmierci bratanka Howarda bezprawnie przejął tytuł księcia żagańskiego, uznały za wroga państwa i pozbawiły obywatelstwa.

Przed 1939 rokiem na piętrze żagańskiego pałacu mieściło się muzeum wnętrz, natomiast w okresie II wojny światowej w części pałacu zlokalizowano szpital wojskowy. Od 1945 roku budowla służyła jako spichlerz i magazyn dla wywożonych do Związku Radzieckiego zagrabionych Niemcom dóbr. W 1948 roku pałac wraz z parkiem przejęło Starostwo Powiatowe. W1965 roku na terenie obiektu podjęto prace budowlane.

Cztery lata później rozpoczęto adaptację pomieszczeń zachodniego skrzydła dla potrzeb garnizonowego klubu oficerskiego, jednak wojsko zrezygnowało ostatecznie z ich przejęcia, Przełomowy okazał się rok 1972, kiedy to pałac żagański wpisano na listę obiektów o szczególnej wartości. Prace konserwatorskie zakończono w 1983 roku, wówczas powołano także Żagański Pałac Kultury. Piwnice skrzydła zachodniego przeznaczono na siedzibę Zakładu Techniki Obliczeniowej, na parterze ulokowano miejską bibliotekę, natomiast na piętrze - pałac ślubów. W skrzydle wschodnim powstała sala widowiskowa, jednak stworzenie odpowiedniego zaplecza scenicznego pociągnęło za sobą częściowe zniszczenie pierwotnego układu wnętrz. Nie odtworzono również dawnej kaplicy pałacowej w skrzydle wschodnim.