Kiedy w 1602 roku właścicielem Czemiernik został ówczesny Biskup Płocki, a późniejszy Prymas Polski Henryk Firlej, postanowił uczynić to miejsce stolicą, centrum swych włości. Jako wzorowy biskup najpierw kazał wybudować nowy, okazały, murowany kościół, a zaraz po nim ufortyfikowany dwór, pałac, siedzibę swoich włości. Zbudowano go we wschodniej części miasta, za dużymi stawami, do których prowadziła grobla. Pałac w stylu renesansowym przyjął formę włoskiego „palazzo in fortezza” i miał pełnić funkcje zarówno reprezentacyjne, jak i obronne.
Trzykondygnacyjny budynek zwieńczony attyką, w której zapewne były strzelnice, zlokalizowany został w pobliżu jednego ze stawów i oddzielony od reszty założenia fosą. Całość otoczono fortyfikacjami bastionowymi, połączonymi murami z cegły. Przy bastionie południowym zbudowano bramę wjazdową, z której przez groblę między dwoma stawami dotrzeć można było do miasta. Wewnątrz czworobocznego założenia obronnego znajdowały się różnorakie budynki gospodarcze, magazyny, a także duży ogród, uznawany za jeden z piękniejszych w Rzeczypospolitej.