Christian 4. lod den oprindelige hovedbygning opføre 1639-44. Slottet var tiltænkt hans søn med Kirsten Munk, Valdemar Christian, der dog ikke inden sin død nåede at tage ophold på slottet. Den oprindelige renæssancebygning i to etager blev hærget under svenskekrigene, men genopbygget i 1678 ved admiral Niels Juel, der efter slaget ved Køge Bugt erhvervede slottet.

Slotsanlæggets nuværende fremtræden skyldes den slesvig-holstenske arkitekt G.D. Tschierske, som med avlsbygninger og porthuse i 1749-54 skabte en symmetrisk barokkomposition med et strejf af rokokoperiodens lethed. Stamhuset har via et omfattende ejerskab haft afgørende indflydelse på Tåsinges udvikling. Den initiativrige kammerherre Niels Juel satte sig i 1700-tallet et markant spor ved opbygning af industriaktivitet og frugtavl i og omkring Troense.