Hvidkilde omtales som hovedgård i 1374. Grundstammen i anlægget er en renæssanceborg på et kvadratisk voldsted. Det nuværende, stilrene barokanlæg er resultatet af en ombygning i 1742. Ombygningen tilskrives arkitekt Philip de Lange. Alle godsets øvrige bygninger, der er tilknyttet såvel godsets jord- som skovbrug, er præget af omhu for arkitekturen, og den samlede bygningsmasse fremstår vel vedligeholdt og fastholder skiftende perioders arkitektoniske kontekst. Et bemærkelsesværdigt eksempel på dansk herregårdskultur.