Bernstorff Slot blev bygget af Frederik V’s udenrigsminister Johan Hartvig Ernst Bernstorff. Han havde af kongen fået en fasangård med jorde beliggende ved Jægerborg. I 1765 stod Bernstorff Slot færdigt som sommerbolig.
Glæden blev imidlertid kort. I 1770 blev J.H.E. Bernstorff styrtet af J.F. Struensee, og han måtte sammen med sin brorsøn Andreas Peter Bernstorff flygte til Paris, hvor han døde i 1772 (samme år som Struensee blev henrettet.)
A.P. Bernstorff blev kaldt tilbage til Danmark af kronprinsen, den senere Frederik VI, i 1773. Han havde arvet Bernstorff Slot, og han benyttede det hver sommer frem til sin død i 1797. Slottet var i familien Bernstorffs eje frem til 1812.
Derefter fulgte en broget flok af ejere: En justitsråd, en statsminister og en vestindisk plantageejer. I 1820 blev slottet købt af krigsassessor P.H.F. Kalko, der ville sælge det stærkt forfaldne slot til videre nedrivning. Men da rejser der sig i pressen en massiv protest over, at man ville ødelægge et historisk sted.
Kronprins Christian (VIII) meldte sig som køber, men nu forlangte Kalko en urimelig høj pris. Først efter flere års forhandlinger kunne Christian VIII erhverve slottet i 1842.
Christian VIII var kunstkender og interesseret i at sætte slottet i stand. Han gennemførte omfattende reparationer, ombygninger og nybygninger. Når han som konge boede på slottet var der blandt andet behov for plads til indkvartering af livgarden, hvorfor Kavalergården blev bygget.
