Estvadgaard kendes fra midten af 1400-tallet. Den nuværende hovedbygning, en lang enetages fløj, er opført 1815-34, d.v.s. i den mere kriseprægede del af 1800-tallet, tiden efter napolenonskrigene, statsbankerot, faldende landbrugspriser. Blandt kendte slægter af ejere kan nævnes Gyldenstierne, hvor O. P. Gyldenstierne 1492 omtales som lensmand på Skivehus, rigsmarsk (fra 1596) Peder Munk, Johan Rantzau fra 1621. I 1600-tallet opgives godsets jordtilligende til 100 tdr. htk., bøndergods på o. 286 tdr. htk.

I begyndelsen af 1700-tallet var Estvadgaard økonomisk hårdt presset. 1726 blev godset overtaget af justitsråd Johan Severin Benzon, som iflg. historiske undersøgelser foretaget af Jeppe Aakjær var en usædvanligt brutal og ondsindet karakter (Af min Hjemstavns Saga, 1919). Domfældt for bondemishandling og for tilhørende urimeligheder døde Benzon i 1741, hvor enken så på sit dødsleje i 1745 testamentarisk oprettede Stiftelsen Estvadgaards Kloster - et par hundrede år efter reformationen i Danmark.

Gården og godset blev i 1802 solgt ved en auktion. I midten af 1800-tallet blev Estvadgaard købt af lensgreve F. M. Knuth til Knuthenborg (udenrigsminister i martsministeriet i 1848). I løbet af 18-1900-tallet blev en del solgt fra, bl.a. Estvadgaard Plantage (1350 tdr. l.) og drives i dag som almindelig landbrugsbedrift.