Skibstedgaard er kendt helt tilbage i vikingetiden, hvor området omkring Skibsted fjord spillede en betydningsfuld rolle. Arkæologer har fundet fundamentet til en stor bygning eller et borganlæg umiddelbart bag den nuværende hovedbygning.

I 1085 samlede Kong Knud den Hellige en vældig flåde med 1000 danske og 60 norske skibe. Historiske kilder fortæller, at denne flåde samlede sig netop i Skibsted Fjord. Formålet var at tilbageerobre England, men flåden kom aldrig afsted, da kongen blev forsinket på grund af sikring af Danmarks sydgrænse, herunder forhandlinger med den tyske kejser i Slesvig.

Derfor ankom kongen først til Skibsted Fjord om efteråret, hvor de fleste af vikinger allerede var taget hjem for at høste årets afgrøder. Kongen blev rasende, og pålagde flådelederne bod for rømning fra et ledingsbud. Det udløste et oprør, hvor kongen året efter måtte flygte til Odense, hvor han blev dræbt i domkirken. Skal man sætte tid og sted på vikingetidens ophør for så vidt angår erobringstogterne i udlandet, kan stedet derfor være Skibsted Fjord i 1085.

Ejerne af skibstedgaard er kendte siden Jep Christensen Munk af Koustrup i 1495.