Gårdens historia börjar redan på mitten av 1400-talet. Den första kände ägaren till gården var Jöns Arp. I mitten på 1500-talet blev gården en sätesgård, detta genom en förläning av Gustav Vasa. 1642 lät arvingarna till Gunilla Rosenstråle nybygga en sätesgård på en sluttning vid sjön Bjälken. De lät då uppföra den norra och södra flygeln. 1682 är generalmajoren och landshövdingen, baron Carl Gyllenpistol ägare till gården och de karakteristiska fyra fyrkanterna byggdes av honom. Under hans tid inträffade reduktionen då gårdar indrogs av kronan. Men i ett viktigt hänseende kom reduktionen inte att drabba säterierna. Det var nämligen möjligt för adeln att byta hemman mot hemman. Det säger sig självt att adeln som regel önskade behålla sina säterier mot att avstå från mindre värdefulla hemman. Skalltorp med Boda kvarn reducerades från friherre Gyllenpistol år 1684. Gyllenpistol bytte omedelbart sin sätesgård mot en annan av kronan inköpt sätesgård. Från 1725 ägdes gården av Carl Gyllenpistols arvinge, översten och baronen Adolf Gyllenpistol.

Redan 1700 följde Adolf Gyllenpistol Karl XII ut i kriget som page. Efter slaget vid Poltava, där han var med bland den lilla skara som betäckte kung Karls övergång över Djnerpfloden, blev han tillfångatagen och förd till Sibirien. Där satt han 13 år i fångenskap. Under denna tid tillverkade han med sin pennkniv en spira. Den är gjord av ett mörkbrunt ryskt träslag. I ena änden sitter en örn, på vilken man till och med ser fjädrarna, i den andra änden finns en knuten hand. Spiran omges av flera ringar skurna i samma trästycke som spiran. Denna spira förvaras fortfarande på Skalltorp. Även Adolf Gyllenpistols harnesk finns på gården. I början på 1720- talet återkommer han till sin fädernegård. Under alla de 13 år hans systrar väntade på att han skulle komma tillbaka från Ryssland sägs det enligt sägen att de varje dag gick fram och åter till en bäck c:a 1,5 km från Skalltorp för att där invänta hans återkomst. Denna bäck har därefter fått namnet tålamodsbäcken. 1766 försåldes Skalltorp till friherrinna Uggla som även ägde Stora Djulö. I slutet på 1700-talet överfördes Skalltorp på brukspatron Carl Gustav Indebetou vid Forsa bruk. Denne överlät sedan egendomen på sin dotter och måg, fänrik Carl Magnus Drake. Under hela 1800-talet ägdes gården av ätten Drake. men såldes 1913 till Victor Carlheim-Gyllensköld, hans maka var född Drake. Från 1937 till 1992 har gården skötts och ägts av Carl Carlheim-Gyllensköld. Gården ägs idag av hans dotter Birgitta Carlheim-Gyllensköld samt hennes söner Erik, Oscar och Axel Dieden.
Gården var som störst i mitten på 1800-talet då arealen uppgick till 407 ha mot idag 203,5 ha.

Gårdens namn

Enligt en äldre uppfattning skulle gården ha fått sitt namn efter dess användning som skallstuga (jakthus). Senare forskare har emellertid funnit att gården fått sitt namn efter någon person. I detta fall alltså namnet skall eller skalle.

Hela denna gård som fortfarande finns bevarad i ursprungligt skick är ett unikt minne från gångna tider. Och eftersom man fortfarande i urkunden från denna tid i detalj kan studera historien om gårdens ursprung och utveckling under många århundraden, är detta dokument ur kulturhistorisk synpunkt betydelsefullt. Det finns idag endast ett fåtal liknande gårdar kvar.