Vid mitten på 1600-talet började de gammaldags tättslutna gårdsmiljöerna med deras oregelbundna byggnadssätt att ersättas av symmetriskt komponerade anläggningar, där ingenting var lämnat åt slumpen, utan varje detalj underkastad symmetrins och regularitetens lagar. Även park och trädgård byggdes in i kompositionen, och det växande tvingades in i samma arkitektoniska tvångströja. På Skalltorp går stilen under namnet ”den karolinska” (Karl den XII:s krigare kallades karoliner och eftersom gården uppfördes av en officer i Karl XII:s armé har gården fått benämningen karolinergård). Hur Skalltorps gård var uppbyggd, innan Börje Rosenstråle uppförde sin sätesgård omkring år 1640, vet man inte. Troligen var Skalltorp intill mitten av 1500-talet närmast som en utgård till Sluckstorp, som låg under Julita kloster. Sätesgård blev Skalltorp 1560 då Matts Nilsson Bäck övertog gården.
Skalltorp är ett välbevarat 1600-talssäteri med sex rödfärgade karolinska flyglar – två rektangulära och fyra kvadratiska. Corps-de-logiets yttre har emellertid förändrats (troligen i slutet av 1700-talet) då det fick brutet tak och reveterade fasader. Numera finns ett 20-tal byggnader på gården. Förutom själva gårdsbebyggelsen finns tvättstuga, gårdsdass, förvaltarbostad, hönshus samt ett flertal ekonomibyggnader.
Mangårdsbyggnaden
Corps-de-logiet började byggas ut i slutet av 1600-talet, men fullbordades inte förrän mot slutet av 1700-talet, eftersom gårdens ägare dog. Huset är uppfört i timmer i en våning med frontspis och högt brutet tak s.k. mansardtak. Det har takfall endast åt långsidorna. Gaveln stiger ända upp till röstet. Troligen reveterades byggnaden omkring år 1800 och fick då en gustaviansk prägel. På 1970-talet fick corps-de-logiet träpanel som fasad i samma kulör som den tidigare reveteringen.
Norra flygeln
Den så kallade köksflygeln är äldst och byggd på 1640-talet och mest intressant av byggnaderna vid Skalltorp. Den användes som mangårdsbyggnad ända till dess att den nuvarande huvudbyggnaden fullbordats. Till det yttre står den gamla flygeln kvar i orubbat skick sedan mitten av 1600-talet. Huset är byggt av liggande timmer och med panel över samt rödfärgat. Flyglarna har valmtak, alltså ett mycket högt och brant tak med fall åt alla fyra sidorna. Takformen kallades på 1600-talet ofta ”holländsk” en benämning som antyder att man vid denna tid uppfattade formen som ett lån från den holländska arkitekturen. Ytterdörren är en typisk karoliner dörr. Den består av stående plankor sammanhållna av infällda eller spikade naror. Därefter spikades bräder på utsidan i ett rutmönster. Till en början var herrgårdsköket inrymt i denna flygel. Man bar maten över gårdsplanen till Corps-de-logiet.
Södra flygeln
Den så kallade trädgårdsflygeln är i stort sett lik den norra, men något yngre. Sommaren 1923 upptäcktes tygtapeter i hörnrummet åt nordost. Det var stofftapeter. Varje våd utgör ett mönster för sig, som till mittparti har en bröstbild i profil av en romersk eller grekisk krigare eller krigsgud stående på ett postament (sockel) i form av en urna. Tapetens huvudfärg är olivgrön men även brunt finns. Dessa tapeter uppsattes på 1920-talet i mangårdsbyggnadens sal. Det var i den södra flygeln som Adolf Gyllenpistol på 1750-talet inredde ett laboratorium där han på alkemisk väg försökte framställa guld.
Fyrkanterna
De fyra kvadratiska flyglarna bildar hörnpunkter i karolinergården. Taken är toppiga, s.k. pyramidtak och täckta med tegel. De är byggda av liggande timmer med panel över och rödfärgade. Dörrarna är svartmålade. Fyrkanterna var ursprungligen byggda för olika ändamål som bränneri, magasin, stall och visthusbod. Bränneriet användes fram till 1855 då hembränning förbjöds. Det genomgick en genomgripande renovering med nytt tak och restaurerade väggar 2015. Stallet är numera gårdsmuseum och magasinet ombyggt till bostadshus.