Gripenbergs slott uppfördes åren 1663-67 med riksmarskalken greve Carl Gustav Wrangel som byggherre. Slottets arkitekt var troligen Nicodemus Tessin d ä. Arkitekturen påminner om Skokloster i Uppland, som liksom Gripenberg uppfördes av Wrangel. Hans mor, Margareta Grip, gav namn åt slottet.
År 1781 köptes slottet av Samuel af Söderling som 1798 lät göra det till fideikommiss och testamenterade det till sitt barnbarn August Söderling Hermelin. Slottet har sedan dess varit i släkten Hermelins ägo.
Gripenbergs slott är ett av landets största och äldsta träslott med en bred huvudlänga och fyra tornbyggnader, en i varje hörn. Ursprungligen var slottet rödfärgat med grå pilastrar och spåntak. Strax före 1780 försågs den rödfärgade huvudbyggnaden med brädpanel som gulmålades. Mycket av slottets fasta inredning från byggnadstiden försvann, när August Söderling Hermelin på 1820-talet lät genomföra en omfattande renovering. Kvar finns dock målningar gjorda av Anders Björn på 1600-talet. I slottet finns ett omfattande gårdsmuseum. Gripenberg har genom de senaste årens restaureringar återfått en del av sin 1600-talsprägel. Till anläggningen hör åtta envåningsflyglar som inrymmer bostäder, magasin och bodar. Tågresenärer som reser sträckan Tranås-Nässjö ser det vackra gula träslottet på vänster sida strax efter Tranås.
På Griftakullen finns en mindre byggnad för urnor och en omkringliggande begravningsplats. I byggnaden förvaras Erics urna och utanför ligger flera släktingar begravda; Honorine 1886, gamle-baron Axel 1898, Birgitta 1932, Joseph 1938, Peter 1940, Jane 1963, Christer 2001 och Birgitta 2015.
Axel ansåg någon gång på 60-talet att Griftakullen var en alltför mörk och dyster plats. Han ordnade därför en gravplats på Säby kyrkogård där flera släktingar är begravda; Axel 1975, Carl 1996 och Borit 2000, Karin 1975, Barbro 1988, Ingeborg 2000, Gunilla 2005 och Arne Uggla 2000 samt Joachim 2002.
Gripenberg har skildrats i många olika sammanhang. Här följer några.
– Olof Hermelin (konstnären) har skrivit en dråplig berättelse om Majorskan Wittings fester på Gripenberg.
– Göteborgsposten – Här tassar Wrangel