Huvudbyggnaden är från 1870-talet, den byggdes om 1902. Slottets nuvarande grundmurar anses vara från 1600-talet.
Torsåker tillföll staten två gånger genom reduktion, dels under Gustav Vasa och dels under Karl XI.
Sedan 2008 ägs slottet av friherre Per Taube och används som privatbostad.
