Karsholm är känt sedan 1300-talets början. Den trelängade slottsanläggningen, av sten och tegel i två våningar med två åttkantiga hörntorn, byggdes cirka 1600–27. Exteriörens nuvarande renässansprägel tillkom vid en ombyggnad 1862 efter den danske arkitekten Christian Zwingmanns förslag. Omfattande inre restaureringar ägde rum i början av 1900-talet.