Silfverschiöld ägde Koberg och Gåsevadholms fideikommiss i Västergötland och bodde på Kobergs slott. Han gifte sig 1964 med prinsessan Désirée. Paret fick tre barn: Carl (född 1965), Christina Louise (född 1966) och Hélène (född 1968).