Robben Island har använts som deportationsö sedan 1525. På ön fanns från mitten av 1800-talet till 1931 sjukhus för personer med psykisk sjukdom och spetälska. Åren 1939–59 var ön militär anläggning, och 1961 öppnades där ett fängelse för politiska fångar. År 1991 stängdes fängelset, och 1997 omvandlades det till museum.