Joshua Johnson föddes som slav; modern var slav och fadern en vit man i Baltimore, USA. Han frigavs som nittonåring 1782. Därpå försörjde han sig genom att måla porträtt av den förmögna befolkningen i Maryland och Virginia.