Mest känd är Gustaf Ullman för sina tidiga diktsamlingar, till exempel Västkust (1903) och Caprifol (1905), där han tecknar det halländska kustlandskapet med karg knapphet i Vilhelm Ekelunds anda. Han utgav senare andra diktsamlingar, romaner och noveller, till exempel Präster (1907), där han företrädesvis skildrade schartauanskt fromhetsliv och