Som poet debuterade Orrje med Tjuvstart (1975) och har sedan publicerat en rad diktsamlingar med vardagsnära motiv, t.ex. Grus (1989), Då skuggan vilar (1999), Smekningar längs bergväggen (2005) och Avstamp i det blå (2008). Dagar vid muren (2012) är en lovsång till vardagens Stockholm.