Rajz János 1907. február 13-án született Budapesten. 

Színészcsaládból származott, szülei és testvérei is színészek voltak. Főiskolai végzettség nélkül, 1924-ben, 17 évesen Debrecenben lépett fel először.  1952-ben szerződött a Nemzeti Színházhoz, ahonnan 1976-ban ment nyugdíjba.

Pályáját táncos-komédiásként kezdte, főleg operettekben szerepelt, de néhány évig artistaként is fellépett. A Nemzeti Színházban kiváló karakterformáló képességét értékelték legnagyobbra. Alacsony termetű, jellegzetes, rekedtes orgánumú színész volt, egyszerű megoldásai, emlékezetes jellemábrázolásai, száraz humora tette felejthetetlenné.

Sok filmben és tv-játékban szerepelt, szinkronizált és a rádió is foglalkoztatta. (Szabó Ernő 1966-ban bekövetkezett elhunyta után - a közkívánatra föltámadt - Szabó bácsi szerepét 15 évre, azaz haláláig, mintegy 750 folytatásban, ő vette át a A Szabó család című rádió-sorozatban).

1976-ban saját alapítványt tett, a Rajz János-alapítványt.