New Jersey mellett született. Édesapja id. Clarence LeRoy van Cleef holland származású volt, édesanyja szintén holland Marion Levinia van Fleet és a családban is rendszerint hollandul beszéltek, míg angolul csak később tanult meg. Fiatal korában az amerikai haditengerészetkötelékében harcolt a második világháborúban. Leszerelését követően könyvelő lett, csak ezután lépett színészi pályára.
Korai éveiben színpadi színészként működött. 1948-ban szerepelt először a Roberts úr c. Broadway filmben. 1952-ben már szerepelt westernfilmekben. A műfaj fénykorába robbant be, karakteres arca pedig hamar ikonja lett a westernfilmeknek. A legendás Délidő egyik mellékszereplőjeként egy bűnözőt játszott. Az 1950-es években csak mellékszereplője volt különböző nagy sikerű krimiknek, film noiroknak, sci-fiknek, és westerneknek.
Van Cleef három éven keresztül festőként dolgozott. Ezután Sergio Leone szerződtette dollár-trilógiája második részéhez, a Pár dollárral többért-hez. Leone ezúttal is egy kevéssé ismert újvilági színészt akart kiemelni. Ennek a filmnek is hatalmas volt a nemzetközi sikere, de van Cleef pályája gyökeresen más irányvonalat vett, mint Eastwoodé. Míg Eastwood fiatal színészként hazájában lett népszerű, van Cleef azonban még évekig játszott olasz filmekben, így tucatnyi spagettiwesternben, amelyek között akad pár halhatatlan klasszikus, de ez a siker van Cleef számára inkább teher volt mintsem áldás, mert a műfaj végérvényesen beskatulyázta, amiből soha többé nem tudott kitörni.
Van Cleefnek még jutott egy western-trilógia az óvilági vadnyugati film műfajában, a Sabata. Halála előtt nem sokkal John Carpenter akciófilmjében játszott Kurt Russel-lal a Menekülés New Yorkból egyik főhőseként. Kiemelkedésnek azonban ez már túlságosan kései volt.
Van Cleef halálát szívinfarktus okozta. Los Angelesben, a Forest Lawn temetőben helyezték örök nyugalomra.
(Fotó:GettyImages)