James Oliver Cromwell s-a născut la 27 ianuarie 1940, în Los Angeles, California, fiind fiul regizorului John Cromwell și al actriței Kay Johnson. A crescut în Manhattan, New York, și a studiat la The Hill School, Middlebury College și Carnegie Institute of Technology, unde a urmat cursuri de inginerie și apoi de actorie.
Asemenea părinților săi, Cromwell a fost atras de teatru și și-a început cariera pe scenă, jucând într-o varietate de spectacole, de la Shakespeare la producții experimentale. În 1974 și-a făcut debutul la televiziune, apărând în serialul The Rockford Files, iar câteva săptămâni mai târziu a obținut rolul lui Stretch Cunningham în All in the Family. În 1975 a primit primul său rol principal într-un serial de televiziune, How to Survive in Baltimore, iar în 1976 și-a făcut debutul în cinematografie, în Murder by Death, unde a interpretat un detectiv.
În anii ’80, Cromwell și-a continuat activitatea în televiziune, având în același timp numeroase apariții în filme. În 1980 a jucat în două episoade din serialul Little House on the Prairie. A apărut apoi în Tank, în rolul unui ajutor de șerif corupt, și în comedia Revenge of the Nerds, unde l-a interpretat pentru prima dată pe Mr. Skolnick, tatăl personajului principal, Lewis. A reluat acest rol în cele trei continuări ale filmului.
Anii ’90 i-au adus consacrarea cinematografică. În 1995 a interpretat rolul fermierului Arthur Hoggett în Babe, pentru care a primit o nominalizare la Oscar pentru cel mai bun actor în rol secundar. Un an mai târziu a apărut în Star Trek: First Contact, iar în 1997 a jucat rolul căpitanului Dudley Liam Smith în L.A. Confidential, interpretare care i-a consolidat statutul de actor de prim-plan.
Cromwell a continuat să aibă o prezență importantă și în televiziune. În 1999 l-a interpretat pe magnatul William Randolph Hearst în filmul de televiziune RKO 281, rol pentru care a primit prima nominalizare la premiile Emmy. În anul următor a fost nominalizat din nou pentru interpretarea din serialul ER. Între 2001 și 2005 a făcut parte din distribuția serialului Six Feet Under, în rolul lui George Sibley, soțul personajului Ruth Fisher și geolog de profesie, prestație care i-a adus o nouă nominalizare la Emmy.
În 2006 a jucat alături de Helen Mirren în The Queen, interpretându-l pe prințul Philip, Duce de Edinburgh. În 2007 s-a alăturat distribuției filmului Spider-Man 3, în rolul șefului poliției din New York. În 2008 l-a interpretat pe cel de-al 41-lea președinte al Statelor Unite, George H. W. Bush, în filmul W., regizat de Oliver Stone. Cromwell a povestit ulterior că Stone îi oferise inițial rolul lui Warren Beatty sau Harrison Ford.
În plan personal, Cromwell a fost căsătorit cu Anne Ulvestad între 1976 și 1986, cei doi având trei copii. Între 1986 și 2006 a fost căsătorit cu actrița Julie Cobb. Din 2014 este căsătorit cu actrița Anna Stuart.
Cromwell este cunoscut și pentru implicarea sa civică și pentru activismul în favoarea drepturilor animalelor. La sfârșitul anilor ’60 a făcut parte din Committee to Defend the Panthers, un grup care a susținut membrii Black Panther Party arestați la New York. În 1974 a devenit vegetarian după ce a vizitat un abator de vite din Texas, experiență pe care a descris-o ca fiind profund tulburătoare. De-a lungul anilor, a vorbit frecvent despre cruzimea față de animale și a participat la acțiuni și evenimente organizate de PETA.
