Cromwell s-a nascut in Los Angeles, California si a crescut in Manhattan, New York.
A invatat la The Hill School, Middlebury College, si la Carnegie Institute of Technology, unde a studiat ingineria. Ca si parintii sai, s-a simtit atras de teatru, jucand in diferite piese. Prima sa aparitie TV a fost in 1974, intr-un episod din The Rockford Files, unde a jucat rolul lui Terry. Cateva saptamani mai tarziu, a obtinut un rol in All in the Familly.
In 1975 a primit primul sau rol principal in televiziune, in seria How I Baltimore, si un an mai tarziu a debutat in film, jucand rolul unui detectiv in Murder by Death. In 1980, Cromwell a jucat in doua episoade din serialul longeviv Little House on the Prairie.
In timp ce si-a continuat cariera in televiziune tot restul anilor 80, a avut cateva roluri si in lumea filmului, ca rolul din filmul Tank, un ajutor de serif corupt, si prima sa aparitie ca Mr. Skolnick, tatal personajului principal Lewis din comedia Revenge of the Nerds, rol pe care l-a mai interpretat de inca trei ori, de-a lungul carierei sale, in continuarile filmului. Rolurile notabile ale lui Cromwell, din anii 90 sunt: rolul fermierului Arthur, din Babe (1995), rol pentru care a primit o nominalizare la Oscar, si rolul capitanului Dudley Liam Smith , din filmul L.A. Confidential (1997), un rol de altfel reusit care l-a propulsat in lumea filmului.
Cromwell, a avut parte de succes in televiziune cu filmul RKO 281, unde portretiza un magnat William Randolph Hearst (a primit prima sa nominalizare Emmy in anul 2000 cu acest rol). Urma sa fie recunoscut de Premiile Emmy, pentru realizarile sale si in anul viitor, pentru aparitia din serialul E.R. Cromwell, a jucat sin ultimele trei sezoane din serialul Six Fett Under, unde il juca pe George Sibley, sotul lui Ruth Fisher, geolog de profesie (rol ce i-a adus a treia nominalizare la Premiile Emmy).
Ulterior a jucat alaturi de Helen Mirren, care interpreta rolul Reginei Elizabeth II, in filmul The Queen (2006), unde l-a jucat pe Printul Phillip, Duce de Edinburgh. In 2007, Cromwell s-a alaturat distributiei din Spiderman 3, ca seful politiei din New York. Cromwell a acceptat rolul celui de-al 41-lea presendinte George Herbert Walker Bush in "W.", lansat in octombrie 2008.
Intr-un interviu, Cromwell a povestit ca Oliver Stone, initial a oferit rolul lui Warren Beatty sau lui Harrison Ford. Intr-un interviu din octombrie 2008, a atacat puternic Partidul Republican si administratia lui George W. Bush, declarand ca aceasta goana dupa imperiul american, "ne va distruge pe noi sau intrega planeta".
La sfarsitul anilor 60, era un membru al "The Committee to Defend The Panthers", un grup organizat ce-i apara pe cei 13 membrii ai Black Panther Party, care au fost arestati in New York sub acuzatia de conspiratie. Cei treisprezece au fost in cele din urma eliberati. Intr-un interviu acordat in 2004 pentru CNN.com, Cromwell lauda Panterele (The Panthers).
A devenit vegetarian in 1974, dupa ce a vazut un ocol de vite din Texas si astfel a experimentat "mirosul, teroarea si nelinistea". Deseori vorbeste despre cruzimea cu care sunt tratate animalele, in adunarile PETA.