Jones s-a nascut in Arkabutla, Tate County, Mississippi. Mama sa Ruth era profesoara si menajera, iar tatal sau Robert Earl Jones, era actor, boxer, majordom si sofer, acesta si-a parasit familia inainte ca James sa se nasca. Jones si tatal sau s-au impacat multi ani mai tarziu, in anii 80.
Jones a fost crescut de bunicii din partea mamei, fermierii Maggie si John Henry Connoly, si are origini afro-americane, irlandeze, choctaw si cherokee. S-a mutat la bunicii lui la ferma din Jackson, Michigan la varsta de cinci ani, dar adoptia a fost traumatizanta pentru el, dezvoltand o balbaiala severa, refuzand sa vorbeasca raspicat.
Atunci cand s-a mutat in Brethren, Michigan in anii ce urmau un profesor de la scoala din orasa a incercat sa-l ajute sa scape de aceasta balbaiala. A ramas mut inca opt ani pana ce a intrat la liceu. Acorda mult credit profesorului din liceu, Donald Crouch, care a descoperit ca avea un dar pentru poezie. Profesorul era convins ca daca va fi fortat sa vorbeasca in public, va capata incredere in sine, asa ca il punea sa recite cate un poem la fiecare ora.
Jones a studiat la Universitatea din Michigan pentru a deveni doctor. S-a inscris la Reserve Officer Training Corps, unde a execelat. S-a simtit cofortabil in cadrul unei structuri militare si s-a bucurat de compania camarazilor, cadeti la Pershing Rifles Drill Team. Pe parcursul studiilor a descoperit ca nu este facut pentru a fi doctor, in schimb s-a concentrat pe drama, teatru, cu gandul sa faca ceva ce ii face placere inainte de a pleca sa lupte in Razboiul Corean.
Dupa cativa ani de facultate, Jones a plecat fara diploma. In timp ce razboiul se intensifica in Corea, Jones credea ca va fi trimis in razboi cat mai curand. In schimb, s-a dus acasa. In timp ce astepta noi ordine, a gasit o slujba part-time la un teatru, unde jucase mai demult. La sfarsitul verii din 1953, Jones a primit ordine oficiale de la locotenentul secund, si a plecat la Fort Benning, pentru a urma cursurile de la Basic Infantry School.
In timpul petrecut acolo, Jones a urmat Ranger School, absolvind, si primind decoratia Range Tab. Prima sa statie de servici trebuia sa fie la Fort Leornard Wood, Missouri, dar ordinele s-au schimbat, si unitatea sa a fost trimisa, in schimb la Colorado, unde Armata planuise un antrenament pe vreme rece la Camp Hale.
Regimentul sau a fost stabilit ca unitate de antrenament. Jones a primit in cele din urma rangul de Prim Locotenent. Jones si-a inceput cariera de actor la Teatrul Ramsdell, din Michigan. In 1953 era tamplar teatrului. Intre anii 1955-1957 a fost actor si regizor de scena. A interpretat pentru prima data personajul Othello, al lui Shakespeare, in acest teatru, in 1955.
In primul sau rol intr-un film a fost un tanar Locotenent Lothar Zogg, in "Dr. Strangelove or: How I Learned to Stop Worrying and Love the Bomb" in 1964, film ce a fost mai mult cunoscut pentru interpretarea lui Peter Selers si a lui Slim Pickens.
Primul sau rol important a fost intepretarea boxer-ului Jack Jefferson in filmul realizat dupa piesa de teatru de pe Broadway, "The Great White Hope", care se baza pe viata boxer-ului Jack Johnson. Pentru acest rol a fost nominalizat la Oscar, fiind cel de-al doilea actor afro-american nominalizat, primul fiind Sidney Poitier.
A aparut in mai multe roluri de atunci, dar cel mai cunoscut este sinistra voce a lui Darth Vader din filmele "Star Wars". Darth Vader era interpretat in costum de catre David Prowse in film, si Jones dubland dialogul in postproductie. Si-a mai imprumutat vocea: in filmul animat "The Lion King", si in continuarea acestuia "The Lion King II: Simba's Pride"; si pentru citatul CNN, "This Is CNN". Jones a interpretat rolul lui Terence Mann, in filmul "Field of Dreams"; temutul vecin si proprietar al cainelui Hercules in "The Sandlot"; Regele Jaffe Joffer, in "Coming To America"; preotul Sthephen Kumalo, in "Cry, The Beloved Country'; amirarul James Greer, in "The Hunt for Red Octomber", "Patriot Games" si "Clear and Present Danger"; ticalosul Thulsa Doom in "Conan the Barbarian". Jones este de asemenea si un desavarsit actor de teatru, a castigat premiul Tony, in 1969 pentru "The Great White Hope", si in 1987 pentru "Fences", iar interpretarea lui Othello este considerata ca fiind una din cele mai bune din istorie. Jones est casatorit cu Cecilia Hart sin 1982, cu care are un copil, Flynn Earl Jones.
A fost casatorit anterior cu actrita si cantareata Julienne Marie, ei nu au avut nici un copil. Ambele actrite au jucat rolul Desdemona in aceeasi productie in care Jones a jucat rolul lui Othello. Multi cred ca este conservator, datorita faptului ca a sprijinit Razboiul din Golf si cel din Irak, si a pledat pro-arme. Cu toate acestea Jones prefera sa-si tina opiniile politice in secret.