Efrem Zimbalist Jr. s-a născut la New York într-o familie de artiști. Tatăl său, Efrem Zimbalist Sr. (1889-1985), a fost un violonist de origine rusă, iar mama sa, cântăreața de operă de origine română Alma Gluck (1884-1938).
De la sfârșitul anilor ’50 până la mijlocul anilor ’70, Efrem Zimbalist Jr. a fost unul dintre cei mai importanți actori de televiziune, lansându-se în rolul unui detectiv particular, în serialul "77 Sunset Strip", difuzat între 1958 și 1964 de televiziunea americană ABC, înainte de a primi rolul inspectorului Erskine din serialul "The F.B.I.", transmis la același post tv între 1965 și 1974.
În timpul celor nouă sezoane ale serialului, inspectorul Erskine și agenții săi au rezolvat nenumărate cazuri de crimă, răpiri și jafuri bancare, inspirate din fapte reale, fiecare episod având nevoie în acea perioadă de aprobarea Biroului Federal de Investigații (FBI).
Efrem Zimbalist Jr. a jucat, de asemenea, în aproximativ 20 de lungmetraje, printre care "House of Strangers" (1949), "Îngeri în sclavie/ Band of Angels" (1957), alături de Clark Gable și Sidney Poitier, "Too Much, Too Soon" (1958), alături de Errol Flynn, "The Chapman Report" (1962), împreună cu Jane Fonda, "Harlow" (1965), alături de Carol Linley, "Aeroport 1975/ Airport 1975" (1974), cu Charlton Heston, și "Formidabilul/ Hot Shots!" (1991), împreună cu Charlie Sheen.
În anul 2009, în cadrul unei ceremonii ce a avut loc la Los Angeles, FBI i-a adus un omagiu lui Efrem Zimbalist Jr., pe atunci în vârstă de 90 de ani, acordându-i o insignă de agent FBI onorifică. Insigna i-a fost înmânată chiar de directorul FBI din acea perioadă, Robert Mueller.
A fost căsătorit de două ori și a avut trei copii, printre care și Stephanie Zimbalist, actriță în numeroase seriale și filme de televiziune.
A decedat la data de 2 mai 2014, la vârsta de 95 de ani, la domiciliul său din Solvang, California.
Actorul a fost răsplătit pentru activitatea sa de la televiziune cu steaua de la poziția 7095 situată pe Bulevardul Walk of Fame din Hollywood.
