Mahershala Ali descoperă comedia la universitate și începe să joace pe scenă pentru California Shakespeare Festival timp de un sezon. După ce își obține diploma în artele dramatice, se orientează înspre televiziune și joacă în primul sezon din serialul Crossing Jordan, unde îl interpretează pe doctorul Trey Sanders. După câteva apariții în The Haunted, 2002, CSI: Crime Scene Investigation, The Handler, joacă în unicul sezon din Threat Matrix. În anul 2004 devine unul din cei The 4400, un rol pe care îl va avea până în 2007. Se orienteză spre marele ecran și obține un rol secundar în filmul lui David Fincher – The Curious Case of Benjamin Button. După ce joacă într-un episod din serialul Lie to me și altul din Law & Order: Special Victims Unit, apare în 2010 în filmul Predators. Din 2012 apare în filme precum – Supremacy, The Hunger Games: Mockingjay – Part 1, The Hunger Games: Mockingjay – Part 2, Kicks, Free State of Jones în 2016 și Moonlight.
Acestui actor i s-a acordat de două ori premiul Oscar la categoria rol secundar masculin, mai întâi, în 2017 pentru prestația sa din Moonlight, și apoi, în 2019 pentru partitura sa din filmul Green Book.