El actor nació en Cabra (Dublín)en 1940, durante la II Guerra Mundial, pero pronto se mudó a Londres junto a su familia, ya que su padre, que era ingeniero, decidió buscar trabajo en la capital de Inglaterra para ayudar a reconstruir la ciudad. Estudió en en los centros St Aloysius Boys y el Crayford Secondary School, antes de conseguir una beca como aprendiz de ingeniero para seguir los pasos de su progenitor.
Más adelante se graduó en la Royal Academy of Dramatic Art y se incorporó a la compañía Unity Theatre. Ya con 24 años escribió una carta al director del Gate Theatre de Dublín Micheál MacLiammóir, acompañada de un currículum completamente inventado, pero que le valió para que le contratara. En 1962 debutó en la obra Otelo, con la que marchó de gira por Europa, dando por inaugurada su prolífica carrera sobre las tablas.
Su prueba para participar en la función Richard III de William Shakeaspeare llamó la atención del director Laurence Olivier, que en ese momento estaba reclutando a intérpretes para su nueva compañía en el Royal National Theatre de Londres. En ella formó parte de producciones siendo Hamlet la más popular y premiada, entonces protagonizada por Peter O'Toole. Después de tres años, el propio Olivier animó a Gambon a que ganara más experiencia y en 1967 se unió al Birmingham Repertory Theatre, en el que que comenzó a copar papeles protagonistas en títulos como Otelo, Macbeth y Coriolanus.
La obra que le catapultó fue The Norman Conquest de Alan Ayckbourn en 1974, tras la que regresó al Royal National Theatre. Allí se convirtió en uno de los actores más solicitados por el dramaturgo Harold Pinter. Algunos de sus trabajos más destacados fueron Life of Galileo (1980) y A view from the bridge (1988), por la que cosechó los premios más importantes de teatro, incluidos el Olivier y el de la Crítica de Londres. Su debut en Broadway le llegó en 1996 con Skylight, por la que fue nominado al Tony.
Más adelante llegaron otras funciones como The Caretaker, Enrique IV, Eh Joe, No Man's Land, The Habit of Art y All That Fall. El actor anunció su retirada de los escenarios en febrero de 2015, tras revelar en una entrevista que padecía un problema de pérdida de memoria que le impedía memorizar los guiones. También declaró que hacía tiempo que solo aceptaba papeles cortos y actuaba siempre con un auricular para que pudieran recordarle sus líneas en caso de necesitarlo.
Su debut en la gran pantalla ocurrió en 1965, en la película Otelo, dirigida por Laurence Olivier y no tardó demasiado en empezar a copar papeles de villano. Uno de sus primeros personajes más destacados fue la serie medieval The Borderers, en la que participó entre 1968 y 1970. En la década de los ochenta trabajó en otras ficciones como Oscar y El detective cantante, en la que su mimetización con un fracasado escritor de novela negra le valió para alzarse con un premio BAFTA. También fue elegido como protagonista del controvertido largometraje El cocinero, el ladón, su mujer y su amante, de Peter Greenway, junto a Helen Mirren y Richard Bohringer.
Durante los noventa formó parte del elenco de filmes como Toys (1992) de Barry Levinson, Mary Reilly (1996), El jugador (1997) y The Insider (1999); a los que siguieron otros como Sleepy Hollow (1999), Gosford Park (2001), Sky Captain y el mundo del mañana (2004), El buen pastor (2006), El discurso del rey (2010), Quartet (2012), Mujercitas (2017) y Judy (2019), que fue su última cinta.
Su incursión en el universo mágico de Hogwarts fue en 2004, en Harry Potter y el prisionero de Azkaban. Posteriormente encarnó a Dumbledore en los cinco siguientes títulos de la saga: Harry Potter y el cáliz de fuego (2005), Harry Potter y la Orden del Fénix (2007), Harry Potter y el misterio del príncipe (2009), Harry Potter y las Reliquias de la Muerte: parte 1 (2010) y Harry Potter y las Reliquias de la Muerte: parte 2 (2011).
En televisión destacan otros títulos como The Storyteller (1990), Maigret (1992-1993), Longitude (2000), Angels in America (2003), Joe's Palace (2008) y Camino a la guerra, en la que interpretó al presidente de Estados Unidos Lyndon B. Johnson y fue nominado tanto al Globo de Oro como al Emmy.