Sus primeros trabajos tuvieron lugar sobre las tablas del circuito de teatro universitario y en Broadway, pero fue en la televisión donde el nombre de este actor, un currante entregado que valía para todo, fue despuntando a medida que que su rostro se dejaba caer en series como ‘Los Intocables’, ‘La hora de Alfred Hitchcock’, ‘Ruta 66’ o ‘La ciudad desnuda’. Debutó en el largometraje con ‘Una mujer atrapada’ (Walter Grauman, 1964), dando vida a uno de los matones que atormentaba a la mujer del título, y logró su primer papel protagonista en la simpática ‘¡Peligro… línea 7000!’ (Howard Hawks, 1965), donde se contaba la historia de tres pilotos de carreras y sus sufridas novias.

Tras participar en ‘El dorado'(1966)de Howard Hawks junto a Robert Mitchum y John Wayne, Francis Ford Coppola, a quien había conocido durante sus años de universidad, lo reclamó para ‘Llueve sobre mi corazón’ (1969). Aquella primera colaboración no le debió suponer un gran esfuerzo, pues daba vida a un jugador de fútbol americano. Tres años más tarde llegaba el papel al que permanecería unido para siempre. Pese a que pasó una prueba para dar vida a Michael Corleone, Coppola terminó decantándose por Al Pacino, y Caan acabó interpretando al hermano mayor, que moría acribillado a balazos en la primera entrega de ‘El padrino’, un papel por el que recibió su única nominación al Oscar a mejor actor de reparto. Contaba en las entrevistas que no había necesitado transformarse en nada ni en nadie porque Sonny «era el tipo de personaje que había visto toda mi vida en mi barrio».

‘Rollerball’ (Norman Jewison, 1975), ‘Funny Lady’ (Herbert Roos, 1975) ‘La última locura’ (Mel Brooks, 1976) o ‘Ladrón’ (1981), película de Michael Mann, uno de los trabajos de los que más orgulloso se sentía o “Misery”(1990) de Rob Reiner junto a Kathy Bates , fueron algunas de las películas en las que participó entre 1973 y 1982. Etapa, por cierto, en la que se lanzó a rodar su ópera prima como director, ‘Por justicia propia’ (1980), una cinta que narraba la historia de un padre en busca de su hija perdida en un programa de protección oficial. No le debió agradar la experiencia porque jamás volvió a ponerse detrás de las cámaras.