Nach einer Fotografieausbildung kam Ballhaus zum Südwestfunk, wo er seine ersten Arbeiten als Kameraassistent und später als Chef-Kameramann umsetzte. 1968 drehte er mit „Mehrmals täglich“ seinen ersten Kinofilm. 1970 wurde er dann zum „Hauskameramann“ von Regisseur Rainer Werner Fassbinder, mit dem er Zahlreiche Projekte realisierte. Über Independentprojekte wie „Dear Mr. Wonderful“ von Peter Lilenthal wurde man auch in den USA auf Ballhaus aufmerksam.
1985 arbeitete er bei dem Film „Die Zeit nach Mitternacht“ zum ersten Mal mit Regisseur Martin Scorsese zusammen. Es sollte eine enge Zusammenarbeit über mehrere Jahrzehnte werden. 2006 realisierten die beiden ihr letztes gemeinsames Hollywoodprojekt mit „Departed – Unter Feinden“.
Zu den Auszeichnungen für Michael Ballhaus zählen unter anderem das große Bundesverdienstkreuz, mehrere Deutsche Filmpreise, der Europäische Filmpreis und der Goldene Ehrenbär der Berlinale. Darüber hinaus war er für „Nachrichtenfieber – Broadcast News“, „Die fabelhaften Baker Boys“ und „Gangs of New York“ jeweils für den Oscar nominiert. Seine Söhne Florian (Kamera) und Jan Sebastian (Assistent Director) sind ebenfalls in der Filmbranche tätig.