Il étudie au Berklee College of Music, obtient son diplôme en 1988, puis travaille dans le groupe de Lionel Hampton, se produisant dans Five Guys Named Moe à Broadway. Depuis, il a collaboré avec divers artistes, notamment les groupes de Delfeayo Marsalis, Nat Adderley et le Dave Holland Big Band. Gross a enregistré pour la première fois en solo avec Preach Daddy, en 1997, puis dans The Riddle of the Sphinx (2000), en 2013, avec "Blackside"., et plus récemment, Mark Gross with Strings, 2018.
