Nació en Dniepropetrovsk Rusia. Estudió composición en el Conservatorio Tchaikovsky de Moscú con Edison Denisov y Nikolai Sidelnikov. Su obra de posgrado, el Concierto para violonchelo (1980) fue seleccionado por el prominente director de orquesta ruso Gennady Rozhdestvensky para una serie de programas de conciertos, titulada "From the History of Russian Music". Desde entonces las obras de Tarnopolsky se realizan regularmente en Rusia y en el extranjero por reconocidos músicos.
Ha escrito piezas bajo la dirección de algunas de las principales orquestas del mundo, entre ellas la Symphonieorchester des Bayerischen Rundfunks, Ensemble Modern, Ensemble Inter Contemporain, Musikfabrik, Schönberg Ensemble, Conjunto de Solistas del Teatro Bolshoi, Klangforum Wien y otros.
Sus obras escénicas se estrenaron en la Bienal de Münchener, Beethovenfest Bonn, Barbican Hall de Londres, Rencontres Musicales d'Evian, Festival de Danza Contemporánea de los Países Bajos, Festival de Bergen y otros. Fue uno de los iniciadores de ACM, la Asociación de Música Contemporánea de Moscú (1989).
En 1993 fundó el Centro de Música Contemporánea del Conservatorio de Moscú, el primero de su tipo en Rusia, y el Studio for New Music Ensemble. En 1994 fundó el Foro de Moscú, un festival internacional anual de música contemporánea, cuyo enfoque principal es la integración de la música contemporánea rusa con la música contemporánea de Europa Occidental.
Desde 1992 ha sido profesor de composición en el Conservatorio Tchaikovsky de Moscú, allí fundó un nuevo Departamento de Música Contemporánea en 2003.
Ha realizado numerosos seminarios de composición en Rusia, Austria, Francia, Alemania, Gran Bretaña, Italia, Holanda, Polonia, Suecia, Suiza y otros países, entre ellos universidades como Harvard, Oxford, Cambridge y otros.
Las composiciones musicales de Tarnopolsky han sido galardonadas con numerosos premios como el Premio Dmitri Shostakovich (Rusia) y el Premio Paul Hindemith (Alemania). Tarnopolsky es miembro de la Saxon Academy of Arts.