Nació en Buenos Aires, el 31 de mayo de 1950. Es sociólogo, hijo de Jorge Alberto Taiana, médico personal de Juan Domingo Perón y ministro de Educación durante su último gobierno.

En 1971 comenzó su militancia en la Organización Descamisados, espacio en el que desarrolló un trabajo barrial y sindical en el partido de La Matanza. A principios de 1973 esa organización se fusionó con Montoneros, donde continuó con su militancia.

Ocupó su primer cargo público en 1973, en la Jefatura de Gabinete del Ministerio de Educación de la Nación. 

Fue encarcelado el 29 de junio de 1975, durante el gobierno de María Estela Martínez de Perón, acusado de haber participado en un atentado perpetrado por Montoneros. Estuvo preso siete años.

Una vez vuelta la democracia, en 1984 fue coordinador del Centro de Estudios Sociales del Servicio de Paz y Justicia en América Latina (SERPAJ). También trabajó como profesor.

Fue embajador en Guatemala entre 1992 y 1996. Desde 1996 hasta 2001 fue Secretario Ejecutivo de la Comisión Interamericana de Derechos Humanos de la OEA. 

Durante la gobernación de Felipe Solá (2002) fue secretario de Derechos Humanos en la provincia de Buenos Aires.

Con la llegada al poder de Néstor Kirchner en 2003, lo designaron secretario de Relaciones Exteriores.​ Tras la renuncia de Rafael Bielsa, en su lugar Kirchner nombró a Taiana como canciller, desde el 1 de diciembre de 2005 hasta el 18 de junio de 2010 cuando presentó su renuncia, ya bajo la presidencia de Cristina Kirchner.​

Ha sido legislador de la Ciudad Autónoma de Buenos Aires (2013-2015) y se desempeñó como parlamentario del Parlasur (2015-2019) y presidente pro témpore (2016). Asumió el cargo de Senador en el Congreso de la Nación el 27 de noviembre de 2019, en reemplazo de Cristina Fernández de Kirchner quien fue electa Vicepresidenta de la Nación.

El 10 de agosto de 2021 juró como ministro de Defensa en lugar de Agustín Rossi, hasta el 10 de diciembre de 2023.