Живописец, рисовальщик, литограф. Баталист, жанрист, портретист. Сын князя Г. И. Гагарина, русского посланника в Риме и Мюнхене. Систематического художественного образования не получил. С 1816 по 1832 жил в Италии, где занимался живописью у К. П. Брюллова. Вернувшись в Петербург, встречался с А. С. Пушкиным и по просьбе поэта исполнил ряд иллюстраций к его произведениям. В 1834–1839 состоял на дипломатической службе в Константинополе и Мюнхене. Зиму 1839–1840 провел в Петербурге, где познакомился с М. Ю. Лермонтовым, с которым продолжал встречаться на Кавказе, куда уехал весной 1840. В 1841 князь Гагарин участвовал в сражениях против горцев в Дагестане, за что был награжден орденом Св. Анны 3-й степени с бантом и чином поручика. Зиму 1841–1842 провел в Петербурге, где написал несколько больших картин. В 1842 снова отправился на Кавказ в свите военного министра А. И. Чернышева. В 1843–1848 жил в основном за границей, где издал альбом «Le Caucase pittoresque» 1847 [«Живописный Кавказ»]. С 1848 по 1855 жил в Тифлисе, где служил при князе М. С. Воронцове, принимал участие в военных действиях. Одновременно изучал старое искусство, построил по своему проекту театр и расписал Сионский собор в Тифлисе. С 1855 жил в Петербурге, где состоял при президенте ИАХ, с 1859 по 1872 – вице-президент ИАХ. Много путешествовал. Состоял членом Русского археологического общества.