В юношестве он хотел стать актером, но по совету отца выбрал более «серьезное» образование, поступив на арабское отделение Московского института востоковедения. Там он отучился всего год и в 1954-м стал студентом режиссерского факультет ВГИКа, где мастером его курса был Михаил Ромм. В 1960-м начинающий кинематографист защитил диплом короткометражной лентой «Каток и скрипка», которая была отмечена первой премией на Международном кинофестивале студенческих фильмов в Нью-Йорке.
С 1961 года Тарковский начал работать режиссером на «Мосфильме». Его полнометражным дебютом стало «Иваново детство» по мотивам рассказа Владимира Богомолова «Иван». Трагическая история о попавшем на фронт подростке произвела сенсацию в мировом кино: работа была удостоена «Золотого Льва» на Венецианском фестивале. В 1966-м постановщик завершил работу над картиной «Андрей Рублев», первоначально носившей название «Страсти по Андрею». Через два года она вышла в ограниченный прокат и в урезанном виде. В 1969 году французская фирма, получившая права на зарубежный прокат, с успехом показала «Андрея Рублева» во внеконкурсной программе на Каннском фестивале, где картина получила премию ФИПРЕССИ. Авторскую версию зрители увидели только в 1988 году.
Затем Тарковский начал работать сразу над двумя сценариями: «Солярис» и «Исповедь». Первый, основанный на одноименном романе Станислава Лема, писался Тарковским вместе со сценаристом Фридрихом Горенштейном. Картина принесла режиссеру спецприз жюри в Каннах. «Исповедь» была полностью автобиографическим проектом и создавалась постановщиком в одиночку. Рабочее название в итоге было заменено на «Зеркало». В этот период Тарковский также писал сценарии, читал лекции по режиссуре, поставил спектакль «Гамлет» в Ленкоме.
В 1980 году вышел «Сталкер» по повести братьев Стругацких «Пикник на обочине» — последний фильм, снятый Тарковским в Советском Союзе. В 1982 году режиссер уехал в Италию, где во время поиска натуры для своей новой работы снял документальную ленту «Время путешествия». В 1983 году он поставил оперу «Борис Годунов» в лондонском Ковент-Гардене. Годом позднее, не получив от советских официальных органов разрешения на продление пребывания за границей, Тарковский заявил, что остается на Западе. Там он снял фильм «Ностальгия», который рассказывает о русском поэте, умершем в Италии от тоски по Родине, и свою последнюю киноленту «Жертвоприношение». 29 декабря 1986 года Андрей Тарковский скончался от рака легких и был похоронен на Русском кладбище Сен-Женевьев-де-Буа в Париже.