4 Nisan 1932'de Sovyet Sosyalist Cumhuriyetler Birliği'nde doğdu. Sergei Eisenstein'den sonra adı en çok duyulan Sovyet sinemacılardan biri olan Andrei Tarkovsky (Ünlü şair Arseniy Tarkovsky'nin oğlu), VGIK Sovyet Film Okulu'na girmeden önce müzik ve Arapça eğitimi aldı. VGIK'te saygın yönetmen Mikhail Romm'un öğrencisi oldu. Romm öğrencilerini bireysel yeteneklerini geliştirmek yolunda teşvik eden bir entelektüeldi.

Tarkovsky uluslararası sinema arenasında, ilk uzun metrajlı yapımı olan Ivanovo detstvo (İvan'ın Çocukluğu - 1962) ile dikkatleri üzerine çekti ve Venedik Film Festivali'nde büyük ödül kazandı. II. Dünya Savaşı yıllarında on iki yaşında bir casusun hikâyesini anlatan bu ödüllü film, ikinci yapımı için otoritelerde büyük bir beklenti oluşturdu.

İkinci filmi Andrei Rublyov (Andrey Rublev - 1969), 1971'e kadar Sovyet yetkililerce yasaklanmış olarak kaldı. Cannes Film Festivali dahilinde, ödül almaması için kasıtlı olarak festivalin son günü sabah saat 4:00'de gösterilmesine rağmen bir ödül kazanmayı başardı. 1972'de ünlü bilimkurgu yazarı Stanislav Lem'in aynı adlı romanından uyarlanan Solyaris (Solaris), Stanley Kubrick'in 2001: Bir Uzay Destanı'na Sovyetlerin cevabı olarak görüldü ancak Tarkovsky bunu hiçbir zaman kabul etmedi. Solaris gezegeninin yörüngesindeki bir uzay istasyonunda yaşanan doğaüstü olayların ve insanların hayalleri ve vicdan muhasebeleri üzerine derin bir gerilim-bilimkurgu filmi olan Solaris, diğer yapıtlarına göre daha rahat bir şekilde seyirciyle buluştu ancak 1975'te çektiği Zerkalo (Ayna) ile tekrar Resmi Engellere takıldı. Tarkovsky'nin kendi çocukluğundan kalma bazı anıları ile, kırklı yaşların sonundaki bir adamın çocukluğu, annesi ve savaş ile ilgili anılarında Sovyet halkına farklı bir bakış açısı sunan bu film yine pek çok resmi otorite tarafından yasaklanması gereken bir film olarak görüldü.

Bir sonraki film Stalker (İz Sürücü - 1979), ilk versiyonun bir laboratuvar kazası ile yok olmasından sonra, çok düşük bir bütçe ile yeniden çekilmek zorunda kaldı. Tarkovsky sinemasının belirgin özelliklerinden olan ağır ve uzun planların, özenli kompozisyonların, derin anlamlar içeren diyalogların en güzel şekilde kullanıldığı bu filmi takip eden ve resmi makamların izni ile İtalya'da çekilen Nostalghia (Nostalji - 1983) Andrei Tarkovsky'nin sıla özlemini dışa vurduğu ve sürgünde çevirdiği ilk filmidir. Son filmi Offret (Kurban - 1986)'in çekimlerini İsveç'te, Ingmar Bergman'ın ekibi ile tamamladı. Aynı sene Cannes Film Festivali'nde tam dört ödül alarak festivale damgasını vurdu. 28 Aralık 1986 tarihinde, Paris'te akciğer kanseri sebebiyle hayata veda etti.

1990'da "sinema sanatına olağanüstü katkısı, evrensel insani değerleri ve hümanist düşünceleri olumlayan yenilikçi filmleri" nedeniyle Tarkovsky'ye Lenin Ödülü verildi.