Asıl adı Roman Kacew olan yazar, Vilna'da (şimdiki Litvanya'nın başkenti Vilnüs), Yahudi bir ailenin çocuğu olarak dünyaya geldi. Ailesiyle önce Varşova'ya (Polonya) göç ettiler. Babası Arieh-Leib Kacew, 1925 yılında ailesini terk etti ve yeniden evlendi. Bu tarihten itibaren Gary, annesi Nina Owczinski tarafından yetiştirildi. 1928 yılında, Gary 14 yaşındayken, annesiyle Nice'de bir banliyöye taşındılar. Daha sonra kitaplarında ve söyleşilerinde, babasının kökeni, ailesi ve çocukluğuyla ilgili her seferinde değişkenlik gösteren bilgiler verdi.
II. Dünya Savaşında, Birleşik Krallık'ın yanında Almanya'ya karşı savaşmak için Fransa'ya yerleştiğinde, adını Romain Gary olarak değiştirdi. Önce Aix-en-Provence, ardından Paris'te hukuk okudu. Fransız Hava Kuvvetlerinde (Bourges yakınlarındaki Salon-de-Provence ve Avord Air Base'te) uçak kullanmayı öğrendi. II. Dünya Savaşı sırasında Fransa'nın Nazilerce işgali sonrasında, İngiltere'ye uçtu ve Özgür Fransız Kuvvetleri bünyesinde Avrupa ve Kuzey Afrika'da hizmet verdi. Pilot olarak, 65 saatten uzun süre uçarak, 25'in üzerinde başarılı saldırıda yer aldı. Savaşta gösterdiği kahramanlık nedeniyle kendisine çok sayıda onur nişanı ve madalya verildi.
Savaştan sonra, Fransız diplomatik servisi için çalıştı ve 1945'te, ilk romanını yayımladı. İlerleyen yıllarda, kimilerini Émile Ajar takma adıyla yazacağı 30'un üzerinde roman, öykü ve anı kitabıyla, Fransa'nın en üretken ve popüler yazarlarından biri olacaktı. Ayrıca, Fosco Sinibaldi ve Shatan Bogat takma adlarıyla da birer roman yayımladı.
Birleşmiş Milletlerin 1952'de New York'taki, 1955'te ise Londra'daki Fransız Delegasyonu sekreterliğine getirildi. 1956'da Fransa'nın Los Angeles başkonsolosu oldu.
İlk eşi, Britanyalı yazar, gazeteci ve Vogue dergisi editörü Lesley Blanch'ti. Bu evlilik, 1944'ten 1961'e dek sürdü.
1962-1970 yıları arasında ünlü ABD'li oyuncu Jean Seberg'le evli kaldı. Çiftin bu evlilikten, Alexandre Diego adında bir oğulları oldu. Seberg'le ayrılığı nedeniyle sarsılan Gary'nin 1980 yılındaki intiharında, Seberg'in 1979 yılındaki şüpheli ölümünden sonra girdiği bunalımın büyük etkisi olduğuna inanılır. Yazar, 2 Aralık 1980'de Paris'te, kendisini tabancayla vurarak intihar etti. Emile Ajar'ın kendisinin takma adı olduğunu da açıkladığı intihar mektubunun son iki cümlesi çok ses getirdi: "Çok eğlendim, teşekkür ederim. Hoşçakalın."
Kaynak