Film 1970 yılında bir huzurevi koğuşunda başlar. Konuşmalarından antropolog olduğu tahmin edilen bir adam, 121 yaşında olduğunu söyleyen çok yaşlı bir huzurevi sakiniyle söyleşi yapmaktadır. Sigarasından derin bir nefes çeken yaşlı adam açık olan makara teybe inanılmaz hayat öyküsünü anlatmaya başlar: Adı Jack Crabb (Dustin Hoffman) olan bu adam 111 yıl önce 10 yaşındayken ailesiyle birlikte Vahşi Batı düzlüklerinde Pawnee kızılderilerinin saldırısına uğrarlar. Kervandan tek sağ kalanlar ablası ve kendisidir. Daha sonra atıyla gelen bir başka kızılderili (sonradan adının "Gözüken Gölge" olduğunu öğrenecektir) onları kamplarına götürür. Bu kamp iyi kızılderiler olan Cheyenne'lere aittir. Kabilenin şefi "Yaşlı Çadır Derisi" (Chief Dan George) onu evlat edinir. Bu arada kızkardeşi çoktan kamptan kaçmıştır. Kızılderililerin arasında tıpkı onlar gibi yetişen Crabb hayatından çok memnundur. Yaşıtı "Genç Ayı" nın hayatını kurtarınca büyükbaba dediği kabile şefi ona "Küçük Dev Adam" adını takar.

Jack Crabb (Dustin Hoffman) is 121 years old. And he's done it all: he's been a full-fledged Cheyenne, an Indian fighter, a snake oil merchant, master gunman, drinking buddy of wild Bill Hickok, colleague of Buffalo Bill, and is the only survivor of Custer's Last Stand. Crabb is either the Old West's most neglected hero or the biggest liar ever to cross the Mississippi. Little Big Man is Jack Crabb's story.