Nacido como Schmuel Zmurri en 1877 en una familia judia muy pobre, en el Imperio ruso, emigró a los Estados Unidos a los 14 años de edad y se dedicó en Nueva Orleans a comprar los bananos maduros de rechazo y a revenderlos y desde allí su fortuna y su apodo Sam the Banana Man.