Dans sa jeunesse, Joe installait une petite batterie au pied du lit de ses grands-parents et s'entraînait sur tous les tambours disponibles. Lastie a joué son premier rôle dans une section rythmique accompagnant la chorale de la communauté de Desire. Après des études à New York et au Dryades Street YMCA aux côtés des jeunes Wynton et Branford Marsalis, Lastie retourne à la Nouvelle-Orléans. Il commence à jouer régulièrement avec le groupe du bassiste Richard Payne. Sur un conseil du trompettiste Gregg Stafford, Lastie a été invité à jouer comme remplaçant au Preservation Hall en 1989 ; depuis lors, il est batteur régulier du groupe.
