Le trio New Yorkais Elk City est issu de l'implosion des Melting Hopefuls, groupe pop du milieu des années 90 qui obtint une certaine reconnaissance internationale en 1994 lorsque "Pulling Allmighter On Myself" fut "single of the week" dans le NME et le Melody Maker.
La formation actuelle date de l'automne 1997 lors de la rencontre du batteur et producteur Ray Ketchem et de la chanteuse Renee Lobue avec le guitariste et chanteur Peter Langland-Hassan . Débutant en tant que projet expérimental, prônant un retour à l'essentiel avec comme devise "Amusons nous en l'absence de règles".