Zespół został założony w sierpniu 1999 roku w Ostrówku pod Warszawą przez gitarzystę Radka Łukasiewicza i śpiewającego basistę Janka Piętkę. Pierwszego składu dopełniali klawiszowiec Łukasz Nowak, perkusista Grzegorz Śluz oraz Milena Łukasiewicz, grająca na instrumentach perkusyjnych. Jako, że próby formacji odbywały się w komórce zwanej kolokwialnie „pustkami”, muzycy postanowili nazwać swój zespół - Pustki.
Zaczynali od prostego alternatywnego rocka, który zaprezentowali na debiutanckiej płycie Studio Pustki w 2001 roku. Na albumie zaprezentował się już nieco inny skład, ponieważ na instrumentach klawiszowych Łukasza Nowaka zastąpił Daniel Pigoński. Album zebrał wiele pozytywnych recenzji w muzycznej prasie, a promująca go piosenka patyczak zyskała status alternatywnego przeboju.
Niedługo po wydaniu debiutanckiej płyty, w 2002 roku, doszło do kolejnych zmian w składzie. Zespół opuścili Milena Łukasiewicz oraz Daniel Pigoński (który założył później takie formacje jak Elektrolot czy Polpo Motel), a nowym nabytkiem grupy został basista Filip Zawada. Janek Piętka, dotychczasowy basista, przejął natomiast funkcję klawiszowca. W tym zestawieniu personalnym nastąpił okres grania rozbudowanych, improwizowanych i w dużej mierze instrumentalnych kompozycji (występy m.in. na Festiwalu Wujek).