En 2001, Jay comenzó a tocar con Alicja Trout y Rich Crook en un proyecto alterno al que llamaron The Lost Sounds. En esta agrupación Reatard dejó a un lado la fuerte influencia del garage para empezar a flirtear con el sonido de los sintetizadores. Poco a poco, este proyecto fue absorbiendo el tiempo y la atención de Jay, realizando cuatro álbumes en cuatro años, hasta que en 2005 la banda se separa amargamente. Para Jay, “The Lost Sounds fue y será lo más divertido que haya hecho jamás”.

Los años pasaron y Jay fue parte de diversas bandas, cómo un músico errante que compartía con viejos conocidos su pasión por los sonidos inspirados en la época dorada del punk, en los clubes grasosos y en el conocido formato de tres acordes – tres minutos que tanto amaba. Estos años inciertos hicieron de Reatard un músico de culto y un referente en el underground norteamericano.