Simon tuvo una inesperada oportunidad en enero de 1960 cuando Jim Gribble, mánager de los Passions, le pidió que cantara en un disco con los Mystics, otro de sus jóvenes grupos. El cantante del grupo de doo-wop blanco había abandonado a pesar de que los Mystics tenían un éxito en el Top 20 con “Hushabye”.
“Nuestro mánager siempre buscaba ese diamante en bruto”, explica Al Contera, bajista de los Mystics. “Así que un día cualquiera, había docenas de chicos y chicas pasando el rato en su oficina, con la esperanza de que les metieran en un disco. Cuando los Mystics tuvieron que buscar un nuevo cantante, probamos con un millón de tipos. Nadie cantaba como queríamos, y entonces alguien se fijó en el pequeño Jerry, ahí en la esquina”.
Podemos escuchar a Simon de segundo tenor en "All Through The Night" y como cantante solista en el lado B, "(I Begin) To Think Again Of You". El single estuvo a punto de entrar en el Billboard Hot 100 en las primeras semanas de 1960. A pesar de que les gustaba la voz de Simon, los otros miembros de los Mystics pensaban que no encajaba con la filosofía de “chicos duros” del grupo. “Éramos de las calles de Bensonhurst, Brooklyn. Éramos tipos duros, y aquí estaba Jerry, este pequeño empollón de Queens con una guitarra tan grande como él, liderándonos”, cuenta Contera.