Los Question Mark & The Mysterians se formaron en 1964 en Saginaw Valley, Detroit. La formación original estaba liderada por el cantante conocido como '?' (Question Mark) de nombre real Rudy Martinez. Le acompañaban el guitarrista Bobby Balderrama (X), el batería Robert Martinez (Y) y el bajista-guitarrista Larry Borjas (Z). Por aquel entonces se hacían llamar ? & XYZ.Unos meses después de su formación el grupo sufrió diversos cambios. Larry Borjas y Robert Martinez dejaron el grupo para incorporarse al ejercito, siendo sus sustitutos el bajista Frank Lugo y el batería Eddie Serrato. El grupo paso a llamarse ? & The Mysterians, nombre debido a una película japonesa de ciencia ficción, "The Mysterians" (Tamoyuki Tanaka, 1957).
El 13 de Marzo 1966 grabaron el que sería su gran éxito "96 Tears" para el sello local, propiedad de su representante Lilly Gonzalez, Pa-Go-Go. Inicialmente la canción se tituló "Too Many Teardrops", siendo renombrada como "69 Tears". El cambio de nombre definitivo fue para evitar una posible censura. El tema se convirtió en éxito a nivel local consiguiendo llamar la atención de Neil Bogart, que les consiguió un contrato con Cameo Parkway. Como cara B grabaron una versión de "Midnight Hour". El disco entro en la lista Billboard como 112, la semana del 27 de Agosto 1966, y llego al primer puesto la semana del 29 de Octubre 1966. Fue la canción nº 5 de 1966 en Billboard.
El éxito del single les llevo a actuar en conocidos shows televisivos como American Bandstand y Where The Action Is. En Noviembre de 1966 publicaron su segundo single que contenía el soulero tema "I Need Somebody" y se complementaba con "8 Teen" como cara B. Este, a pesar de no lograr el éxito de su anterior lanzamiento, llegó a un notable puesto 22 en la BillBoard. En esas fechas publicaron su primer larga duración conteniendo sus singles y nuevos temas. El nombre del disco no se podia llamar de otra forma que no fuera "96 Tears".
En Junio de1967 publicaron el álbum "Action" y los singles "Can’t get enough of you, baby" (número 56), "Girl (You captivate me)" (número 98) y "Do something to me" (número 110).
Después de la grabación del single "Make You Mine" / "I Love You Baby (Like Nobody's Business)", Eddie Serrato y Frank Lugo fueron reemplazados por Jeffrey MacDonald y Lee Shreve respectivamente.
A finales de 1968 el grupo firmó un contrato para Tangerine Records, sello subsidiario de RPM. Grabaron 10 canciones pero la discográfica no las publicó. Una vez que el grupo había abandonado el sello, estos publicaron el single "Ain't It A Shame" / "Turn Around Baby (Don't Ever Look Back)". Bobby Balderrama dejo la formación y se embarco en un nuevo proyecto, Saith, con los que grabó un single para GOLI (GOnzáles Lian).
Los Mysterians grabaron algún single más durante los primeros 70 antes de separarse. ? estuvo se dedicó a trabajar como criador de perros.
Después de una serie de intentos para retomar la banda, en 1997 el interés de una nueva generación de fans permitió una nueva reunión de los Mysterians para dar una serie de conciertos, que incluyó actuaciones en Europa.
En 1997 volvieron a grabar su álbum "96 Tears" ya que los derechos sobre sus canciones pertenecen al productor y manager de los Beatles, Allan Klein. En 1999 publicaron un nuevo disco, "More Action".
