Hola jfmateos2:
Estuve viendo tu circuito.
Prueba de cambiar el 74LS32 por un CD4071 y verás que arranca en un estado bajo, como tu quieres, siendo que ambas son el mismo tipo de compuerta.
La diferencia radica en la "construcción interna" de los CI.
A pesar de esto, una vez disparado tu LATCH, te será imposible cambiarle la salida, (volverla a estado bajo), salvo que interrumpas la alimentación al circuito, (te hablo en la práctica) dado que siempre tendrás una entrada de la OR (la conectada a la salida), en estado alto y por más que a la otra la cambies con SW1 .......
Espero haberte sido útil.
Saludos
Mario