Bien, vamos por partes.
Ganancia crítica:Tienes razón, en teoría la ganancia crítica se mide sin escalón.
También hay que entender que la ganancia crítica no es importante medirla con total exactitud. Al final la ganancia que se va a poner en el regulador es aproximadamente la mitad de la ganancia crítica y un error del 10% no afecta mucho al resultado final.
La ganancia crítica hace que el sistema oscile todo el tiempo sin amortiguación, pero lo deseable es que el sistema se amortigue en uno o dos ciclos como mucho, por lo que la ganancia final estará muy lejos de la ganancia crítica. En concreto la ganancia crítica será el doble que la que pongamos. Esto se llama margen de ganancia y es el margen o cantidad de ganancia que tenemos que añadir al sistema para que se vuelva inestable. Cuanto mayor sea el margen de ganancia, más robusto será el regulador. Pero tampoco es conveniente dejar mucho margen porque entonces el sistema será demasiado lento.
Conclusión, con el ruido que genera la señal escalón es más difícil ver con exactitud la ganancia crítica, pero no imposible. En las últimas gráficas que has puesto, por ejemplo, se ve entre escalón y escalón como la señal senoidal va poco a poco amortiguándose. Todavía no tiene la ganancia crítica, pero está muy cerca.
Si quieres puedes eliminar el escalón para ver la ganancia crítica, pero lo mejor de todo es poner escalones de baja frecuencia (5Hz en este caso) para ir viendo si te acercas a la ganancia crítica (cuanto menos se amortigue el escalón más te acercas) y que el escalón no te estorbe para comprobar si se mantiene la oscilación.
Comprobar el funcionamiento del reguladorUna vez que has calculado la ganancia crítica y has ajustado el regulador, la salida no oscila como bien dices. Esto hace que no se pueda ver el desempeño del sistema y que no se pueda ajustar a mano.
Aquí es donde entra otra vez el escalón. Con el escalón puedes ver cómo responde el sistema. Si está suficientemente amortiguado o si el regulador amortigua demasiado. Lo ideal es que se produzca una oscilación y nada más, como aparece en la gráfica que puse antes (un pulso positivo, otro negativo y luego la salida ya entra dentro del rango de error admisible):

Esto significa que es rápido, pero no demasiado rápido. Está bien ajustado.
Un saludo.