He cogido una vieja placa de fuente que tenia unos problemas similares al regulador LDO, y he realizado los mismos pasos, con lo que he eliminado la oscilación y reducido los picos transitorios, pero tiene una subida muy alta al momento de desconectar la carga:

El esquema es este:

He modificado lo que se ve a lapiz, eliminado D1, añadido RI = 680K, CI = 15pF, CD = 470pF y la resistencia de 1k en el pin 2 del operacional.
Tambien he probado a bajar el valor de R16, R17, R19 y R20 a 12k y 68k pero no mejora ¿Alguna cosa más a probar?
Saludos!!!
PD: La referencia de voltaje VR1 no tiene mucho rizado, no es el caso de un condensador inapropiado como ocurrió en el LDO, aunque probé a poner uno de 4.7uF (segun la nota de ti con ese valor o mayor es estable siempre) sin resultados mejores.