El IDE, es el editor del fuente, y desde ahí también se lanza la compilación. El IDE nativo de Arduino es malísimo, es poco más que un editor de texto, por eso mucha gente se instala otros IDE alternativos.
El compilador es el GCC, al menos para los Teensy, que son las placas que yo uso bajo Arduino, no se que compilador usan otras placas, en cualquier caso el tiempo de compilación no depende de Arduino.
50 segundos para compilar un programa de ejemplo sencillito, es mucho tiempo, dependerá también del hardware de tu PC. Yo tengo un I7 a 4Ghz (si no recuerdo mal), y no me puedo quejar, cualquier programa me lo compila muy rápido.
A mi lo que más me preocupa son los asistentes para editar el fuente, y en ese aspecto Arduino es pésimo.
