El problema puede ser en el arranque del motor.
Éste puede estar consumiendo mucha corriente cuando enciende, provocando caída de tensión importantes. ¿Sabés cuanto consume? Una posible solución, es que le pongas un condensador en paralelo al motor, así cuando enciende, la corriente que necesita, se la suministrará el condensador y no la batería, ni el mosfet.
Recuerda que, un condensador cuando se carga, se comporta como un cortocircuito, así que tendrás que buscar un condensador lo suficientemente grande para ayudar al motor, pero que no tarde mucho en cargarse, así no recalienta al mosfet.