El puerto serial está diseñado para "control" y no para "potencia". Un relevador de 12V mínimo te demandará 50mA, y el puerto no entrega tal corriente, necesitas una etapa de potencia para lograrlo.
El puerto serial entrega trenes de pulsos que van desde los +3V a +30V en positivo, y de -3V a -30V (esto varía de puerto a puerto), si pusieras una etapa de potencia de todas formas tendrías que modificar el tren de pulsos para que fuera una señal constante y fijara el relevador, si no, estaría haciendo muchos clicks intentando cerrarse y abrirse.
Mejor inténtalo con el puerto paralelo.