Hola!
Yo creo que con la programacion en si no vas a tener problemas.
La construccion de la placa y el diseño del hardware puede ser problematico.
A esas frecuencias ya hay que tener en cuenta el tema del ruido, no podes poner pistas por cualquier lado....Ademas, vas a necesitar "conectar" el micro a las memorias y a otros circuitos auxiliares que a veces tampoco son tan faciles de usar. Las memorias, por ejemplo, seguramente seran DRAM, por lo que deberas "refrescarlas"cada unos pocos milisegundos, etc.
OJO: No intento desanimarte, todo lo contrario. La idea es que sepas a que te vas a enfrentar...

Saludos, y suerte con el proyexto!
Te dejo
un link sobre ASM del 486 y demas "parientes". Fijate que al final tenes links a un monton de sitios interesantes:
* An Introduction to Writing 32-bit Applications Using the x86 Assembly Language
* Novice and Advanced Assembly resources for x86 Platform
* Which Assembler is the Best? - A comparison of x86 assemblers
Manuals
* Intel 64 and IA-32 Software Developer Manuals
* AMD64 Architecture Programmer's Manual Volume 1: Application Programming (PDF)
* AMD64 Architecture Programmer's Manual Volume 2: System Programming (PDF)
* AMD64 Architecture Programmer's Manual Volume 3: General-Purpose and System Instructions (PDF)
* AMD64 Architecture Programmer's Manual Volume 4: 128-Bit Media Instructions (PDF)
* AMD64 Architecture Programmer's Manual Volume 5: 64-Bit Media and x87 Floating-Point Instructions (PDF)