Lo primero que tienes que hacer es descargarte la JDK de java para poder compilar los programas
Lo puedes hacer desde este link:
Java SE Development Kit 6u6..Te da la opción de elegir la plataforma en la que vas a trabajar, en mi caso windows.
Una vez descargado, ejecuta el instalador, y ya tienes el javac en tu máquina.
Luego de esto debes crear una variable de entorno para poder tener accesible en todo momento el compilador java, de la siguiente manera.
Vas a panel de control->sistema->opciones avanzadas->variables de entorno.
En la variable de entorno PATH, agregas (ojo no borres las que tenía escrita, agrégala al final separada por ";")la dirección donde se instaló la jdk.
Por defecto "C:\Archivos de programa\Java\jdk1.6.0_02\bin"
Ya puedes compilar tu "hola mundo" desde la consola de comandos
Otra forma es descargándote un IDE, por ejemplo el NETBEANS
NETBEANS Este programa te permite editar y compilar tus programas en java y ya trae incluido la JDK