Elementer der skal opfører sig forskelligt med jquery

Hej

jeg har nogle kasser på min side der skal opfører sig forskelligt. Lad os bare sig de skal skifte baggrundsfarve radom hver gang siden loades. Det vil sige at Kasse 1 kan blive gul, Kasse 2 kan blive grøn...osv.

Hvordan gør jeg det? Indtil videre har jeg dette, men det gør alle kasserne den samme farve.

HTML:
<div class="box">Box 1</div>
<div class="box">Box 2</div>
<div class="box">Box 3</div>
<div class="box">Box 4</div>

Script:
$( "div.box" ).each(function(){
            var randomnum = Math.floor(Math.random()* 2);
            if(randomnum != '1') {
                    $("div.box").css("background", "red");
            }
            else {
                    $("div.box").css("border", "blue");
            }     
      });

Jeg er total nybegynder til det her, så jeg har brug for lidt grundig vejledning.

Håber nogle kan hjælpe :-)