Søger hjælp til at gøre server hurtigere, mere ram eller cpu

Jeg har en server der hoster en hjemmeside
serveren køre på en internet forbindelse på 2 megabit.
serveren er på 2.4gb cpu, og har 512mb ram

problemet er når der kommer sådan en 1500 folk væltende næsten på samme tid, så bliver det svært at få kontakt til serveren,
man kunne så tro at det skyldes manglende opload, men kigger jeg i joblisten / netværk, så ligger oploaden kun og svinger imellen en halv til en megabit.
sikkert fordi alle mine filer er meget meget små, de fylder næsten ingen ting.
kigger jeg i serveren i connections, så kan jeg se der kommer mange forespørsler, og at serveren er for længe om at spytte dem ud, sewlv om det altså ikke er upload max der er nået.
så serveren må køre for langsomt.
men kigger jeg i joblisten / ydeevne, så bruger serveren kun omkring 20% af CPU
når ikke den bruger mere CPU, vil det så hjælpe noget over hovedet med en større CPU ?
og hvordan med RAM, vil det hjælpe med mere ?
og hvilket at de to er vigtigst ?

Jeg håber på / regner med at til september så kan jeg få en af de nye VDSL2 linier som tele danmark snart introdusere,
men 50 megabit upload,
men det hjælper jo ikke meget hvis problemet ligger i at serveren ikke køre hurtigt nok til at kunne håndtere antallet af file upload.