Opsætning af router

Hej.

Jeg har et lille problem, jeg har fået ny IP adresse af min internet udbyder (Telelet) i dag, altså en fast ip. Jeg har så prøvet hele dagen og få det nettet til at virke, og har så fundet ud af det kun virker, hvis jeg sætter mit internet stik direkte fra væggen og ind i min computer, uden om min router. Men jeg vil gerne have sat 2 computere til, så har fået af vide af Telelet jeg skulle skrive den nye ip adresse ind på routeren.

Der kommer mit problem så, hvordan gør man det? De yder åbenbart ikke support på en router.