Ubuntu server - internet hastighed sløves for clienter efter tid til 0.4mbit

Hej,
Jeg har en ubuntu server kørende som også fungerer som router her hjemme.
Der er installeret firestarter der sørger for at iptables er sat som den skal og jeg har isc-dhcp-server kørende der smider ip adresser ud til resten af husets maskiner.
(ud over serveren har jeg to routere som IKKE sender ip adresser ud. De videre sender blot signalet fra serveren til clienten)

Når computeren genstartes kører alt som det skal og alt er perfekt. når jeg laver en hastighedstest fra en af de andre maskiner så får jeg fint hastigheden 20/20.  MEN, ( ja der er altid en men), efter et stykke tid er det som at det hele går i stå. Hastigheden på LAN bliver nærmest ikke eksisterende. Hvis jeg laver en speedtest fra en client får jeg hastigheden 0.4/0.4 hvilket jo langt fra er 20/20.
Hvis speedtesten udfører direkte fra serveren, så får jeg fint 20/20.

Her er hvad jeg har prøvet:
Geninstalleret isc-dhcp serveren.
Smidt firestarter ud og selv programmeret iptables
skiftet det netværkskort der håndtere LAN.
Afinstalleret apparmor
Skiftet DNS til Google dns.

Serveren har brokket sig lidt: Can't create new lease file: Permission denied  <- men det er løst. Det siger den ikke mere.

Jeg ved simpelthen ikke hvad jeg skal gøre/prøve nu.
Nogen bud på fejlen??

Her er lidt ekstra info:
ddns-update-style interim;
ignore client-updates;
authoritative;
subnet 192.168.0.0 netmask 255.255.255.0 {
    option routers 192.168.0.1;
    option subnet-mask 255.255.255.0;
    option domain-name-servers 89.184.128.250;
    option ip-forwarding off;
    range dynamic-bootp 192.168.0.2 192.168.0.254;
    default-lease-time 21600;
    max-lease-time 43200;
}

Subnet stemmer overens med hvad jeg har konfigurert eth3(lan) til at være

her er hvad /var/log/messages |grep dhcp er fyldt op med:

Apr  2 19:31:55 Server kernel: [ 7678.184817] Inbound IN=eth3 OUT= MAC=ff:ff:ff:ff:ff:ff:74:f0:6d:7a:d1:72:08:00 SRC=192.168.0.200 DST=192.168.0.255 LEN=172 TOS=0x00 PREC=0x00 TTL=64 ID=0 DF PROTO=UDP SPT=17500 DPT=17500 LEN=152

Bør der ikke stå noget ved OUT= ?

her er hvad /var/log/syslog |grep dhcp siger:
Apr  2 19:16:04 Server dhcpd: Wrote 7 leases to leases file.
Apr  2 19:16:18 Server dhcpd: DHCPREQUEST for 192.168.0.200 from 74:f0:6d:7a:d1:72 (peter-laptop) via eth3
Apr  2 19:16:18 Server dhcpd: DHCPACK on 192.168.0.200 to 74:f0:6d:7a:d1:72 (peter-laptop) via eth3