High Latency Løsning

Hej folkens. Jeg bor i en boligforening hvor vi er ca. 20 mennesker fælles om en 20/20 mbit forbindelse. Det køre nogenlunde OK det meste af tiden. Topologien består af en Linksys BEFSR41 router koblet til en HP ProCurve 2650 Switch. Alle i samme VLAN.
Problemet er bare at nogle folk synes at de skal køre torrents en gang i mellem som så forårsager en kæmpe latency (300+ ms) når jeg pinger google. Jeg kan se inde på den grafiske interface til switchen at det bestemt port som downloader torrents ikke benytter sig af mere en 2 mbit men alligevel er det skyld i en kæmpe latency.
Min hypotese er at når man køre torrents, så oprettes der så mange TCP forbindelser at det stresser routeren som så derefter er skyld i den høje latency. For når jeg downloader via http (én tcp forbindelse på over 10 mbit) kan jeg så vedligeholde en normal ping latency. Har jeg så ret i at det er routeren som bliver stresset? For når jeg køre en speedtest på forbindelsen har jeg stadig 17/17 mbit forbindelse som jeg plejer, men latency er bare over 200+. Jeg kan bekræfte at det er problemet da når jeg så deaktivere han/huns port, går latency ned på 50-60 stykker igen.
Er løsningen til dette problem en router med mere horsepower? Hvad er mine muligheder? Hvilket produkt kan anbefales hvis det er det der skal til? Jeg forsøgt mig ad med QoS men det gjorde problemet bare endnu værere (garanteret fordi routeren skal bruge flere cpu-cycles på at lave sin QoS).
Jeg har prøvet at lave port-mirroring for at analysere trafikken og det er helt sikkert torrents, problemet er bare at det er random ports den benytter sig af (de dynamiske), så jeg kan desværre ikke bare blokere for nogle porte for at forhindre brug af torrents. Kan man lave en form for begrænsning for hvor mange TCP forbindelser et givent IP/Mac addresse kan lave eller hvad skal jeg gøre? Jeg har undersøgt om routeren kunne køre dd-wrt/linux og det kan den desværre ikke så den vej er hvertfald ikke muligt. Tusind tak på forhånd!