Packets stacker/står i kø

Hej,

Jeg har en meget simpel server i C# der hovedsageligt består af en TcpListener og StreamReader. Til at håndtere indkommende packets, gør jeg følgende.

string ln;
while ((ln = sr.ReadLine()) != null)
{
handlePacket(ln);
}

Men når så en packet tager længere tid end de andre, bliver der en form for kø, og det vil jeg gerne undgå.

Nogle forslag?

Mange tak.