UDP Socket fejl ved brug af UDPClient

Når jeg på min server modtager et request datagram, så får jeg følgende fejl, hvis og kun hvis, at jeg lukker klienten inden serveren sender et datagram tilbage.

Fejlen/exceptionen kommer i det øjeblik jeg lytter på min UDP socket .

"An existing connection was forcibly closed by the remote host."

Jeg har prøvet at google frem og tilbage, men det ser ikke ud til at der er nogen som har fundet en smart løsning på problemet. Jeg har også prøvet at droppe UDPClient og bruge en almindelig SOCKET og angive, at det er en datagram og UDP protokol jeg skal bruge, men jeg får præcis samme fejl som ovenstående.

Håber nogen kan hjælpe :(