unsigned int virker ikke ?

Hej med jer

Jeg har kodet følgende metode, men den driller og jeg kan ikke forstå hvorfor !?

unsigned int byteToUInt32(char *bytearray)
{
    return (unsigned int)(bytearray[3] << 24 | bytearray[2] << 16 |
                  bytearray[1] << 8  | bytearray[0]);
}

Hvis byte array'et ser sådan her ud :
0xFE, 0xDC, 0xBA, 0x98

Får jeg et output fra metoden der ser sådan her ud:
4294967294 (0xFFFFFFFE)

Men hvis array'et ser ud som det her:
0x49, 0x66, 0x6F, 0x73

så returnere metoden det rigtige resultat, altså 1936680521 (0x736F6649) !?

For mig ser det ud som om den returnerede int er signed, altså modsat af hvad jeg beder den om... Hvor dog det ?