Castagne a débuté sa carrière à Virton, où il a fait ses débuts professionnels en 1995. En 1997, il s'installe à Anderlecht, où il remporte trois titres de la Pro League belge et deux Coupes de Belgique. En 2004, il rejoint Milan, où il remporte le titre de Serie A en 2004 et l'UEFA Champions League en 2007.
Castagne a fait ses débuts internationaux pour la Belgique en 1999. Il a ensuite disputé 54 matches avec son pays, marquant quatre buts. Il a représenté la Belgique à la Coupe du Monde de la FIFA 2002 et au Championnat d'Europe de l'UEFA 2000.
Après avoir pris sa retraite du football en 2008, Castagne a travaillé comme expert pour la télévision et la radio belges. C'est également un homme d'affaires prospère, ayant fondé plusieurs entreprises.
En 2021, Castagne a été intronisé au Temple de la renommée du football belge.