Le premier single de Nelly, Country Grammar, devient en peu de temps un véritable hit et son album du même nom cartonne peu de temps après. Cet album est un mélange de rap festif et de gangsta rap, le tout fait avec un style qui est devenu sa marque de fabrique : des rimes mélodieuses et parfois chantées accompagnées de cris tels que "Oh !" ou encore "E.I. !". Son troisième single, Ride Wit Me, est son premier succès international et son clip reçoit le prix du meilleur clip rap aux MTV Video Music Awards.
En 2002, son deuxième album, Nellyville, débute à la place de numéro 1 au Billboard 200. Porté par des singles classés numéro 1 comme Hot In Herre (pendant 7 semaines) et Dillemma (pendant 10 semaines), ce deuxième album va s'écouler à plus de 3 millions d'unités en 1 mois. Alors que Dillemma est la première chanson rap à rester 10 semaines au top du Billboard 100, Nelly va recevoir 6 prix sur 8 nominations lors des Billboard Music Awards 2002 (Artiste de l'annéee, Artiste masculin de l'anée,...)
Au début de l'année 2003, Nelly sort un single très controversé : Air Force Ones. En effet, ce single, accompagné de son clip, est une ode aux fameuses paires de baskets du même nom de la marque à la virgule, Nike. Même si MTV ou autre VH1 décidèrent de ne pas diffuser le titre, la chaîne BET (Black entertainment Television) va le jouer. Plus tard, Nike et Nelly sorte une paire de Nike Air Derrty, qui sera limitée à 1000 paires, aux USA. Enfin, Reebock et Nelly signet un contrat en 2004.
En septembre 2003, Nelly est encore classé numéro un avec le single Shake Ya Tailfeather, en trio avec son ami Murphy Lee et P.Diddy. Ce single, disponible dans la bande-son de Bad Boys II et dans l'album de Murphy Lee, reste en tête des charts pendant 4 semaines. Dans le clip, on peut voir apparaître Vida Guerra et Esther Baxter, de célèbres models outre-Atlantique.
En 2004, Nelly devient le premier rappeur à sortir 2 albums en même temps, Suit et Sweat. Le premier, orienté R'n'B, va débuter à la première place au Billboard 200 tandis que le second, orienté rap, débutera en deuxième position. Il vendra près de 700 000 exemplaires de ces deux opus cette semaine là.
En 2005, Nelly sort une compilation de ces deux albums intitulée Sweat/Suit à laquelle il ajoute de nouvelles chansons comme Grillz en feat. avec Paul Wall et Ali & Gipp.
En 2006, Jermaine Dupri réunit son ami Nelly et sa femme Janet Jackson pour un duo, Call On Me.
Nelly projette de sortir un nouvel album en 2007.