Hampton begann seine Karriere als Schlagzeuger in Bands in Chicago und Kalifornien, wohin er 1927 zog und zunächst bei Paul Howards Quality Serenaders spielte. In der Les Hite Band begann er, neben Schlagzeug auch Xylophon zu spielen. Sie wurde bald zur Hausband von Frank Sebastians New Cotton Club, einem populären Jazz Club in Los Angeles, wo Louis Armstrong ihn hörte. Schon 1930 machte er mit Armstrong Aufnahmen auf einem Vibraphon (das Armstrong in den NBC Studios in Los Angeles entdeckte), mit dem er auch im Cotton Club in Harlem auftrat. Durch Hampton wurde das Vibraphon als Jazzinstrument populär. Bereits 1934 hatte er eine eigene Band, bevor er für vier Jahre bei Benny Goodman spielte, dessen Orchester im November 1936 nach Los Angeles kam, um im Palomar Ballroom aufzutreten. Durch John Hammond lernte Goodman Hampton kennen und bat diesen, mit ihm nach New York zu gehen. So bildeten sie mit Teddy Wilson und Gene Krupa das Benny Goodman Quartet. Das Quartett war eine der ersten rassisch integrierten Bands und trat vor großen Publikum auf.
