Im Mittelpunkt des Films stehen ein überdurchschnittlich großer Diamant, der aufgrund seines rosaroten Schimmers und eines kleinen Schattens in der Mitte, der einem springenden Panther ähnelt, der „rosarote Panther“ genannt wird, sowie ein englischer Meisterdieb, genannt „Das Phantom“, hinter dem sich der britische Adelige Sir Charles Lytton verbirgt.
Vor Beginn der Geschichte werden die Charaktere vorgestellt. Zuerst das Phantom, das durch Meisterhand Schmuck und Geschmeide stiehlt und es immer wieder schafft, der Polizei zu entkommen. Dann der Neffe von Sir Charles, George Lytton, der seinem Onkel gegenüber vorgegeben hat, in den USA zu studieren, in Wirklichkeit aber ebenfalls ein Gauner ist. Da ist noch die Ehefrau von Inspektor Clouseau, Simone, die in Wirklichkeit die Verbündete und Geliebte des Phantoms ist. Und schließlich der trottelige Inspektor Jacques Clouseau, der es sich zur Lebensaufgabe gemacht hat, dem Phantom endlich das Handwerk zu legen.