En 1933, Gebhardt rejoint le NSDAP et les SS. En 1936, il est médecin en chef des Jeux olympiques de Berlin et, un an plus tard, en tant que professeur de médecine, il dirige la chirurgie orthopédique à l'université de Berlin. À cette époque, il devient également le médecin personnel de Heinrich Himmler.

Lorsque la Seconde Guerre mondiale éclate, il dirige le sanatorium SS de Hohenlychen. Après la prise de la Belgique, il assure la médiation entre Adolf Hitler et le roi Léopold III de Belgique.

Lorsque Reinhard Heydrich, l'un des principaux responsables de l'Holocauste, meurt à la suite d'une tentative d'assassinat à Prague (la cause du décès étant la gangrène), Gebhardt est accusé de n'avoir pas pris suffisamment de mesures pour sauver l'éminent dignitaire. Afin de prouver son innocence, Gebhardt décide de mener les recherches nécessaires au camp de Ravensbrück, situé à 13 kilomètres du sanatorium de Hohenlychen qu'il dirige.

Les expériences de Gebhardt consistaient à briser les jambes des prisonniers, en introduisant un état d'infection des tissus avec, par exemple, le staphylocoque doré ou le tétanos. Pour accélérer le développement de la nécrose tissulaire, les muscles des membres étaient écrasés. Divers médicaments, dont des sulfamides, ont ensuite été utilisés. Les expériences visaient à prouver l'inefficacité de la thérapie. Afin d'étayer leur thèse, les détenues auxquelles les médicaments ont été administrés n'ont pas reçu de soins infirmiers. Comme le rappelle Karolina Lanckorońska, détenue à Ravensbrück, ces femmes devaient non seulement changer leurs bandages elles-mêmes, mais aussi, malgré leur immobilisation, s'occuper de l'hygiène et des besoins humains fondamentaux. Gebhardt prouve ainsi qu'il n'est pas responsable de la mort d'Heydrich.

De plus, les expériences ont été menées en raison du taux de mortalité élevé des soldats allemands blessés sur le front à cause de la gangrène. C'est pourquoi, après consultation de l'Institut d'hygiène de la Waffen-SS, des éclats de verre, de bois ou de terre ont été saupoudrés sur les plaies des femmes emprisonnées afin d'obtenir des conditions aussi proches que possible de celles du front.

Gebhardt réalise également des opérations expérimentales de régénération et de greffes osseuses sur des femmes incarcérées à Ravensbrück. Trois types d'opérations ont été pratiquées : des os ont été brisés et greffés, puis des bandes osseuses ont été prélevées (des fragments d'os ont été découpés). Le but de ces expériences était d'étudier le déroulement de la reconstruction osseuse et l'évolution de la régénération osseuse. Les opérations étaient très brutales. Les os étaient brisés à l'aide d'un marteau et d'un burin, les plaies étaient suturées et plâtrées pendant quelques jours seulement, puis le plâtre était retiré afin d'observer le processus de cicatrisation des plaies. Certaines opérations ont été réalisées sans anesthésie et les expériences ont été répétées plusieurs fois sur les mêmes personnes. L'une des plus jeunes victimes des expériences de Gebhardt est Barbara Pietrzyk, arrêtée à l'âge de 16 ans. Cinq opérations ont été pratiquées sur elle.

À la fin de la guerre, Gebhardt a été arrêté par les Américains et jugé lors du "procès des médecins", l'un des procès de Nuremberg. Il a été accusé de crimes de guerre et de crimes contre l'humanité. Le tribunal militaire américain l'a condamné à la mort par pendaison en août 1947. La sentence a été exécutée à la prison de Landsberg en juin 1948.