Il est né à Völlen, près de la frontière avec les Pays-Bas. En 1931, à l'âge de 19 ans, il entre dans le NSDAP et, trois ans plus tard, dans les rangs de la SS. Rapidement, il est affecté d'abord au camp d'Esterwegen, puis à celui de Sachsenhausen, près de Berlin. On ne sait pas grand-chose de ses actes à l'époque. On sait cependant qu'en 1941, il est affecté à l'action "T4", une opération visant à assassiner les handicapés et les malades mentaux.

Sa carrière s'accélère. Lorsque l'opération Reinhardt est menée au sein du gouvernement général, Johan Niemann est envoyé en Pologne occupée, où de nouveaux centres d'extermination sont mis en place. Le jeune SS est d'abord envoyé à Belzec, où le camp II est en cours d'organisation. Il s'agit d'une zone d'extermination, c'est-à-dire d'un lieu où se trouvent des chambres à gaz et des fosses communes. Niemann entretenait une relation étroite avec le commandant du camp, Christian Wirth, ce qui pourrait être à l'origine de son transfert au camp de Sobibor. Là, Johan Niemann devient commandant adjoint. Au printemps 1943, il est promu Untersturmführer (lieutenant SS).

Le jour où la mutinerie du camp éclate, Johan Niemann est l'officier le plus haut gradé, il devient donc la première cible à éliminer par les prisonniers. Il est attiré par des Juifs d'un groupe triant les vêtements des assassinés dans le hangar pour essayer une veste en cuir qui lui avait été réservée. Lorsqu'il est entré, Alexander Shubayev, un soldat juif de l'Armée rouge, l'a tué d'un coup de hache à la tête.

Bien des années après la guerre, en 2015, la famille de Niemann a retrouvé deux albums de photographies qu'il avait prises. Parmi les photos qui ont survécu, on trouve celles qui documentent les activités du camp d'Esterwegen, qui illustrent la participation de l'auteur à l'opération "T4" et qui concernent les camps de Belzec et de Sobibor. La collection a été donnée au United States Holocaust Memorial Museum.