Les officiers utilisaient l'île pour chasser le gibier et s'entraîner, et à la fin de l'occupation, il n'y avait plus qu'une seule famille guernesiaise qui vivait sur l'île. Une équipe de canons antiaériens qui était stationnée à Herm a été transférée à Guernesey au début du mois d'avril 1945.

Onze jours avant la libération finale des îles en mai 1945, un officier allemand, le baron Von Heldorf, fut exilé de Guernesey à Herm et résida à Herm Manor House pendant une brève période. Le baron Von Heldorf avait été le chef d'état-major du général Von Schmettow, commandant des îles, jusqu'à ce que Von Schmettow soit renvoyé en Allemagne et que l'amiral Huffmier prenne le commandement. Von Heldorf, qui s'opposait à la politique de forteresse d'Hitler, était l'un des officiers supérieurs qui avaient planifié l'assassinat de Huffmier, mais n'y étaient pas parvenus. Le jour de la libération, Mme Le Page, originaire de l'île, s'est rendue à pied au village portuaire de Herm, portant un petit drapeau de l'Union Jack. Un soldat allemand attacha ensuite le drapeau au sommet d'une grue de chemin de fer en signe de la capitulation allemande à Herm. Les Le Page ont été récupérés par bateau dans le port au début de l'après-midi du jour de la libération, le 9 mai, par des soldats britanniques de la force opérationnelle de libération et sont retournés à Guernesey.

Von Heldorf a été récupéré à Herm quelques jours après la libération par des soldats britanniques, et seuls lui et son barman y résidaient à ce moment-là.