La tradition associe la fondation de l'Ordre à la création d'un hôpital allemand à Jérusalem.
Aux alentours de 1191, le pape les reconnaît comme un ordre religieux sous le nom de l'hôpital Sainte-Marie des Allemands à Jérusalem.
Au début, il était de nature médicale et caritative, mais en 1198, il revêt également un caractère militaire. C'est à ce moment que l'Ordre des Chevaliers Teutoniques est né.
