Het is het oudste nog bestaande hofje in Leiden. Het werd gesticht op 16 mei 1467 door Wouter IJsbrandszoon ter ere van God en de twaalf apostelen naar aanleiding van zijn bezoek aan het heilig graf in Jeruzalem (vandaar ook de naam). Oorspronkelijk bestond het hofje uit 13 huisjes die bestemd waren voor dertien arme mannen, die eerlic zyn, ende van goede syn vergaen. Een eventuele echtgenote mocht ook inwonen, want dan kon zij voor haar man zorgen. Als haar man dood ging, moest ze wel vertrekken. Dat een hofje juist voor mannen en niet voor vrouwen werd bestemd was bijzonder, want dat was in de Nederlanden nog niet eerder voorgekomen.

Het hofje was oorspronkelijk voorzien van een wat een rijk versierde kapel moet zijn geweest. In de tweede helft van de zestiende eeuw ging het beheer van het hofje en van de kapel door geldgebrek erg achteruit. Ook de Reformatie en de Beeldenstorm gingen niet aan de poort voorbij en er werd veel vernield. Nadat het hofje onder protestants beheer kwam werd de kapel buiten gebruik gesteld en successievelijk gebruikt als schermschool, onderkomen voor de Lutherse- en daarna Engelse kerk, gildehuis van de bierdragers en tot slot pakhuis. In 1887 werd de voormalige kapel gesloopt en in 1910 de aan de straat gelegen regentenkamer. Tussen 1892 en 1936 werd het hofje vernieuwd, waarbij het aantal huisjes toenam tot 15 (achter huisje nummer 1 liggen nog twee huisjes verstopt), maar de sfeer van het oude hofje is verloren gegaan.