Während der Epochen Vorromanik, Ottonik und Romanik sind zwischen dem 4. Jahrhundert bis in das 13. Jahrhundert zahlreiche Kunstwerke mit dem Motiv des Himmlischen Jerusalem entstanden, die sich bis heute erhalten haben. Die meisten dieser Arbeiten sind aus Stein gearbeitet, wie der Sarkophag aus S. Ambrogio (380-390) in Mailand, die weltbekannten Kapitelle der Benediktinerabtei von Moissac, das Tympanon von Notre-Dame-du-Pré in Donzy sowie das der Abteikirche von Conques oder ein Jerusalemsbrunnen aus dem Priorat Saint Michel de Grandmont.
Unter den Malereien sind einige der bedeutendsten Pretiosen des Hochmittelalters, wie die Wandmalereien aus Saint Michel d¿Aiguilhe, St John the Baptist in Clayton, St Botolph in Hardham, der Abtei Saint-Aubin in Angers, der ehemaligen Benediktinerklosterkirche Prüfening, der Dorfkirche von Möllendorf, der Kathedrale Notre-Dame de la Sède in Saint-Lizier, der ehemaligen Kathedrale Notre-Dame-et-Saint-Paul de Saint-Paul-Trois-Châteaux, die Deckenmalerei der St. Nikolai-Kirche in Braunschweig-Melverode sowie die bereits frühgotischen Wandmalereien der Abtei Sainte-Marie Lagrasse.
Im Gegensatz zu den Innenraummalereien, die oft Temperaturschwankungen, Ruß sowie Abrieb ausgesetzt waren, haben Buchmalereien wesentlich besser die Jahrhunderte überdauert. Herausragende Beispiele belegen, dass das Himmlische Jerusalem ein zentraler Gegenstand sakraler Malkunst war, der in den bedeutendsten Werken europäischer Buchkunst immer wieder zu entdecken ist. Man findet das Neue Jerusalem im Stuttgarter Psalter, in einem Evangeliar aus Saint-Médard von Soissons, in mehreren Prudentius-Handschriften und in verschiedenen Ausgaben des Liber Floridus, in der Stuttgarter Apokalypse, im berühmten Haimo-Codex, in einem kaum bekannten, dafür aber hochinteressanten Kalendar-Psalterium, in dem Buch Liber Scivias der Nonne und Heiligen Hildegard von Bingen, in französischen Passionsbüchern und sogar in der schlesischen Alexander-Apokalypse. Keine Architektur ist im frühen und hohen Mittelalter so oft dargestellt worden wie das Himmlische Jerusalem.