南廓寺庙殿隋唐时已初具规模，清光绪年间将原东禅林院改为杜少陵祠。是以三座牌坊式的大门各为中轴线，组成东、中、西三个大院。中山门内有前后院，前院东、西看楼，后为钟鼓楼，东西禅林院。现西院仍为“禅林院”，东为杜少陵祠，祠内有杜甫及侍童塑像三尊。

后院为三间两进宽阔宏大的天王殿。院内有一株生长2300-2500年的三杈古柏，南向一枝黛色霜皮，干枯如柴，直插云霄，但顶端仍青春焕发，枝叶茂盛。西北向一枝已枯。北向一枝巧架于槐树枝杈上，更神奇的是已劈开的枯干中寄生着一株胸围108公分的黑蛋树（朴树），与老树相依为命。