香山因盛产香葛而得名。香山寺微始建于北魏熙平元年（公元516年），唐大和六年（公元832年），河南尹白居易捐资六七十万贯，重修香山寺，晚年隐居于此。它与世界文化遗产——龙门石窟西山窟区一衣带水，隔河相望，与龙门石窟东山窟区和白园一脉相连，并肩邻立。