במאות ה-13 וה-12 לפסה"נ (תקופת השלטון היבוסי לערך), נבנה בצמוד למדרון המזרחי של הגבעה מבנה אבן מדורג אדיר ממדים. המבנה שימש קיר תמך למצודת העיר שהתנשאה ממעל, והיא ככל הנראה "מצודת ציון" שכבש דוד. רק חלקים ממבנה האבן שרדו כיום
בהר הזיתים נמצא בית העלמין היהודי העתיק בעולם, המקום קרוי גם "עיר המתים" השוכנת מול ירושלים "עיר החיים". שם טמונים גדולי העם היהודי לדורותיו: הרב קוק, הרב גורן, שי עגנון, אליעזר בן יהודה, רבי ישראל משקלוב ועוד.