כיסופי יהודי תימן לארץ ישראל ולירושלים היו חלק בלתי נפרד מהוויי הקהילה מקדמת דנא אבל ההתעוררות המעשית לשוב לציון בעת החדשה החלה בסוף המאה ה-19. קולות פעמי הגאולה הגיעו לתימן מארץ ישראל ועוררו את הלבבות. כיבוש תימן (מחדש) בידי העות'מאנים, והרישיון שניתן באותה עת מטעם השלטונות לעזוב את תימן ולעלות לארץ ישראל הביאו להתארגנות של ממש. גורם מאיץ, לא פחות חשוב, הייתה השמועה שנפוצה באותם ימים בתימן כי הברון רוטשילד רוכש אדמות רבות בארץ ישראל ומחלקן חינם לכל דורש. תחילה הגיעו מספר משפחות ושיירות קטנות (1881) אך העלייה הגדולה הראשונה (כ-150 איש) התרחשה בשנת תרמ"ב (1882) ונודעה כעליית "אעלה בתמ"ר". שיירת העולים שיצאה מצנעא והגיעה לנמל יפו סבלה בדרך מתלאות קשות ורבים מתו ברעב ובמחלות.
כשהגיעו העולים לירושלים נחלו אכזבה מרה. רוטשילד לא המתין להם בבואם, וקרקע לא ניתנה להם בחינם. גם אחיהם היהודים לא הסבירו פנים לעולים החדשים כהי העור ובתחילה אף פקפקו ביהדותם. מצבם היה בכי רע. כל כספם אזל בדרך, ומאחר שלא נמצאו להם תעסוקה ומגורים ואפילו כספי חלוקה לא קיבלו, הפכו עד מהרה לעניים מרודים "חובקי אשפתות" בשולי הקהילה היהודית. בדוחקן כי רב מצאו חלק מהמשפחות מחסה במערות ובכוכים במדרון המערבי של הר הזיתים בין תושביו הערבים של הכפר סילואן.
בין הראשונים שנחלצו לעזרת התימנים היה דֹב פרומקין שקרא מעל דפי עיתונו "חבצלת" לבוא לעזרת "אחינו האומללים בני תימן". חברת "עזרת נידחים לתפארת משה ויהודית מונטיפיורי" שהוקמה בשנת 1883 במטרה "לעזור לאחינו העניים בדיור ובמציאת עבודה ולמנוע את נפילתם בזרועות המסיון" נרתמה לעזור בקניית קרקע ובניית בתים. הוועד בחן מספר אפשרויות אך לבסוף קיבלו את תרומתו של "איש ירושלים ושמו בועז הבבלי (ר' בועז בן יהונתן מזרחי) ולו 16,000 אמות קרקע בצלע הר הזיתים אשר על פני ירושלים". מחצית הקרקע ניתנה לבניית בתים לעולי תימן ואילו המחצית השנייה הוקצתה לבניית בתים למשפחות ספרדיות ואחרות. הסיבה העיקרית להעדפת סילואן הייתה החיסכון שבהקמת יישוב הסמוך למקור מים. כך החלו בהקמת היישוב התימני הראשון בארץ ישראל.
ראשיתו של הכפר סילואן, ששמו אינו אלא שיבוש של סילואם – ההגיה היוונית של שילוח, היא במאה ה-17. זהו אחד הכפרים העתיקים ביותר בסביבות ירושלים. בתחילת המאה ה-19 היה זה כפר דל של כ-200 פלאחים ובדווים חצי נוודים, שהתיישבו בבתים פשוטים ובמערות הקבורה העתיקות הפזורות על המדרון התלול והסלעי של הר הזיתים. היישוב היהודי שנאחז במקום לא נתקל בכל התנגדות.
בנר שני של חנוכה תרמ"ה (1885) נחנכו הבתים הראשונים ברוב עם ובמעמד הרבנים הראשיים דאז הרב מאיר פאנז'ל והראשון לציון הרב יעקב שאול אלישר. היו אלה בתים טוריים מוארכים, כדוגמת בתי משכנות שאננים שנבנו כ-25 שנים לפניהם מנדבת משה מונטיפיורי בתכנון האדריכל האנגלי אדוארד סמית. בתים אלה נשאו שלטי הקדשה לתורמים שנידבו את הכסף אבל לצדם התפתחה בקצב מואץ גם בנייה פרטית.
השכונה התפתחה במהירות רבה. עד סוף המאה ה-19 היו בה ארבעה בתי כנסת, תלמוד תורה, מקווה טהרה, מאפיה ו-144 בתי מגורים "מהם שבעים ושלושה בתים השייכים להקדש 'עזרת נידחים' והשאר שבעים ואחד בתים השייכים לאנשים פרטיים".
עם גבור גל הלאומנות הערבית, שהגיע לשיאו במאורעות תרפ"ט, הורע מצבם של יהודי כפר השילוח. בליל הפרעות שלחו הבריטים למקום קומץ שוטרים ערבים. תגבורת של עשרה בחורים יהודים שהגיעה מירושלים שמרה על ביטחון התושבים באותו הלילה. אבל הרגיעה הייתה זמנית. השכנים הערבים רמזו לשכניהם היהודים שאם ברצונם להישאר בחיים עליהם לעזוב מיד. על אף גילויי שכנות טובה מצד חלק מערביי הכפר ברור היה כי האלימות תגבר, ורבים מהיהודים נמלטו.
כשהסערה שככה, חזרו חלק מהמשפחות לבתיהן והבריטים תגברו מעט את נוכחותם אבל המצב הלך והדרדר. בשנת 1933 פנו התושבים אל הקרן קיימת לישראל בבקשת עזרה: "שהחרפה שייכת לכלל ישראל ועל מוסדותינו הלאומיים וקרן הקיימת בראשם להחיש ולטקס עצה, איך ובמה להציל נקודה יישובית זו מלנפול בידי זרים הפוערים פיהם לבלוע אותה בהזדמנות הראשונה שתהיה לפניהם". בי"ד באב תרצ"ח (1938) עזבו השוטרים הבריטים את הכפר והודיעו לתושבים היהודים שעליהם לעזוב את המקום. פניית הוועד הלאומי למושל המחוז לא נענתה. בי"ח במנחם אב תרצ"ח, אחר 65 שנות התיישבות, נטלו אחרוני תושבי כפר השילוח את ספרי התורה מבתי הכנסת ונעו לעבר הרובע היהודי שבעיר העתיקה.
לאורך השנים בזזו הערבים את הבתים ועקרו את אבניהם, אבל השרידים עדיין ניכרים בשטח שבדרום הכפר הערבי. יוצאי תושבי כפר השילוח וצאצאיהם לא התייאשו מבתיהם, הרשומים עדיין בטאבו על שמותיהם ועל שם האגודות השונות. היו גם ניסיונות אחדים לחזור להתיישב במקום; יזמת הנשיא יצחק בן צבי, בשנת 1943, ליישב במקום "צעירים חוצבים סתתים ובנאים אשר פרנסתם תהיה על בית העלמין היהודי שמירתו ואחזקתו" לא יצאה לפועל. היום פועלים בתחום זה גופים שונים, שהציבו לעצמם מטרה להחזיר את הרכוש היהודי שבכפר השילוח ליורשי ולצאצאי המשפחות התימניות והאחרות, מתוך מטרה ליישב את המקום ביהודים.