במרכז שכונת רחביה המקורית ('רחביה א'), מחברת שדרה עטורת עצים בין הגימנסיה העברית ברחוב קק"ל לגן המשחקים ברחוב רמב"ן. השדרה תוכננה כ'ציר ירק' בלב השכונה בידי האדריכל ריכרד קאופמן, שתיכנן את רחביה ושכונות גנים נוספות. גם היום נשמר הציר להולכי רגל בלבד, אם כי רוחבו וגם שמו עברו כמה גלגולים.
עם הקמת השכונה נקראה השדרה על שם רבי יהודה הלוי, המשורר והפילוסוף בן 'תור הזהב' בספרד, שנודע בגעגועיו לירושלים. לאחר קום המדינה שונה שמה ל'גן הכוזרי' על שם ספרו הידוע. הייתה זו שדרה ירוקה ושלווה, ציר מרכזי שחצה את השכונה. השדרה הוקפה גדר ושערים ולאורכה ניטעו עצים ונשתלו פרחים. בגן שבדרומה הוקם מגרש טניס, 'טניס פלאץ' בפי היקים עולי גרמניה שהגיעו לשכונה בשנות ה-30.
עם השנים איבדה השדרה חלקים מרוחבה המקורי. את התהליך תיאר הסופר יהודה האזרחי, שבית הוריו עדיין עומד צמוד לקצה השדרה, בספרו 'עיר אבן ושמיים':
"בראש השדרה נבנה קיוסק החוסם את פתחה… יצחק בן-צבי ז"ל השתכן, עם היבחרו לנשיא המדינה, בבניין הסמוך… נשיא המדינה זקוק, כידוע, לביקתת שומרי-ראש, וכן לגן פרטי. משמע, שהכרח לבתר את הגן הציבורי, לספחו אל הבית הסמוך, להקים בו גדר גבוהה, כמגן מפני עוברי אורח טרדניים… זנבה הקטוע של השדרה… הצטמק עוד קודם לכן, בהרשאת ועד השכונה, לשם תוספת שני מגרשי-בנייה חדשים מכאן ומכאן… אלה איפוא תולדות לידתה, חייה ומותה של שדרת יהודה הלוי".
ואכן, ב-1953 ננגס קטע גדול מהשדרה והוקף בגדר עבור גן משכן הנשיא. בשטח הגן, שאותו תכנן אדריכל הגנים מאיר ויקטור, היו מדשאה וחצר עם שבילי אבן ושפע עצים ושיחים. הכניסה הרשמית לצריפו של נשיא המדינה הייתה מכיוון 'גן הכוזרי', שבו הוכשר מסלול רשמי לקבלת פנים. מסדרי כבוד של חיילות וחיילים בליווי תזמורת המשטרה עמדו חמורי סבר בצד השביל. מכוניות שרד עצרו ברחוב אברבנאל הצר ופלטו שגרירים ובני מלוכה, ראשי מדינות וכוהני דת מכל העולם. ציר הירק של שכונת רחביה היה לציר ממלכתי, שליווה רגעים מכריעים בתולדות ישראל ומוסד הנשיאות.
סביב השביל התקבצו ילדי רחביה כדי לצפות באורחים המכובדים בתלבושותיהם המרשימות והמסקרנות, לאחר שהוזהרו לבל יפריעו. ותיקי רחביה זוכרים כי לקראת קבלת פנים חגיגית לדיפלומט אפריקאי, תודרכו הילדים שלא ללעוג או לצחוק למראה התלבושת הססגונית הלאומית של הנציג המכובד. כאשר הגיעה סוף סוף הפמליה, הילדים לא הצליחו להתאפק מלצחוק – לתדהמתם, הדיפלומט ופמלייתו לבשו חליפות מערביות…
בחלק התחתון נותר גן המשחקים הידוע בשם 'גן הג'ירפה', על שם הפֶסל של אברהם וחנה יכין בגג הקיוסק הצמוד, וגם 'גן הצפרדע' בזכות פסל האבן של דב הלר בדשא. שמו הרשמי הוא 'גן אליעזר ילין', על שם האדריכל שהיה ממייסדי השכונה ושביתו היה הראשון שנבנה בה.
משכן הנשיא עבר לשכונת טלביה בראשית שנות ה-70, בימי נשיאותו של זלמן שז"ר. בשנת 2018 נהרסה חומת האבן שתחמה את גן הנשיא והשדרה חזרה לרוחבה המקורי, תחת העצים הוותיקים המצלים מעל דשא רענן וספסלים מעוצבים. האדריכליות רחל וינר ואור כהנא השיבו לשדרה יופי וירק, לאחר תהליך שנעשה בשיתוף בין יד בן-צבי ותושבי השכונה ובסיוע המנהל הקהילתי ועיריית ירושלים.
בשביל המרוצף משולב גדם של עץ אורן, שקרס מכובד השלג לפני כמה שנים. רחל ינאית בן-צבי סיפרה (בספרה 'עם הילדים בחזית') כי כאשר הקימה כאן משתלה בשנת 1924, היא קיבלה מתנה ייחודית: "זרעים מעצי אורן וברוש שבהר הבית, בעזרת ידיד אישי של אישי בן-צבי". אולי אלה הם מקורותיו של העץ שקרס?