עם הקמתה של שכונת "אחוזת בית" מחוץ ליפו, עלה הצורך בהקמת בית כנסת מרכזי קבוע לתושבי הפרבר היהודי. בתחילה נבחר מגרש ברחוב יהודה הלוי ובשנת 1913 הונחה אבן הפינה. במקום פעל אז בית כנסת זמני שפעילותו הופסקה עם פרוץ מלחמת העולם הראשונה. בשנת 1921 יהודי ההתיישבות החוזרת פנו לראש העיר מאיר דיזינגוף בבקשה שזה יאתר עבורם חלקה להקמת משכן קבע לבית כנסת. דיזינגוף נענה לבקשתם ומצא עבורם את המגרש בפינת הרחובות אלנבי ואחד העם (כיום) ובתנאי שימכרו את החלקה הקודמת ברחוב יהודה הלוי.
ב-10 בנובמבר 1921 נערך במגרש החדש טקס הנחת אבן הפינה במעמד הרב אברהם יצחק הכהן קוק ומנחם אוסישקין. בעזרת תרומות, מכירת מושבים והטלת מס מיוחד על הקרקעות הסובבות את בית הכנסת, גוייס סכום כסף גדול שאיפשר את הקמתו של בית כנסת גדול מימדים שיוכל לשרת את כל תושבי האזור.
בשנת 1922, לאחר הנחת אבן הפינה, הכריז ועד תל-אביב על תחרות לתכנון בית הכנסת המרכזי של העיר. על פי האדריכל גלעד דובשני, מחבר המונוגרפיה על האדיכל יהודה מגידוביץ', עוד לפני ההחלטה להכריז על תחרות הוגשו שתי הצעות לתכנון הבנין, האחת של פטריק גדס שממנה לא שרדו עדויות, והשניה של האדריכל האקלקטי אלכסנדר ברוולד, שנמצאה יקרה מדי לביצוע.
לתחרות הוגשו רק שתי הצעות, האחת של האדריכלים הירושלמים וילהלם הקר ואליעזר ילין והשנייה של יהודה מגידוביץ' בשיתוף שרניפולסקי. שופט התחרות, פטריק גדס, שישב אז בירושלים וסייע בהקמת האוניברסיטה העברית בהר הצופים, המליץ לבצע את ההצעה השניה. זכייה זו ביססה את מעמדו של מגידוביץ' כאחד מהאדריכלים החשובים של העיר העברית המתהווה.
על פי דובשני, התפיסה האדריכלית של הבניין, הנובעת ממהות התכנית, ניכרת בבירור בבניין בית הכנסת הגדול, בחוסר ההתאמה בין הסימטריה של צירי העמודים, ובחלוקת החלונות בחזיתות דרום וצפון. "האדריכל קובע את סידור חללי הפנים, ולאחר מכן מתאים את החזיתות. במקרה זה נראתה לו יותר חשיבות החזית כלפי הרחוב, מאשר כלפי פנים הבנין". (מתוך: גלעד דובשני, י. מגידוביץ' אדריכל, משרד הבטחון - ההוצאה לאור, תל אביב, 1993)
החזית החדשה שהרסה את הבניין
דובשני מתאר את ההתפתחות החללית החווייתית במבנה: "תכנית בית הכנסת היא תכנית סימטרית. ציר הסימטריה הוא ציר הקודש המעביר את המבקר לפנים הבנין בהיררכיה מרשימה: מהכיכר הציבורית למדרגות הכניסה, שנשפכות לכיכר ומעניקות לבניין מימד של חשיבות, מהן ללובי, שמחלק את התנועה לבניין ולחדרי המדרגות, דרכו לחלל מקורה, בו נמצא היציע של עזרת הנשים, ולבסוף לחלל הכיפה. חלל הכיפה מורחק מהכניסה וממרכזיות הבניין, וכך מעביר את מרכז הכובד עם הבמה לעבר הקיר המזרחי, בו נמצא ארון הקודש".
התפיסה החללית של הבניין היא של גושניות נקייה, כמעט מודרניסטית, העוטה נופך של אוריינטליזם רומנטי בעזרת פתחים מקושטים וכמובן באמצעות הכיפה המרכזית. לטענת דובשני, אדריכלות בית הכנסת מגלה את יסודות האדרילות של מגידוביץ' בשנים הבאות: "תפיסה של קומפוזיציה של מרכיבי התכנית, השואפת לסדר גיאומטרי וניקיון צורני, בניית תדמית אדריכלית לבניין, בהתאם לייעודו התפקודי, ושליטה בנוסחים עיצוביים סגנוניים, לבניית שלמות אסתטית לחזיתות".
ב-1970, לאור טענות כנגד חוסר קשר בין פנים וחוץ וסידור החלונות בבניין, שופץ הבניין ושונה ללא הכר על פי תכניתו של האדריכל אריה אלחנני (1985-1898) אלחנני עטף את הבניין המקורי באכסדרת עמודים ויצר לו חזיתות חדשות. לטענת דובשני, הדבר נעשה ללא הבנה בסיסית של מהותו האדריכלית של הבניין ושל המקום: "החזית החדשה, שנעשתה מתוך בורות ועזות-מצח, לא רק שהרסה את איכותו האדריכלית של הבניין, אלא גם פגעה באיכות הכיכר שנוצרה סביבו".
דובשני מכוון בדבריו לחלל העירוני שהתקבל מדו-השיח בין בנין בית הכנסת המקורי לבין הארקדה שבסביבתו, שתוכננה בשנות השלושים של המאה העשרים על ידי זאב רכטר. דובשני רואה בחלל זה, שאבד, דוגמה לכיכר ציבורית עם ענין ציבורי, שאין שנייה לה בתל-אביב. "רק חוסר התחשבות מדהים בערכים של אדריכלות קיימת הביא לשינוי שנעשה בבניין בית הכנסת הגדול, ואתו עוד בכייה לדורות, על הרס של מקום קיים, עם איכויות שיהיה קשה מאוד לשקמן".
במפלס הקרקע של הבניין, סביב האולם המרכזי, ממוקמים חללי משנה המשמשים חדרי לימוד, חללי תפילה קטנים או חנויות. חללים אלה פנו במקור אל חוץ הבניין וכך נוצר קשר בין הבניין וסביבתו הקרובה בעזרת דופן פעילה במפלס הרחוב. התוספת המאוחרת של העמודים והחומה החיצונית, מנעה, לטענת דובשני, כל דיאלוג של הבניין עם סביבתו.
כיום בית הכנסת הוא השלישי בגודלו בישראל. בית הכנסת פתוח למבקרים בימות החול ובקומה התחתונה פועל אולם אירועים.
*פרויקט "בנייני המאה" הוא פרי עמלם של סטודנטים וסטודנטיות מהקורס לאדריכלות ישראל במחלקה לארכיטקטורה בבצלאל. מטרתו להציג חזית נוספת לעיר, בדמותו של מדריך אדריכלי למאה מבנים, מונומנטים או מרחבים עירוניים ברחבי תל אביב-יפו. לפרויקט המלא כנסו ללינק.