הארכאולוגיה הייתה אבן פינה בחזון האוניברסיטה העברית מיום הקמתה, באשר היא מאגדת את שלושת התחומים שהאבות המייסדים הגדירו כמרכזיים לאוניברסיטה הלאומית של העם היהודי: מצוינות מדעית, שימור המורשת היהודית, וחקר ארץ ישראל. האוניברסיטה ביצעה את חפירתה הראשונה כבר ב-1929, עוד בטרם החלו לימודי הארכאולוגיה באופן מסודר. 

המכון לארכאולוגיה נוסד ב-1934 כ"מחלקה לארכאולוגיה של האוניברסיטה העברית בירושלים". ב-1936 הוקם על הר הצופים "בית הנכות לעתיקות היהודים" (כיום האגף הישן של המכון), "בית הנכות" וה"מחלקה" הפכו להיות ה"מכון לארכאולוגיה" בשנת 1967, כאשר המחלקה לארכאולוגיה ובית הספר למשפטים היו היחידות הראשונות של האוניברסיטה העברית לחזור לקמפוס הישן על הר הצופים.

מאז הקמתו היה המכון מעורב במספר גדול של חפירות ארכאולוגיות המתפרסות על כל התקופות הארכאולוגיות - מתקופת האבן ועד לתקופה המוסלמית.  רבות מן החפירות המכוננות של הארכאולוגיה הישראלית וחפירות חשובות בקנה מידה עולמי בוצעו על-ידי מכון זה.