历史上（1949年7月以前）海淀区辖地（简称“海淀地区”）没有设置单独的行政建制，而分属不同的行政区域。区境南半部自秦汉以来主要隶属于历代北京城的附廓县（蓟县—幽都—宛平），金、元两代还曾有少部分地区分别是金中都、元大都的城区；清代，绝大部分划入京师直辖区域；至1928年北京地区设市后，又成为最初的市辖行政区域。区境北半部历来都是以北京为中心的大行政区（幽州—析津府—大兴府—大都路—顺天府—京兆地方）属县（州）（军都、昌平、万年、玉河等）的辖区。
北京和平解放以后不久，1949年7月，在海淀地区正式设置单一行政区域，称“北平市第十六区”。后两次更名，于1952年9月1日命名为“海淀区”。海淀区因区政府驻地海淀道镇而得名。（古代，海淀镇一带是一片浅湖区，当地人称之为“海淀”。在湖边逐渐形成居民聚落，亦以“海淀”命名。“海淀”在历史文献中亦称为“海甸”、“海店”，在现存史料中最早见于元初王恽所撰《中堂事记》（见明叶盛《水东日记》）。 20世纪50年代，辖区周边的清河、北安河、田村等地陆续划入区境。同时，辖区中靠近旧城区（以城墙为界）的东南和南部地区逐渐扩展为城区，1958年以前陆续划出。北部大半曾隶属于昌平县，是远郊区，1958年并入海淀区，成为近郊区。20世纪50年代曾先后设行政村、改乡、并乡。1954年起在现辖域南部陆续设若干街道办事处。1958年实现人民公社化。1961年缩小了公社规模。1963年实行城乡“分治”，重设街道办事处。在“文化大革命”中，1968年撤销区人民委员会，在各级行政机关、企、事业单位设革命委员会。1981年取消区革命委员会，设区人大常委会和区人民政府。1984年结束农村人民公社体制，改设乡。
至20世纪60年代前期（1963），海淀区行政区域基本稳定下来，区属行政区划此后则仍有局部调整。至1995年底，海淀区辖17个街道、11个乡。即万寿路街道、羊坊店街道、甘家口街道、八里庄街道、紫竹院街道、北下关街道、北太平庄街道、学院路街道、中关村街道、海淀街道、青龙桥街道、清河街道、永定路街道、清华园街道、燕园街道、双榆树街道、香山街道、四季青乡、玉渊潭乡、海淀乡、东升乡、永丰乡、苏家坨乡、北安河乡、温泉乡、东北旺乡、上庄乡、聂各庄乡。各街道设在区境南半部四季青、玉渊潭、海淀、东升等4个乡辖域和东北旺乡辖域南部范围内，绝大部分街道辖区与所在乡辖域相互重叠。在同一区域内，街道和乡实行城乡分别管理。70年代末起，在海淀区辖域内还陆续设置了若干具有特殊形式的街道办事处即“大院”街道办事处。“大院”街道办事处是设在一些大型单位（机关、学校、企业）驻地内的行政管理机构，其辖区就是该单位驻地范围。“大院”街道工作机构既是所在单位的职能部门，党组织关系、行政编制、经费等属本单位；同时又受地方政府领导，行使政府派出机构的职能。海淀区现有3个“大院”街道，即永定路街道、清华园街道、燕园街道。另外，东北旺、上庄、聂各庄等3个乡政权机关长期与当地国营农场管理机构合署办公，习惯上称之为“一套机构，两块牌子”。
20世纪50年代初，海淀地区基本上是农村，只有个别集镇和靠近旧城区的少数城市化地区。由于首都城市建设的发展，现辖域中城市地区逐渐扩大，特别是80年代以来，城市化进程大大加快。根据1993年《北京城市总体规划》规定，区境南半部全部划为规划市区，面积214.17平方公里，是全区面积的50.3%，其中已建成面积约160平方公里。至今，南半部地区绝大部分已成为首都的新兴城区。南半部的农村地区则日趋缩小，在京密引水渠以东、永定河引水渠以南，农村地区已多是互不相连的小片“飞地”。区境北半部仍是近郊区，农村地区主要在北半部。海淀区辖域已由以农村为主的城市近郊区，转变为以城市为主、城区和近郊区并存。
1988年5月，经国务院批准，在海淀区东部和南部建立了全国第一个国家级高新技术开发区——北京市新技术产业开发试验区。试验区在海淀区范围内规划区域约100平方公里，以海淀路、中关村路相交地带为中心，包含区境东、南和西南部，与朝阳、西城、宣武、丰台、石景山区相邻，其西、北界自玉泉路北口起，沿大台铁路、蓝靛厂南路，过长春桥向东，沿万泉河路、颐和园路、清华西路、圆明园东路，再沿清河向西，经圆明园西路、东北旺路、安宁庄路、新都路，至育新花园向南经后屯路到清河。试验区地跨海淀区16个街道（除香山街）和四季青、玉渊潭、海淀、东升、东北旺等5个乡的全部或部分区域。同时，在永丰乡中部设试验区永丰工业基地，规划面积约200公顷。1991年10月，在东北旺乡上地村，即试验区北界开始建设上地信息产业基地，占地1.81平方公里。1992年7月，在清河地区西三旗以东划地5.26平方公里，建设北京市西三旗高新建筑材料工业开发区。上述开发区是经济管理区域，不是行政区域。
至2005年，北京市海淀区辖21个街道，5个镇，3个乡，2个地区办事处。即万寿路街道、羊坊店街道、甘家口街道、八里庄街道、紫竹院街道、北下关街道、北太平庄街道、海淀街道、中关村街道、学院路街道、清河街道、青龙桥街道、香山街道、西三旗街道、马连洼街道、花园路街道、田村路街道、上地街道、燕园街道、清华园街道、永定路街道、温泉镇、上庄镇、苏家坨镇、西北旺镇、四季青镇、玉渊潭乡、海淀乡、东升乡、万柳地区办事处、东升地区办事处。
2005年底，玉渊潭乡被撤掉，原来的村被并入万寿路等5个街道办事处。原双榆树街道和原中关村街道合并成为新的中关村街道，学院路街道办事处所辖的东升园地区也并入到新的中关村街道内。海淀区万柳地区辖区内的万泉庄村地区并入到海淀街道，同时海淀街道办事处管辖的北三环西路、长春桥路以南地区并入紫竹院街道。海淀街道辖区内的大石桥地区和东升园地区内京包铁路以西、荷清路以北地区一同并入清华园街道。万柳地区办事处辖区内的树村地区、西北旺镇辖区内的中关村软件园区一同并入上地街道。此外，西北旺镇西北旺新村地区和百草园并入到马连洼街道。
到2012年底，下辖22个街道办事处、7个镇，564个居委会，84个村委会；到2012年底，全区户籍人口230.7万人，常住人口348.4万人。全区有56个民族，是北京市民族成分最多的地区。 海淀地区隶属沿革大体可分为四个时期：
（一）先秦时期，今北京地区是燕、蓟两诸侯国属地，后燕国兼并蓟国。
（二）秦汉至隋唐时期，今北京地区是中原地区的北方重镇，今海淀镇地区一直是北京城附廓县辖地。
（三）辽至清末，今北京地区为首都，海淀镇一带则是京都附廓县辖地，清代划入“城属”地区。
（四）中华民国时期（1912年1月—1949年7月），前期北京是首都，海淀镇一带是北京“城属”地区；后期北京失去首都地位，称北平。海淀镇地区属北平的市辖区域。1949后，海淀地区隶属北京市。
