宋熙宁十年（1077年），有上海务之设。元代上海立县，面积约2000平方公里，县域约今吴淞江故道以南市区、青浦县大部、闵行区大部、浦东新区大部和南汇县。到清嘉庆十五年（1810年）缩存600平方公里，县域约今吴淞江故道以南市区、浦东新区大部、闵行区大部。县城为
今南市区人民路、中华路环线内区域。
道光二十三年（1843年）上海开埠，道光二十五年上海县洋泾浜以北一带划为洋人居留地，后形成英租界。道光二十八年以虹口一带划为美租界。道光二十九年以上海县城以北、英租界以南一带为法租界。
同治二年（1863年），英、美租界合并为英美公共租界，光绪二十五年（1899年）又改称为上海国际公共租界。此后，租界多次扩大。
1943年7月30日和8月1日，汪伪政府宣布“收回”公共租界和法租界。1945年11月24日，国民政府外交部宣布接收上海公共租界、法租界，历时百年的上海租界结束。（上海都市图集的图册资料来源 ）
鸦片战争后上海开埠，外国的船只从外洋直溯而上，1845年英国殖民者首先在上海县境域划定英租界；1849年，法国殖民者也要求划定法租界；1863年，美租界与英租界合并成立公共租界。至此，上海市区划分为不同的管辖区，苏州河以北老闸（宋代建）和新闸（清代建）一带因大量贫苦农民的流入，逐渐兴起，形成北市。
1810年清政府颁发《城乡自治章程》，上海县合城南境、老闸、新闸、江境庙区域为上海城；另设蒲松镇、东泾镇及12乡。
1926年孙传芳督江苏省，成立淞沪商埠，分全境为上海、闸北、浦东、沪西以及吴淞5区。
国民政府成立后，根据孙中山的大上海计划， 1928年国民政府设立上海特别市，扩大市区范围包括上海、宝山县的一部分，设立17个区，而上海地区各县则仍属江苏省，从此上海市与上海县分离。城市范围东达浦东，西至静安寺、徐家汇，南趋龙华，北达宝山路底。
1949年5月上海解放后，成立上海市人民政府，设黄浦、老闸、邑庙、蓬莱、嵩山、卢湾、常熟、徐汇、长宁、普陀、闸北、静安、新成、江宁、北站、虹口、北四川路、提篮桥、杨浦、榆林等20个区和新市、江湾、吴淞、大场、新泾、龙华、洋泾、真如、高桥等10个郊区。同时，上海的郊县划入苏南、苏北行署，后由江苏省管辖。
1956年经过行政调整，上海市辖区减为18个。1958年，为了适应城市发展的需要，将江苏所属上海地区的郊县划入上海市，至此，上海市辖黄浦、邑庙、蓬莱、卢湾、徐汇、长宁、普陀、闸北、新成、江宁、虹口、提篮桥、杨浦、榆林等14个区，浦东、嘉定、宝山、上海、崇明、松江、奉贤、南汇、青浦、川沙和金山等11个县，总面积达6340.5平方公里，比建国初大十倍以上。
1960年，撤消邑庙、蓬莱设立南市区；1964年，撤消闵行区与吴淞区，此后上海保持了10个区和10个县不变达10余年之久。
文化大革命结束后，1980、1981两年，再置吴淞区与闵行区。1988年，撤消吴淞区和宝山县改为宝山区。1992年，撤消嘉定县，设立嘉定区。为进一步改革开放，1993年撤消川沙县，将其境域与黄浦、杨浦、南市的浦东地区和闵行的三林乡合并设立浦东新区。同年，撤消上海县和闵行区，组建新的闵行区。
20世纪末，松江县、青浦县和金山县也改为区。2000年南市区划入黄浦区。2001年1月奉贤县、南汇县撤县建区。2009年为了更好的开发浦东地区，合理配置地区经济与社会资源，综合优化总体布局，促进社会协调健康发展，撤南汇区、浦东新区，组建新的浦东新区。
2011年6月8日，国务院正式批复上海行政区划调整，同意撤销黄浦区和卢湾区建制，组建新的黄浦区。截至2011年底，上海上海市共辖16个区、1个县，共108个镇，2个乡，99个街道办事处，3742个居民委员会和1702个村民委员会。
2015年11月4日，上海市政府在全市干部大会上宣布，静安区与闸北区正式合并，组成新的静安区。
