上海市在1956年、1957年第一次全面普查之后，经过鉴定及多次反复讨论、研究，提出了市级文物保护单位62处，市人民委员会于1959年5月26日核准公布，其中革命遗址：甲级17处，乙级17处；历史文物：甲级11处，乙级17处。1960年11月22日市人民委员会批准公布了第二批市级文物保护单位15处，全部为革命遗址，其中甲级1处，其余皆为乙级。市郊10县划入建置后，市文物管理委员会在松江、嘉定、青浦、上海等县进行了普查或复查的基础上拟出第三批市级文物保护单位名单，市人民委员会于1962年9月7日批准公布，共27处，其中革命遗址6处、古文化遗址3处、名人墓葬5处、古建筑12处、碑刻1处，其中有松江唐经幢、兴圣教寺塔等5处曾经江苏省人民委员会公布保护。鉴于全国重点文物保护单位不分等级，上海市也不再分级。

1961年3月4日国务院公布了第一批全国重点文物保护单位，上海市有中山故居、中国社会主义青年团中央机关旧址、中国共产党第一次全国代表大会会址、鲁迅墓4处列入。

自此，上海市有全国重点文物保护单位4处，市级文物保护单位102处，其中革命遗址、历史文物各51处（于1963年曾撤销保护历史文物1处）。嘉定、松江、青浦、上海、金山县和南市区，在1962年前也分别由区、县人民委员会公布区、县级文物保护单位68处。1963年市委第一书记柯庆施提出上海市文物保护单位过多，因而1964年2月市文管会提出市级文物保护单位历史文物部分，保留10处，撤销36处，4处改为区县级的方案，上报市人民委员会，1966年11月11日市人民委员会批复“同意撤销部分，保留部分再作研究”。此时“文化大革命”已开始，许多文物保护单位遭到破坏，“文化大革命”期间，被拆除的有广福寺、潮惠会馆、木商会馆、朱泾砖幢、江西会馆、方泰牌坊、白云观大殿、松江啸园等。被平整的墓葬有陈子龙、黄淳耀、吴历、陆深、黄道婆、邹容、宋教仁等人的墓，部分损坏的有徐光启墓、南春华堂、钱业会馆等。至于豫园、真如寺等屋面装饰，静安寺、龙华寺、真如寺、沉香阁内佛像等，也不同程度受到人为的损毁。

1973年，根据国务院总理周恩来等中央领导提出注意保护文物的指示，市文管会提出《上海市文物保护单位调整方案》上报市革命委员会，但一直未予批复。

1977年，市文管会又着手修改上报“调整方案”，12月7日经市革命委员会批准公布：列入市级文物保护单位的26处（其中革命遗址19处，历史文物7处），建议改列为区县级文物保护单位9处，撤销59处。由于当时左的思想影响，对不少历史人物的故居与重要活动地点均未列为保护单位。

1978年12月中共十一届三中全会以后，拨乱反正，1981年6月公布了《关于建国以来党的若干历史问题的决议》，文物博物馆工作者对被撤销的文物保护单位重新估价，1980年8月、1984年5月、1987年11月、1989年9月以及1992年6月先后公布了第二至六批市级文物保护单位，对于过去被视为“禁区”的史实进行探索，将革命文物如《新青年》编辑部旧址、上海大学旧址、上海书店旧址等恢复为市级文物保护单位。历史文物中把原为区县级的松江清真寺、放生桥、邹容墓等提升为市级文物保护单位。同时，也列入了国民党进步人士、民主党派社会知名人士，如蔡元培、黄炎培、张元济、沈尹默、傅雷等故居公布为市或区县级文物保护单位。此外，上海是国际上闻名的都市，外国人在上海活动很多，有大韩民国临时政府旧址、内山书店、路易·艾黎故居等也分别列入市区级保护单位和纪念地点。

1982年2月23日国务院公布的第二批全国重点文物保护单位，列入了宋庆龄墓和豫园，1988年1月13日公布的第三批全国重点文物保护单位有龙华革命烈士纪念地、松江唐经幢和徐光启墓。各区、县也陆续相应的调整和增补了区县级文物保护单位。

至1992年底，上海市共有全国重点文物保护单位9处，市级文物保护单位128处，区县级132处。

纪念地点与保护地点

1959～1962年公布了三批市级文物保护单位106处，其中4处升格为全国重点文物保护单位。在1977年作了调整后，下列四类不再列为文物保护单位。

第一类是原建筑物已毁，或原貌改变较大，无法修复。但是史迹重要，有纪念意义改列为“纪念地点”。如上海工人第三次武装起义工人纠察队总指挥部——原东方图书馆，一二八抗战时为日本侵略者炸毁，后建立学校，1987年3月为纪念上海工人第三次武装起义60周年，在校园中立碑纪念。又如“五卅运动爱国群众流血地点”、“上海人民保安队总指挥部旧址”等，都分批列为勒石纪念。已公布纪念地点有22处。

第二类是日本帝国主义侵略上海的遗迹。如金山卫城南门日军登陆地点、庙行无名英雄墓等6处具有纪念抗日意义，1984年3月经市府核定公布为“日本侵略上海遗址纪念地点”；1987年为纪念抗日战争50周年又增加“八百壮士‘四行仓库’抗日纪念地”一处共7处。

第三类是古文化遗址。本市陆续发现新石器时代至春秋战国时期遗址25处，1966年前，曾将崧泽、马桥、广富林三处列为市级文物保护单位，由于对古遗址的保护要求与古建筑、革命遗址等不同，古遗址面积大，又蕴藏在地下，地面上仍可耕种，而且古遗址在考古发掘以后，有的可以撤销保护，因此改列为“保护地点”，明确规定在遗址范围内，平时可以耕种，如需深翻土地、兴修水利或进行基本建设时，应事先与文化文物行政部门联系，由文管会先作清理发掘，始可动工。现已公布的保护地点有15处。

第四类是烈士墓。1966年前将虹桥公墓内的王孝和、李白、邹韬奋、茅丽瑛、《文萃》三烈士等5座墓列为文物保护单位，上述诸墓后移至漕溪路上海革命烈士陵园，归市民政局管理，1995年均迁葬于“龙华烈士陵园”。据国家公布烈士墓的保护管理办法，为避免双重管理，烈士墓不再列为文物保护单位。

宝山、闵行、黄浦、虹口和青浦等区县公布的区县的纪念地点和保护地点有16处。