西部花园的书园主人是太史叶士宽，中有拥书阁、读书轩、行书廊、浇书亭诸胜，皆昔年废地，由叶氏新筑。拥书阁有十景，士宽之子树藩曾与其甥武进赵怀玉赋诗记之。书园后归道员沈元振，园中第宅为太常博士汪美基所居，旋又分属程、赵、汪等姓。

蒋氏拥有复园七十余年之后，终于易主。清嘉庆十四年（1809），刑部郎中海宁查世倓购得此园。其时园中池堙石颓，查氏修缮经年，焕然一新，仍名复园。但为时不久，至嘉庆末年又归吏部尚书协办大学士平湖吴璥，其子观察晋德也曾居此，故苏人呼为吴园。春日游人如织，摊贩杂陈。虽然是园仍保持了“水木明瑟旷远，有山泽间趣”的特点，但视旧园仅得三分之一。故道光廿二年（1842）梁章钜挟恽南田图游园印证时，谓园景与一百六十多年前的恽图已大不相同。由于吴氏长期在外地做官，疏于管理，逐渐亭台倾圮，池馆萧条。

园南的东部花园第宅，其时归部郎潘师益。潘与其子在内营构瑞棠书屋。 咸丰十年（1860）六月二日（旧历四月十三），太平军进驻苏州。忠王李秀成以拙政园并东面的潘子潘爱轩宅、西面的汪硕甫宅合建忠王府，相传见山楼为其治事之所。“工匠数百人终年不辍，工且未竣，城已破矣”（马如飞《劫余灰录》）。据李鸿章后来给李鹤章的信中所述，“忠王府琼楼玉宇，曲栏洞房，真如神仙窟宅”，“花园三四所，戏台两三座，平生所未见之境也”。

同治二年（1863），李鸿章占领苏州后，将忠王府作为自己的江苏巡抚行辕，藩臬司也在其中办公。由善后局付白银三千两给原园主吴氏，以园归公，西面的汪姓房屋仍归汪氏。当时官府还附设医药局于园内，行医施药。过了一年多，有人入游，见园内“事物已颓损十之五”。至同治五年（1866），巡抚衙门迁离拙政园。

同治十年（1871）冬，南皮张之万（光绪中为大学士）任江苏巡抚时，居拙政园原潘宅房屋内。张能书画，经营修治，渐复旧观。有远香堂、兰畹、玉兰院、柳堤、东廊、枇杷坞、水竹居、菜花楼、烟波画舫、芍药坡、月香亭、最宜处诸胜，绘有《吴园图》十二册。后张之万升任浙闽总督，离苏有日，就与右布政使恩赐、管理苏州织造部堂德寿、粮储道英朴、恩竹樵三人（俱满族）商议，倡立会馆，以价银三千、修理费二千汇交藩库。于同治十一年（1872）正月，将拙政园改为“八旗奉直会馆”，其范围包括园的中部花园及前面的房屋，园仍名拙政。光绪十三年（1887）又曾修葺过一次，“首改园门，拓其旧制，……其他倾者扶，圮者整”，并建澄观楼于池之上。当时园中古树参天，“修廊迤俪，清泉贴地，曲沼绮交，峭石当门，群峰玉立”。这一以水为主、水面阔广、景色自然的格局基本保持至今。

园西部花园的汪姓宅园，于光绪三年（1877）以价银六千五百两售于吴县富商张履谦，易名为“补园”。当时园中亭台只存一、二处，残破不堪，已非昔日景况。经张履谦大加修葺，遂有塔影亭、留听阁、浮翠阁、笠亭、与谁同坐轩、宜两亭等胜景，又新建了精致绮丽的卅六鸳鸯馆、十八曼陀罗花馆。光绪二十年（1894）张获得文徵明《王氏拙政园记》石刻碑拓，重摹上石，又得文徵明、沈周遗象，为之建“拜文揖沈之斋”。张氏以巨款经营多年，追求奢丽，部份失去了拙政园疏朗闲适的特点。但张与其孙紫东俱爱好昆曲，所构卅六鸳鸯馆，其顶层结构为“卷棚顶”，音响效果甚佳。昆曲前辈俞振飞常随父“曲圣”粟庐来此园游憩度曲。

随着以武昌起义为发端的辛亥革命爆发，起义浪潮迅速波及全国各省。江苏巡抚程德全于1911年11月5日宣布独立，自任都督。1911年11月21日，在拙政园成立江苏省议会，原谘议局议员55人到会，程德全亲自莅会，宣布开会宗旨。谘议局议员摇身一变，成为省议会会员，遂由会员公推议长，张謇选为会长，蒋炳章为副会长。此时八旗奉直会馆已改称奉直会馆。由于八旗奉直人游宦于苏的日益减少，会馆经济不佳，于是对外开放，收取游资。园中开辟茶室，并曾辟娱乐场，以唱滑稽戏、说书等招揽游客。日常只数十人入游，唱戏时可增至二、三百人。

民国五年（1916），奉直会馆由水警长仇翼南派人管理。民国八年（1919）左右，奉直会馆房宅（现苏州市博物馆）曾辟作时疫医院。民国十三年（1924）9月江浙战争爆发，苏州云集大批军队。民国十四年（1925）1月27日，奉军第一军军长张宗昌率所部第一梯团约1500余人到苏，总指挥部设于奉直会馆。民国十七年（1928）九月与廿三年（1934）十月间，又二度被借作戒烟所。之后，还曾做过区公所（为老人口述材料）。现园林博物馆老馆房宅在民国九年（1920）左右，售与李鸿章之侄、清末云贵总督李经羲。经李以巨款翻修，甚为精致。李不久即殁，子孙无人居苏，房屋后曾抵押与某银行。“一·二八”。