史绍宾在《人民日报》亮出的一连串“铁证”与“剖析”，如同密集的排炮射向吴晗，同时射向已死去四年、远在台湾孤岛的胡适的尸首，尽管有些意淫的味道，但感觉应该是与射向身陷囹圄但尚在喘气的吴氏是一样爽的。许多年后，据中国社科院历史研究所历史学家王春瑜回忆说：尹达当年曾对他们几个年轻的研究人员说：“‘文革’是什么？就是让我们洗澡，互相都看见了，原来你有一个鸟，我也有一个鸟！”
按时间推算，尹达说这个话的时候，应是在“文革”中期之后，也就是他被历史所的造反派从“中央文革小组”大本营揪回所内，接受群众批判并在中央政治集团内部失势之后的事。因历史所有造反派公开张贴大字报，揭露尹达所说的“鸟”事，并谓此话是“恶毒攻击文化大革命”而广为人知。
但在初向吴晗亮剑挥棒和发射排炮的时候，正春风得意的尹达所言之“鸟”尚未露出，露出的是已被打倒和即将被打倒、手握重权、言行举止关涉国家安危的高官大吏的人头。当然，还有一部分无职无权，只有一肚子学问，言行举止轻如鸿毛的知识分子。但后者并不是重点，而前者才是最早被展示、阉割的对象。
就在吴晗投靠胡适“铁证”亮出的当天下午四时，中央人民广播电台紧急插播了新华社电讯：
中共中央决定：由中共中央华北局第一书记李雪峰同志兼任北京市委第一书记，调中共吉林省委第一书记吴德同志任北京市委第二书记，对北京市委进行改组。李雪峰、吴德两同志业已到职工作。北京市的社会主义文化大革命的工作，由新市委直接领导。
翌日，《人民日报》发表社论，指出：前北京市委的领导，贯穿着一条反党反社会主义的黑线。“在社会主义文化大革命中，揭露了‘三家村’反党反社会主义的反革命集团。这个反革命集团的根子，就是前北京市委。……不管他是什么人，不管他的职位有多高，资格有多老，都要全党共诛之，全国共讨之。他们得到的结果，只能是身败名裂。”
随着以彭真为首的北京市委领导班子彻底倒台和身败名裂，吴晗的命运也急转直下。除已经身染的“海瑞”、“三家村”等“现行反革命分子”罪过，又因史绍宾“铁证”的出笼，牵涉出早年的家庭出身和胡适的瓜葛，吴晗的头上又骤然增加了“反革命老手”、“美帝国主义的奴才的奴才”等几顶沉重的钢盔。自此，吴晗彻底失去人身自由，整日接受“组织”审查和革命群众游街批斗。
他面临的不只是“身败名裂”，而是时刻有被“诛之”的危险。
吴晗的养子、当时只有7岁的吴彰后来回忆道：“我永远忘不了他们把爸爸绑跪在烈日下的枯树干上，往他脖子里灌晒得滚烫的沙子。他们抡起皮带抽他，揪他的头发，拧他的耳朵，用各种想得出来的法子侮辱他。爸爸三天两头被拉去游斗，学校要斗，区里要斗，县里要斗，这里要斗，那里也要斗……以后我们听说，爸爸戴着手铐被押到人民医院看病，他满头的白发都被揪光了，还大口大口地吐着鲜血。”
在批斗之初，吴晗全家住在北长街一处市政府拨给的宽敞明亮舒适豪华的住宅里，随着批斗的升级，吴氏一家被扫地出门，进入只有十几平方米的黑屋子居住。除了吴晗被整日拉出去转着圈遭受棍棒伺候，“文革”中诞生的红卫兵还勒令身体恢复得刚刚能走路的吴妻袁震，每天拿着扫帚到北长街打扫马路，并随时把吴、袁夫妇二人绑在一起拉出去批斗与侮辱。当时住在北长街的许多人亲眼所见，在酷暑烈日下，吴晗被红卫兵与街道内一些不知道什么身份的北京土著，拧着脖子反剪双手拖到马路上，被强行按跪在粗硬的瓦砾上，用皮鞭棍棒等施以毒打。毒打过后，吴晗每次爬起来，青紫色的膝盖早已磨烂，全身皮开肉绽，鲜血顺着大腿一道道淌下。而吴晗一旦得到赦令，一瘸一拐地回到只供容身的小黑屋里，擦去身上的血迹，便将毛主席亲自签名送他的那本《毛泽东选集》著作捧在手里，以虔诚、崇拜加迷惑不解的复杂心境反复诵读。只是他越看越觉得自己委屈，越看越感到心绪茫然。他不断在内心自问，自己尽管没有当年的苏秦、张仪之才，但作为一个不咸不淡、多少有些名声的革命“斗士”，在国共两党之间合纵连横地捭阖了这么多年，何以最后“斗”出了这么一个名堂？
当时的吴晗尚未意识到，这个“名堂”对他来说已经是够幸运的了，比他资格更老，官帽子更大，权势更不得了的高官大员更感到冤枉和委屈。开始批斗彭真的时候，彭更是不服气，自己乃一介老革命干部，为何要把我打翻在地，还要踏上一万只脚？于是，彭真在批斗会上强烈辩解道：“‘毛主席万岁！’这五个字是我最先提出来，也是最早喊出来的。”按照一般的逻辑，难道一个最早发明“毛主席万岁”的人会反对毛主席吗？彭真想不通，并为自己在政治上受到的不公待遇和肉体遭受的折磨大喊冤枉。但时势比人强，特殊时期自有特殊的逻辑和对事对人的方式方法，何况即是每天“万岁不离口，语录不离手”之人，也不见得就是真心忠于毛主席和毛泽东思想。而“当面哈哈笑，背后下毒手”的多头巨人也不是没有，且在历史上、特别是在推崇和讲究权变诡吊之术的中国人群中，弑君弑父者可谓屡见不鲜，触手可及，五步之内必有谋此诈术者。
当然，这时的彭真想不通，而吴晗同样是整不明白。但不管你明白还是糊涂，都必须面对现实和这个越来越凶多吉少的“名堂”。
1968年3月，公安部长谢富治下令将吴晗逮捕入狱。一个月后，妻子袁震被送往郊区劳改队劳动改造并接受“群众专政”。吴、袁夫妇由此开始了更加酷烈与凄惨的厄运。
1969年春，身体几不能站立的袁震被允许回家看病，就在她回到家的当晚，住在同院的北京市委书记处书记万里闻讯，特地送来一碗袁氏最爱喝的红豆稀粥以示慰问，想不到这碗稀粥竟成了“最后的晚餐”。身体早已垮掉的袁震当天夜里病情加重，脸色青紫，大口喘气，全身抽搐。其时只有10岁的养子吴彰与养女小彦，立即用平板车把母亲拉到医院，由于袁是吴晗的家属，同时又是没摘帽的右派分子，院方将其视为阶级敌人而拒绝接收抢救。熬到翌日凌晨，躺在医院大厅一角冰冷水泥地上的袁震，于惨淡的星光映照中，撇下了两个未成年的孩子撒手归天。据说，直到女儿小彦去太平间为其更衣时，袁震的双眼还半睁半闭，面颊上残留着几滴清泪——她死不瞑目，因为她不知道自己走后，夫君吴晗与两个孩子的命运会将如何？
1969年10月11日，突然有人来到吴家门外招呼吴彰与小彦去看他们的爸爸，姐弟俩闻讯异常兴奋，一蹦三跳地蹿了出来。当二人来到大门口时，一阵阴风扑面而来，停在门前的汽车竟是医院的牌子，姐弟俩心头立即掠过一丝不祥之兆。果然，来人对他们冷冷地说：“你爸爸今天早晨死了，尸体就在车上。”
犹如晴空一声霹雳，小彦瘫坐在地，先是号啕大哭，继而双手抱住来人的腿追问：“我爸爸（活着的时候）怎么不想看看我们呀？”
来人将小彦的手扒开，道：“昨晚他提出要见你们，我们不知道你们住在哪儿。”姐弟俩闻听哭声更高，小彦昏倒在地人事不省。在场的医生忙把她抱起来救治，望着这位瘦小的姑娘脸白如纸的面容，医生禁不住流下了同情的热泪。
这时，车后走过一个身穿黄军装的大汉，对姐弟俩厉声斥责道：“你爸爸是个坏人，如果不和他划清界限，没有你们的好果子啃……这件事不许告诉任何人，否则饶不了你们的！”说罢，招呼众人上车。
装载吴晗尸体的汽车随着腾起的滚滚尘土疾驶而去，吴彰和小彦都未能看一眼断气的爸爸。吴晗留给这对姐弟俩的唯一纪念品，就是他在狱中穿过的一条血迹斑斑的裤子。
吴晗死在1969年10月11日，距姚文元那篇评《海瑞罢官》文章发表正好四年。
对于吴氏一家来说，事情远没有结束。由于袁震与吴晗之死，女儿小彦刺激过大，一度精神失常。未久，小彦以“影响首长安全”的罪名被捕入狱。在狱中，小彦的门牙被狱警打掉，额头上打开了一道口子，整日流血不止。1976年9月23日，已被折磨得难以忍受的小彦跳楼自杀。