就在梅贻琦病情暂时稳定，生命回光返照的日子，最后一次住进台大医院特一号病房的胡适也在医务人员紧急施救中挣脱了死神的召唤，重新站立起来。在住院的后期，胡适经常来到对面的特二号病房探望躺在病床上的梅贻琦，聊一些公私事宜。其间，一生爱好为文立据的胡适深知梅氏病况和医治情形，预感到老友将不久于人世，在交谈中委婉地劝梅贻琦写一个遗嘱，不论公事、私事，皆立一字据，给自己也给后人一个明晰的交代。梅听罢并不作答，且有不悦之色。胡不便继续言说，此事遂不了了之。后虽经韩咏华和梅贻琦之弟、专门从美国赶到台湾的梅贻宝劝说，仍未奏效。
1961年12月5日上午，负责料理胡适病情的胡颂平一到医院，胡适便笑着说：“今早七时，我写了一封情书，是给对面的老朋友的情书。”言毕拿给胡颂平观看，内容如下：
恭贺月涵老兄做清华校长整三十年的纪念日，并祝您早日完全恢复健康！
小弟弟适之1961年12月5日早晨7点。——入医院后第一次写字，敬告老兄，我觉得很好了！
据胡颂平当天记载：“今天是梅贻琦做清华校长30年的纪念日，清华校友会有一个庆祝纪念会，同时给他发起募捐医药费，不让梅贻琦本人知道。查良钊送来祝寿募捐办法，先生捐了美元五百元。”此时胡适经济并不宽裕，一次捐助五百美元，可见其与梅的深厚情谊以及士林盟主的风范。
十天之后的12月16日上午，蒋经国代表蒋介石专程到医院探望梅贻琦与胡适。在特二号病房，蒋氏详细询问了梅的病情和治疗情况，叮嘱医务人员不惜一切代价延续梅的生命。此时胡适病情已得到控制且大有好转，蒋经国进入病房后作了简单询问，代表蒋介石预祝胡适70岁生日，并商定等胡出院后再专门设宴为其祝寿。
第二天，胡适在台大医院病房内接待来访者并度过了一个热闹的生日。夫人江冬秀专门在台北福州路26号临时住宅举行庆祝寿宴会，毛子水、杨亮功等四十余人前往参加庆祝。此时没有人想到这竟是胡适最后一场生日庆宴。
1962年1月10日，胡适病愈出院，回到台北福州路26号临时住宅疗养，行前专门到梅贻琦房中探望，作了推心置腹的长谈，随后举家迁到南港学人宿舍居住。2月20日，胡重返台大医院复查身体，血压、心脏均正常无恙，临走前，顺便探望老友梅贻琦。面对两位老友恋恋不舍的情景，在场者为之感动的同时，都认为躺在病床上靠输血维持生命的梅一定走在胡之前。想不到世事无常，生死自有定数，谈笑风生的胡适竟先梅贻琦而去。
1962年2月24日，“中央研究院”在南港蔡元培馆举行第五次院士会议，选举新一届院士。胡适几位在海外的学生，或隔代门生如吴健雄、袁家骝、吴大猷、刘大中等四位“中央研究院”院士，皆从美国赶来助势，其中吴健雄——这位胡适早年在中国公学的学生、“二战”期间美国“曼哈顿计划”（研制原子弹）的参与者、普林斯顿研究院两百多年历史传统的第一位女性研究员兼教授、杨振宁与李政道“弱相互作用中的宇称不守恒”定律的实验证明者、“全世界最前列的女性实验物理学家”，于前一日在台湾大学化学馆作了“对等律”演讲。吴氏先从空间与时间讲起，再谈起左右观念在自然律中是不存在的。后来讲杨振宁、李政道两人当时推翻物理学上基本的对等定律的时候，好像在一座漆黑的大房子之中，知道有一个地方可以出去，但不晓得从什么地方出去，于是吴氏本人怎样的把它实验证明出来。在这个证明过程中，吴健雄几个星期睡不着觉，反复琢磨，终于用实验证明了出来了。最后，吴氏总结道：“科学不是静的，是动的，而是永远不停的在动的；要有勇气去怀疑已成立的学说，进而去求证。就是胡院长说的‘大胆的假设，小心的求证’的两句话。”当专门前去听讲的胡颂平回来向胡适报告吴的演讲内容与最后的总结，胡氏异常高兴和激动，在与吴的丈夫、当年的袁世凯大总统之孙袁家骝电话通话中，特别提及道：“我已知道健雄今天演讲的成功，我特别高兴，请你替我贺贺健雄。”正是怀揣这样一份激动与亢奋心情，身体健康不佳的胡适出席了第二天召开的院士选举会议。
24日上午8点20分，胡适出现在南港“中央研究院”蔡元培馆，十八位出席会议的院士全部到齐。9时，胡适宣布开会，选举开始。经过三轮投票，选出新一届院士七人。分别为：
数理组：任之恭、梅贻琦、程毓淮、柏实义。
生物组：李景均。
人文组：陈槃、何廉。
下午5时，胡又出席“中央研究院”举办的酒会，入席者达一百余众。胡适满面含笑地登台致辞：“今天是中央研究院迁台十二年来，出席人数最多的一次院士会议。令人高兴的是海外四位院士也回国参加这次会议。中央研究院第一届院士是在大陆上选出的，当时被提名的一五零人，选出了八十一位。现在一部分是过去了，有的沦陷在大陆，只有廿多位在自由地区。中央研究院在此恢复时，只有十九位活着在台湾。……现在得了政府的帮助，及海外团体学会的帮助，始有今日的规模。设了七个研究所，召开了四次院士会议，选了三届院士。今天上午第五次院士会议，经过了三次投票，结果选出七位院士。二位在台湾，五位在海外。在台湾的是梅贻琦、陈槃，在海外的是任之恭、柏实义、程毓淮、李景均、何廉。十几年来，我们在这个孤岛上，可算是离群索居，在知识的困难，物质的困难情形之下，总算做出点东西……”
胡适讲罢，由凌鸿勋与李济分别讲话。李济先说“中央研究院”的任务是拟订国家学术方针和研究政府交议事件。为国家拟订学术方针是件任重道远的事，我们如何交代？接着旧事重提，谈到1961年11月6日，胡适出席“亚东区科学教育会议”，在开幕式上所作的《科学发展所需要的社会改革》演讲并受到围攻，同时提到胡适的观点在某些地方与自己的看法也不一致。认为“科学思想在中国生根不成，是最大的问题。经过50年提倡，今天我们的成绩如何？一切科学设备是向外国买来的，学生最后必须出洋去，我们有什么中文的科学大著作？还比不上日本。我真不敢乐观，科学不能在这里生根，就总觉得它是舶来品……”
对于李济的说法，接着讲话的吴大猷不以为然，劝大家不必悲观，吴说：“我们有了留学制度40年，为什么科学不能在国内生根，主要的原因是缺乏环境。留学得了博士的，只是找到研究学问的入门，并没有受完足够的训练，如果立刻回国，就很难自行继续研究下去。我们要把基础栽培起来，绝对没有捷径。像杨振宁、李政道这样的天才，尚需八九年的训练才能成熟。一个国家更得加倍努力的时候，要20年才能有个标准。我觉得李济先生不必太悲观……”
吴大猷言毕，胡适接着说：“我赞成吴大猷先生的话，李济先生太悲观了。”胡适说此话，是缘于李济旧事重提，勾起了他的不快。胡氏想到自己的观点遭到社会上无聊之徒的“围剿”，如今连自己人也不赞成，有些恼火。随后的发言，虽是承接吴大猷所讲“不知哪位先生首先提出‘迎头赶上”’这句颇有些不自量力和投机意味的说法而来，但心中仍是冲“围剿”的旧事而借题发挥。胡适说道：“我们中央研究院从来没有说过什么太空、迎头赶上的话……我们现在不要谈太空理论，是达不到的，今天连一个完全的物理系都没有，还谈什么太空？清华大学花了200万美元，添购设备，可是依旧没法聘到中年的物理人才来领导……”胡适说到此处，似有些伤感和动情，继之说道：“我去年说了二十五分钟的话，引起了‘围剿’，不要去管他，那是小事体，小事体。我挨了40年的骂，从来不生气，并且欢迎之至，因为这是代表了中国的言论自由和思想自由。”
胡适所说的“围剿”，自是指以徐复观为盟主的一批所谓的“新儒家”和异己分子，对自己的思想观念和人身攻击。按当时的情景推断，面对海内外云集而来的学界名流、门生故旧，此时的胡适心头在掠过徐复观以“耻辱”、“脸厚心黑”、“最下贱的中国人”等词语谩骂的同时，也一定不会忘记徐氏攻击自己为维持现有的官场和学术地位而采取的三大战略：
第一大战略是：以诬蔑中国文化、东方文化的方法，来掩饰他为什么不懂中国文化、东方文化。以赞颂自然科学的方法，来掩饰他为什么不懂西方人文科学方面的文化，因为他是志在自然科学。以忏悔少年走错了路的方法，来掩饰他为什么又不懂自然科学。第二大战略是：以“无稽之谈”，“见机而作”的方式来谈自由民主。
第三大战略是：以院士作送居留美国或已入美国国籍的学人的人情，因而运用通信投票的魔术，提拔门下士，使中央研究院变为胡氏宗祠。
尽管胡适一再表白对于别人的骂，自己从来不生气，但要做到心如止水，又谈何容易。因而当胡适对当年“二十五分钟的话”旧事重提后，当时在酒会现场的胡颂平说看到：“先生讲到这里，声调有点激动。”接着对台湾立法院、监察院、省议会，特别是监察院“那个破房子里一群老先生老小姐聚在一起讨论批评”进行了嘲讽。就在胡氏“大声疾呼的时候，突然把话煞住，也许感到（身体）不适了。急忙接着说：‘好了，好了，今天我们就说到这里，大家再喝点酒，再吃点点心吧，谢谢大家’”。
此时，立在不远处的胡颂平看了下表，正是6点半，客人开始陆续散去，胡适仍站在原处含着笑容和一些人握手告别。当他正要转身和一位客人说话时，忽然面色苍白，晃了一晃便仰身向后倒下，后脑先碰到桌沿，再摔倒在磨石子的地上。站在他附近的凌鸿勋、钱思亮等连忙伸手来扶，但为时已晚。一代鸿学硕儒、儒林宗师、新文化运动的老祖，因突发心脏病发作溘然长逝。
噩耗传出，有人谓胡是被李济气死，更多的人则认为李济只是在错误的时间，错误的地点，点燃了一根错误的引线。胡适真正的死因应该归之于徐复观等辈狂勃的谩骂与围剿，徐复观才是真正导致胡适砰然倒地的天暴星和丧门神。
胡适所说的挨了四十年的骂，当是自五四运动开始算起，四十个春秋的旧创新伤在悲苦交集中一起发作，导致命赴黄泉。胡氏的突然卒亡，不禁令他的门生故旧忆起走在前边的傅斯年。当年傅斯年在台湾省议会大厅被“气死”，如今胡适又死于“中央研究院”大厅，两位亦师亦友的学术文化巨人，竟都选择了这样的方式猝然倒下，或许是一种心灵的呼应，或是上帝有意安排？傅斯年活着的时候曾不止一次说过：“不管是什么人，都不能骂胡适之，只有我才有资格骂。”现在，时常微笑着的胡适之已去，于九泉之下寂寞日久的傅斯年总算又有“开骂”的对象了吧。
胡适带着“朋友”式的微笑匆忙走了。台岛震动，世人同悲。蒋介石闻讯，以哀惋之情当晚亲笔泼墨挥毫，写下了意味深长的挽联：
胡适先生千古新文化中旧道德的楷模，旧伦理中新思想的师表。
蒋中正敬挽这副挽联确乎较为真切地概括、体现了胡适一生的功德与风范，是所有挽联中最优秀的杰作，其他一切皆不足与其齐肩并论。这个评价，除了缘于该联词句组合之妙及含义深远广博，当然还与出自蒋介石之手密切相连。此联出于介公之手就变得大为不同，后世研究者认为其情甚幽，其意甚深焉。该联在表彰胡适功德的同时，亦隐含了蒋对胡的成见与芥蒂，同时亦暗示讥讽胡适的隐私、特别是与多名女性在醋海情波中纠葛不清、隐而未显的风尘旧事。——只是无论如何诠释解读，都无法否定这副挽联在章法上独出匠心的杰构，以及介公对死者的尊敬哀悼之情。
胡适去世的第二天，宋美龄专程赴胡宅看望悲恸中哭得泪人一样的胡适夫人江冬秀，劝其节哀，保重身体，要好好地活下去云云。2月27日，蒋介石派专人送来亲笔手书的挽额“智德兼隆”四个大字以示哀悼之忱。3月1日，胡适的遗容公开瞻仰，蒋介石亲自前往吊唁。6月27日，蒋公频布褒扬令，有“中央研究院院长胡适，沈潜道义，浚瀹新知。学识宏通，令闻卓著。首倡国语教育，对于普及教育，发扬民智，收次甚宏”等赞语。
除蒋介石、陈诚等为代表的官僚集团与政客纷纷致送挽词、挽幛以示哀悼，与胡适生息相依的“中央研究院”同仁联合撰著祭文，对故院长一生非凡的功业给予充分褒奖与称誉，文曰：
你在这几十年来的论战里，也只有一种不改不移的观念。你最敬爱中国古代的圣人，但你最不爱浮夸遥远的光荣。你也最看重中国近代的革命与进步，但你又最深知我们民族累积的弱点。你不断地用世界的水准衡量我们民族的内心和物理的生活，所以在 你七十岁的病中，和在你的青年壮盛的时代一样，你都不怕逆着风向，挺身高呼，你要国人痛切觉悟我们东方老文明的衰朽，你要国人热诚赏识西方新文明的成就。
我们懂得你的用心：
你是要国人践孔子“知耻近乎勇”的格言，你是和手创民国的中山先生一样，要唤起这个知识、道德“都睡了觉”的民族。
我们懂得你的刺耳警心的言论，不是对国家尊严的伤害，而是一个再造文明、复兴民族的关键。
胡适的遗体人葬台北“中央研究院”在南港“学人山”专门为其兴建的墓园。出殡之日，台湾各界有30余万人为“我的朋友胡适之”自动执绋。国民党要人、学界名流、生前友好、同事前往送行者不计其数，整个送葬路上人山人海，车马难行，拥挤不堪，形成了无涯之海洋。其规模之大，盛况之隆，台岛前所未有，可谓备极哀荣。胡氏的小脚太太江冬秀抹着眼泪，从窗缝里看到如此壮观浩瀚、涌动不息的人潮，甚为感动，也颇觉荣幸，于悲恸中对她的长子胡祖望用原装的安徽腔说道：“祖望呵，做人做到你爸爸这分儿上，不容易哟！”胡适临死前的四个月，这位与胡氏同庚并于14岁订婚，以打麻将推牌九为一生之专业特长和奋斗目标的江冬秀，才携带一张笨重而有点破烂的旧床自美国赶到台湾陪伴身体病弱的丈夫生活。胡适临终前两天曾嘱咐秘书王志维替自己物色一所房子，并说：“我太太打麻将的朋友多。我在南港住的是公家宿舍，傅孟真先生给中央研究院留下来的好传统之一，就是不准在宿舍打牌。我也不应该不遵守傅先生留下的规矩。”王志维听罢，很是感动，第二天便开始想法联系。但房子没有找到，胡氏却驾鹤西去。王志维在帮助其家人清点遗物时，发现除了书籍、文稿、信件等，胡适生前留下的钱财只有135美元。
胡适的学生、原北大图书馆馆长、台湾大学文学院教授毛子水代表治丧委员会为其撰写了墓志铭。金石名家王壮书丹。墓志文字平易又含义深长，朴素而又庄严，文情并茂，堪称逝者生前倡导的白话文的至高境界，铭曰：
这是胡适先生的墓生于中华民国纪前二十一年卒于中华民国五十一年这个为学术和文化的进步，为思想和言论的自由，为民族的尊荣，为人类的幸福而苦心焦虑，敝精劳神以致身死的人，现在在这里安息了。
我们相信，形骸终要化灭，陵谷也会变异，但现在墓中这位哲人所给予世界的光明，将永远存在。
中央研究院胡故院长适之先生治丧委员会立石中华民国五十一年十月十五日胡适突然撒手归天，消息传到台大医院，梅贻琦深为悲痛。兔死狐悲，物伤其类，经此刺激，梅贻琦病情加重，几度昏迷不醒。当月，其“教育部长”职务获准辞去。4月29日，梅氏在病榻上发表了最后一次对清华校友的讲话，诚朴谦逊一如往常，只是言语稍有错乱。5月4日，由微热到高烧不退，咳嗽转剧，任何抗生素都不能控制。19日，梅贻琦陷入昏迷状态，体温升至41℃。如此病况，国民党高层为之震动，蒋介石闻讯，指示陈诚、蒋经国等组织台大医务人员全力抢救，延至上午10时50分，终告不治。梅贻琦溘然长逝，亨年73岁。
是日中午，台北各电台首传噩耗，清华同学数百人闻讯，于惊骇、悲痛中急趋台大医院奔丧。特二号病房中阴沉暗淡，韩咏华方举哀室隅，梅的好友、台大教授查良钊则忙于奔走料理，力竭声嘶。清华校友环列榻前，默对遗体，缅想往日耳提面命之恩，益感此时人天遥隔之痛，无不掩面悲泣。
梅贻琦生前有一个随身携带的手提皮包，入住台大医院时放在床下一个较隐秘的地方，包里装的什么珍贵东西没有人知道。梅去世后，秘书在料理后事的同时迅速将手提包封存，后来在有各方人士参加的场合下启封。当包打开，所有的人都目瞪口呆，里边装的全是清华基金账目，一笔笔清清楚楚地列着。睹物思人，在场者无不为之感动，有热泪盈眶者。此时韩咏华才顿悟，梅贻琦没有任何财产，所有的话都在病床上讲完了，所以也就无须写什么遗嘱了。
5月23日上午举行公祭，宋美龄亲到梅夫人寓所慰问，蒋介石特颁“勋昭作育”挽额，以旌逝者高风亮节之风范，同时遣当局秘书长张群代表致祭。一时间，陈诚、五院院长、各部部长、大学校长，以及各界首长，中外学者亲临致祭者达千余人。新竹清华大学师生则于正午12时恭祭。按照计划，逝者遗体将移入新竹清华校园专设的灵堂供师生、好友与各界人士凭吊。当安葬灵车由台大医院驶入新竹县时，数万民众与身穿制服的各校学生，配以自己组织的乐队肃列道路两旁，向缓缓驶来的一生献身教育的伟大学人遗体默致哀悼。梅贻琦遗体下葬地选在新竹清华校园西南区十八尖山之麓，此地倚山面水，居高临下，俯视全校，远眺大陆。为纪念梅氏对中国教育事业特别是清华创业的贡献，台湾当局于这年夏季在新竹清华研究所的基础上，正式成立了清华大学并招收本科生。同时在校园内为梅贻琦修建了墓园，取名“梅园”。园内建有墓碑两座，一座正面镌刻蒋介石题赠的挽额“勋昭作育”四字，背面是“褒扬令”。
另一座正面是罗家伦题写的“梅校长贻琦博士之墓”，背面是蒋梦麟题撰的碑文。墓的左侧建有“梅亭”，园内植有各种名贵花木，其中有杏梅287株，梅花241株，名花草木构成了壮美秀丽的“梅林”，以志世人缅怀纪念。