梁思永于1930年夏季在哈佛大学获硕士学位后归国，此时梁启超去世一年余，清华研究院也已解体一年，梁思永举目四望，物是人非，恍如隔世，其伤感悲痛之情无以言表。正在北平的李济感念梁氏家族与自己的交谊，主动把梁思永介绍给傅斯年。从此，梁思永正式加入了中央研究院历史语言研究所考古组行列，开始了后半生的考古学术历程。
梁思永入所不久，著名地质学家丁文江从来华考察的法国传教士、古生物学家德日进神父处得到线索，说中国东北中东铁路一线，有人发现黑龙江昂昂溪附近有个新石器时代遗址。这个线索传到蔡元培与傅斯年耳中，蔡、傅二人立即意识到该遗址在历史和现实政治中的重要意义，遂产生了派人前往调查的愿望。当时傅斯年正酝酿组织力量撰写《东北史纲》，其理由正如傅氏所言：“中国之有东北问题数十年矣。欧战以前，日俄角逐，而我为鱼肉。俄国革命以后，在北京成立《中俄协定》，俄事变一面目，而日人之侵暴愈张……日本人近以‘满蒙在历史上非支那领土’一种妄说鼓吹当世。此等‘指鹿为马’之言，本不值一辩，然日人竟以此为其向东北侵略之一理由，则亦不得不辩。”
正在这个节骨眼上，见梁思永学成归国，蔡元培与傅斯年站在国家、民族立场上，立即决定抢在日本人全面发动侵华战争之前，派梁氏前去实地调查、发掘，以地下出土历史实物来书写历史，借此塞住日本人邪妄的嘴巴，消解其为进攻占领中国而疯狂叫嚣的“满蒙非支那领土”的谎言。
这年9月19日，梁思永打点行装离平向东北进发，顶着正在黑龙江地区流行的鼠疫，冒着时断时续的战火，于28日与助手从容来到偏僻荒凉的昂昂溪五福遗址开始调查、发掘。此时该地天气已特别寒冷，梁思永到达昂昂溪，巡视第一、二、三、四沙冈，很快发现了古代遗址并与助手携带发掘工具进行田野考古发掘。因地势偏僻，每次往返于乡村驻地与遗址之间，都必须脱掉鞋袜，裤脚卷到大腿根部，光脚趟着冰凉的积水而过。继9月30日在第三沙冈发掘一座墓葬后，又在各沙冈开探坑，寻找遗址和墓葬线索，相继在五福遗址水淀里亲自发掘了四处沙冈与一座墓穴，发现了300多件石、骨、陶器。10月3日，因突降大雪，天寒地冻无法开工，发掘工作只好暂停。
梁思永将发掘器物作了初步研究，交与当地政府部分保存，取道热河回北平，以便沿途考察其他地方的史前遗址。10月21日，梁氏由通辽出发，经过开鲁、天山、林东、林西、经棚、赤峰、围场，抵达热河，历时38天，跋涉上千里。其中在天山发现查不干庙遗址，在林西发现林西、双井与陈家营子等遗址。在赤峰城东北发现赤峰遗址。梁思永于塞外5处新石器时代遗址采集了大量陶片、石器等文物标本，以一个考古学家的眼光，对沿途地理环境作了考察，于11月27日回到北平。
经过对热河与东北三省发掘材料对比研究，梁思永根据共同出土打制石器及印文陶（至少在热河）的特点，把西辽河以北之热河，同松花江以北之东三省划为一区；辽河流域（广义的）为一区（其特点是盛出磨制石器），进行了条理清晰的文化区系划分。随着对黑、热二地史前文化材料鉴别、比较和认识，初步得出了“昂昂溪的新石器文化不过是蒙古热河的新石器文化的东支而已”的结论。
一年之后，即1932年10月，梁思永在《历史语言研究所集刊》第四本第一分册，发表了长达44页近7万字，外加插图、写生达36版的大型考古发掘报告《昂昂溪史前遗址》。从此，松嫩平原嫩江中下游沿岸广泛分布的以细小压琢石器为主的原始文化类型，被称作“昂昂溪文化”，并在中国和世界古代史上占有重要地位。梁思永此次科学考古发掘和研究报告的问世，为嫩江流域古代文化的研究奠定了理论基础和科学依据。特别在石器研究中，对在热河特别是查不干庙和林西、赤峰等一带采集到的细石器（当时称为幺石器）、石核制器、陶片等概念和分类标准，进行了创新性的时代划分，为后来的研究树立了科学典范。与此同时，由傅斯年撰写的《东北史纲》第一卷于1932年11月在北平出版，以大量的事实所列四项理由否定了日本人妄倡邪说者的鬼话。而《史纲》的第一条就是“近年来考古学者人类学者在中国北部及东北之努力，已证明史前时代中国北部与中国东北在人种上及文化上是一事。”从而扩展为“人种的，历史的，地理的，皆足说明东北在远古即是中国之一体。”由此事实依据，驳斥了日本人“满蒙在历史上非中国领土”理论，并利用“民族学、语言学的眼光和旧籍的史地知识，来证明东北原本是我们中国的郡县；我们的文化种族和这一块地方有着不可分离的关系。”发出了“东北在历史上永远与日本找不出关系也。史学家如不能名白以黑，指鹿为马，则亦不能谓东北在历史上不是中国矣”的大海潮声。傅斯年这个声音与梁思永的发掘报告相为呼应，给日本“指鹿为马”者当头一棒，为国人大出了一口志气，日本小鬼不得不在事实面前缩头猫脑，改辙易张，另外编造侵吞中国的谎言了。
李济主持的殷墟第四次发掘工作开始后，在北平休整的梁思永接到指令，告别新婚刚刚三个月的爱妻李福曼，意气风发地来到了安阳。
此前，殷墟附近有许多满布陶片的遗址，只因不出甲骨文而不被重视，当李济主持第四次发掘时，感到有发掘附近这些遗址的必要。于是决定在殷墟遗址的东南部，靠近平汉路一个明显鼓出地面、名叫后岗的地方进行发掘，并把该区划为第五区，发掘工作由刚刚加盟而来的梁思永独立主持。
由于梁思永是当时中国学术界唯一一位真正受过考古学训练的独特“海龟”，在田野考古发掘中，无论是思维方式还是技术技能，都比其它“海龟”和“土包子”学者更胜一筹，即是李济亦不能与之匹敌。
在发掘中，梁思永带领吴金鼎、刘燿、尹焕章等几名年轻学者，采用了西方最先进的科学考古方法，依照后岗遗址不同文化堆积的不同土质、土色、包含物来划分文化层，成功地区别出不同时代的古文化堆积，以超凡卓绝的旷代才识，发现彩陶——黑陶——殷墟文化三者之间以一定的顺序叠压着。这一奇特的现象引起了梁思永高度警觉，他以科学的思维方式和独特的学术眼光意识到：既然彩陶文化代表着安特生所发现的仰韶文化，那么黑陶文化是否代表着城子崖的龙山文化？如果假设成立，则意味着龙山文化不仅局限于城子崖一地，所涉及范围应更为广阔，并代表着一种普遍的史前文化。这一极富科学眼光的洞见，无疑找到了解开中国史前文化之谜的一把钥匙。面对史语所同仁“天天梦想而实在意想不到的发现”，李济等考古学者感到城子崖遗址是获取这把钥匙的关键所在，实有再度发掘、以详察内容及充实材料的必要。于是，傅斯年决定暂缓编印殷墟发掘报告，派梁思永率一部分考古人员赴城子崖遗址再度展开发掘，以验证此地黑陶与安阳殷墟所出黑陶是否为同一种文化。
1931年秋，梁思永率领吴金鼎、王湘等人由安阳转赴山东城子崖，开始继李济之后第二次发掘。发掘的结果再次证明，殷墟与城子崖两地的黑陶文化基本相同，这一文化范式，证明了梁思永此前天才式推断的正确。——正是由于这次意义非凡的发掘，以鲜明亮丽的事实证据，纠正了瑞典学者安特生将仰韶与龙山两种文化混在一起，并轻率地得出“粗陶器要比着色陶器早”的错误结论，进而推动了殷墟发掘中“地层学”这一先进考古技术方法的运用，使当时与后世学者认识到必须将殷墟文化与其他文化进行比较分析的重要原则，从而为中国考古学发展的科学化和规范化树起了一座里程碑式的坐标。
城子崖发掘结束后，梁思永又率队返回安阳。在以后的几次发掘中，于殷墟西部的同乐寨发现了纯粹的黑陶文化遗址。这个发现使梁思永坚信在后岗关于仰韶文化——龙山文化——商（小屯）文化三叠层按存在先后时间划分的科学依据。这一伟大发现，“证明殷商文化就建筑在城子崖式的黑陶文化之上”。梁思永对后岗三叠层的划分，成功地构筑了中国古文明发展史的基本框架，使中国考古学与古史研究产生了划时代的飞跃。自此，干涸的历史长河沿着时间的脉络重新开始流淌，梁思永也由于这划时代的发现一举成名，奠定了中国考古学史一代大师的地位——这一光辉成就，正应了其父梁启超当年的愿望。只是命运多蹇的梁任公早已身赴黄泉，无法与之举杯同庆了。1932年春，在李济主持的第六次殷墟发掘中，发现了殷墟宫殿基址，这一发现无疑较单纯地发现甲骨更具有科学考古价值和意义。从1932年秋到1934年春，由董作宾、郭宝钧、李光宇、刘燿、石璋如为主力队员的考古学者，在殷墟进行了第七、八、九次连续性发掘，并把目光由小屯转移到后岗和洹河北岸的侯家庄南地、南台等处，发现了梦寐以求的王陵区，而商代王陵之所在，此前从未见诸史籍记载。
1934年秋与1935年秋，由梁思永主持的第十、十一、十二次殷墟发掘，对已发现的王陵迹象紧追不舍，继续扩大战果。此时，史语所考古组主力几乎全部调到这一推进历史知识最前线的发掘行列中来，发掘专业人员达到了整个殷墟发掘的鼎盛时期，除总指挥梁思永外，另有石璋如、刘燿、祁延霈、胡福林（厚宣）、尹焕章、李光宇、王湘、李景聃、高去寻（晓梅）、潘悫等考古组“十大金刚”（南按：又称“十兄弟”），另有临时工作人员与实习生马元材、夏鼐（作铭）、王建勋、董培宪、李春岩、孙文青，外加史语所元老级人物傅斯年、李济、董作宾。傅、李、董三人是作为视察的高级人员由南京来到安阳，穿梭于考古发掘现场，协助梁思永处理各种棘手问题与事务的。其间，黄文弼等监察人员参加了第十二次发掘工作，而法国汉学家伯希和与中国学者徐中舒、滕固、王献唐，清华大学的闻一多携燕京大学的陈梦家，以及河南大学师生相继前往工地参观。一时间，在几十平方公里的殷墟发掘工地上，大师云集，将星闪耀，气势如虹。胸有成竹的梁思永充分表现 出一个战略家的宏大气魄，规划周密，指挥若定，每天用工达到550人以上，如果连研究人员和参观的学者计算在内，最多时达到近600人的数字。据参加发掘的石璋如回忆：西北冈的发掘，有五个最多，即：参加的工作人员最多；用工人最多；用钱最多；占地最多；收获最多。其中“单就工资一项来说，每人每天工资四角，五天发一次，每人二元，五百人，五天便要发大洋一千元。本次工作102天，除了星期天、下雨天停工，实际的天数约85天，要发十七次工资，即一万七千元。这个数字在现在听起来，简直不算回事，可是在当时听起来，真是骇人听闻。一万七千元，那还了得！”此次发掘的收获，除了甲骨文之外，仅从后来参加教育部第二次全国美展展品目录总说明来看，“其中十之九出自安阳城西北十二里之侯家庄西北冈，十之一出自城西七里之小屯村北地。侯家庄为殷代陵墓之残迹，小屯村为殷代宫室之遗址。”
三次大规模殷墟发掘，使湮没地下数千年的古老遗址得以大面积揭露，考古人员共发掘10座王陵，以及王陵周围1200多座小墓和鸟坑、兽坑、车马坑等祭祀坑。所揭露的商代大墓规模浩大，雄伟壮观，虽经盗掘，成千上万件丰富精美的铜器、玉器、骨器、石雕等出土文物令人瞠目，举世震惊。
1936年，继郭宝钧主持的第十三次发掘之后，梁思永主持的第十四次发掘，在寻求甲骨方面又取得了突破性进展。在著名的编号为Yh127号商代灰坑中，一次发现带字甲骨17096片，其中有300多块是未破损的整版甲骨且刻有卜辞。更为重要的是，这些甲骨出于同一坑中，说明相互之间有某种内在的联系，比之零星出土的传世甲骨残片，其学术价值更高一筹。这一重大发现令学者们欣喜若狂。
1937年春，由石璋如主持的第十五次更大规模的殷墟发掘再度展开。此次发掘从3月16日开始，一直延续至6月。此时，华北地区已是战云密布，局势一日紧似一日。面对一触即发的中日大战，为防不测。殷墟发掘不得不于19日匆匆结束——这是抗日战争全面爆发之前最后一次发掘，也是国民党统治时期中央研究院考古人员与殷墟考古工作的最后诀别。
至此，由中央研究院史语所主持，从1928年开始的殷墟发掘，共进行了九年十五次，出土有字甲骨24918片，另有大量头骨、陶器、玉器、青铜器等器物出土。发掘规模之大，牵涉人员之多，收获之丰，前所未有，在世界考古史上亦属罕见。这一创世纪的伟大成就，“在规模上与重要性上只有周口店的研究可以与之相比，但殷墟在中国历史研究上的重要性是无匹的”。
当发掘人员于匆忙中将出土器物整理装箱，风尘仆仆押运到南京钦天山北极阁中央研究院史语所大厦，喘息未定，额头的汗水尚未抹去，震惊中外的卢沟桥事变爆发了。