董作宾到达安阳后，通过实地调查得知，小屯地下埋藏的有字甲骨，并不像罗振玉等人所说的已被挖尽，他从当地农民盗掘甲骨留下的坑痕作出判断，殷墟规模庞大，地下遗物十分丰富，且遗址破坏严重，有组织的科学发掘已到了刻不容缓的紧要关头。董氏在写给傅斯年的报告中颇为焦虑地宣称：“迟之一日，即有一日之损失，是则由国家学术机关以科学方法发掘之，实为刻不容缓之图。”
傅斯年得知安阳殷墟地下宝藏既丰且富的报告，惊喜交加，马上筹措经费，购置设备，调配人员，在中央研究院院长蔡元培大力支持下，组成了以董作宾为首的殷墟发掘团，开往安阳小屯进行田野考古发掘。其成员有李春昱、赵芝庭、王湘、张锡晋等，另外还有一名董作宾的同乡同学，时任河南省教育厅秘书的郭宝钧。这次以寻找甲骨文为主要目的有 组织的殷墟发掘，自1928年10月7日开始，至31日结束，前后共进行了24天，发掘土坑40个，揭露面积280平方米，掘获石、蚌、龟、玉、铜、陶等器物近3000余件，获甲骨854片，其中有字甲骨784片，另有人、猪、羊等骨架出土。董作宾作为本次发掘的主持人，手抄有字甲骨392片，并作了简单的考释，这个成果与他前期的调查报告，共同在后来史语所创办的《安阳发掘报告》中作为首篇文章刊载。此次发掘与著述的问世，“不仅结束了旧的古物爱好者‘圈椅研究的博古家时代’，更重要的是为有组织的发掘这著名的废墟铺平了道路。”当然，早年毕业于北京大学国学门，未受过西方近代考古学正规训练的董作宾，所带领的发掘队员皆是一群土包子书生，且将发掘的主要精力用在寻找带字甲骨上，其它器物甚少顾及，这样就出现了一些疏漏甚至笑话。许多年之后，已成为著名考古学家的夏鼐说道：“我在1935年参加殷墟发掘时，还听说过一个关于董作宾1928年主持初次发掘时‘挖到和尚坟’的故事。书斋中出来的董作宾，从来没有看见过出土的骷髅头，只从笔记小说中知道死人身上头发是最不易腐朽的。所以，他发掘到一座时代不明的古墓时，便认为头上无发的墓主人一定是一位和尚。骷髅头狰狞可怕，所以仍被埋起来。到了李济、梁思永主持发掘时才注意到人骨标本的采集，并且用科学的采集方法和保存方法。”
或许正是由于以上的缺憾，没有喝过洋墨水的董作宾感到惶恐不安，并有中途换将，由周身散发着海腥味的大字号“海龟”李济出任第二次发掘主持的因缘。按照蔡元培后来的说法：“董先生到了那里，试掘了一次，断其后来大有可为。为时虽短，所得颇可珍重，而于后来主持之任，谦让未遑。其时，适李济先生环游返国，中央研究院即托其总持此业，以李先生在考古学上之学问与经验，若总持此事，后来的希望无穷。承他不弃，答应了我们，即于本年（1929年）二月到了安阳，重开工程。”
对于这段记载，李济的弟子，后来成为美国哈佛大学人类学系主任的考古学家张光直，对其所作的补充注释是：“33岁的李济先生在那时的学术界已经有了相当的声望。据说傅斯年先生在物色考古组主任与安阳殷墟主持者的时候，最后的两个候选人是李济先生与著名的金石学家马衡先生。当时48岁的马衡先生是北京大学国学门考古学研究室主任和故宫博物院副院长，是中国传统金石学最优秀的代表。在这两位候选人中，蔡元培先生最后选定了代表科学考古的李济先生。夏鼐先生说：‘后来证明这选择是明智的’，这就是因为李济先生把殷墟发掘领导到一个新的方向上去，也就是把中国考古学带到了一个新的方向上去。”
张光直所言大体不差，只是不够深入和全面，具体细节上与事实亦有出入，如当时的马衡并未出任故宫博物院副院长，只是此前曾出任过故宫博物院理事与下属的古物馆副馆长，另外还有一个挂名的故宫维持会委员等职。他被拒于史语所大门之外，与蔡元培没有多大关系，完全是傅斯年的把戏。个中原因，除了马衡属于金石学家一派，学术观念陈旧，与西洋的新式科学派学者相比属于不“预流”者，还有一个不可忽视的原因，便是傅斯年与他尊崇的老师胡适，对北京大学极其强大的浙江派或曰法日派这个呼风唤雨、声威赫赫的派系大为反感。傅除了对北大校长蔡元培，教务长马寅初以及后来成为中研院代院长的朱家骅稍加敬佩外，对此前或之后北大文科方面所谓的“三沈二马加二周”等等著名健将，不管被时人或后人誉为“投枪”还是“匕首”，是“战士”还是“民族魂”，傅斯年皆无好感。原与傅关系稍好一点的周树人（鲁迅），在中山大学时已变成你死我活的敌人，其他大同小异，没有往来，而处在这一派系中的马衡自然受到牵累。
尽管马衡在这一派系中为人低调，颇有人缘，且以经史、金石、汉魏石经等学问闻名学界，但毕竟只是南洋公学出身，不可能具备欧美派“海龟”的学术眼光与气度。当时心高气傲的傅斯年崇尚的是胡适、陈源等欧美系出身的“海龟”，对那些未跨出国门即在圈内成名成家的“泥腿子”、“土包子”或“土鳖”之类三六九等各色人物，傅氏不屑一顾，倘为了工作或其他关系双方不得不接触时，傅亦经常用英文或中英文混杂的言辞与对方讲话，借以戏弄那些未出国留洋，不懂英语的土包子们。此时已近知天命之年的马衡，在傅斯年心目中的地位和形象是不言自明的。而北大法日派在考古学的建设上也显得老态龙钟，暮气沉沉，远没有以清华李济为首的欧美派更具科学锐气。因了法日派日薄西山与清华园中学者的旭日东升，朝气蓬勃，以及势不可挡的锐气，傅斯年无论从心理的好恶还是实际需求来考虑，最终选择了掌握西方先进田野考古方法的欧美系李济，而不是金石学家的“大老土”马衡，实则是历史的必然。或许由于这段因缘，20年之后，当李济在战火纷飞，炮声隆隆的生死抉择中，毅然决然押运中央研究院史语所、中央博物院、故宫博物院等多家集成的珍宝名器跨越台湾海峡，安全抵达台北基隆港时，以马衡为首的“老土们”，在北平与南京之间呼天抢地，奔走啸叫，坚决反对文物随国民政府运台等等，也就找到了一个历史的根由和注脚。
遭到傅斯年拒绝的马衡被弄了个灰头土脸，退回北大国学门，再也没有吭声。接到蔡元培与傅斯年邀请的李济，遂辞却其他一切职位，以中央研究院史语所考古组主任的身份，立即赴河南与正在那里的董作宾见面协商发掘事宜，并对殷墟遗址有了进一步认识，作出了三个方面极具科学眼光的天才设定：
小屯遗址明显是殷商时代的最后一个首都。
虽遗址范围未确定，但有字甲骨出土的地方一定是都城遗址的重要中心。
在地下堆积中与有字甲骨共存的可能还有其它类遗物，这些遗物的时代可能与有字甲骨同时，或早或晚，当然要依据埋藏处多种因素而定。
根据以上三个设定，李济制定了第二次小屯发掘计划，并凭借此前与毕士博合作的良好关系，得到美国弗利尔艺术馆的经费支持。在董作宾密切配合下，李济率领考古队来到安阳小屯，于1929年春季和秋季分别进行了第二次和第三次发掘，陆续发现了大批陶器、铜器与3000余片甲骨、两大兽头刻辞与闻名于世的“大龟四版”（南按：一个完整的刻满文字的乌龟壳）。尤其引人瞩目和振奋的是，这年的11月21日，李济于一堆碎片中发现了一片彩陶——这是安阳殷墟在抗战前全部十五次发掘中，所记录出土25万块陶片中唯一的一片具有仰韶文化性质的彩陶。对于这一异乎寻常的发现，20年之后，李济曾专门撰写论文指出它在中国历史研究中的重大价值和意义：“在开始这一工作时，参加的人员就怀抱着一个希望，希望能把中国有文字记录历史的最早一段与那国际间甚注意的中国史前文化连贯起来，作一次河道工程师所称的‘合龙’工作。那时安特生博士在中国所进行的田野考古调查工作已经到了第十个年头了。这一希望，在第三次安阳发掘时，由于在有文字的甲骨层中一块仰韶式彩陶的发现，大加增高。现在事隔二十年了，回想这一片彩陶的发现，真可算得一件历史的幸事。”又说：“要不是终日守着发掘的进行，辛勤地记录，这块陶片的出现，很可能被忽视了。有了这一发现，我们就大胆地开始比较仰韶文化与殷商文化，并讨论它们的相对的年代。”
1930年春，当史语所准备对殷墟再度进行发掘时，不祥的预兆接踵而至，河南地面大雨、冰雹成灾，所降“冰雹大者数斤，小者如鸡卵”。这场灾难过后，接着出现旱灾，导致河南全境“每天平均饿死1000余人”。此前，以李济为首的中研院殷墟发掘队与河南地方势力为争夺出土器物而大闹纠纷，使发掘陷于困难。随后爆发的中原大战，使河南一带成为阎锡山、冯玉祥等地方军阀组成的联军，与蒋介石为首的国民政府中央军拼杀的主战场。中央研究院史语所原定对安阳殷墟的第四次发掘计划，在大炮轰鸣，硝烟弥漫，血肉横飞、新鬼添怨旧鬼哭的风云激荡中化为乌有。
既然河南不能发掘，李济决定率部转移到山东临淄故城一带，欲开辟新的发掘工地。当在临淄勘察后，感觉“问题太复杂了，绝非短时期可以料理得清楚的”。正在李济等人犹豫之际，突然传来了城子崖发现古遗址的消息，而遗址的发现者，正是清华研究院时代李济唯一的一位攻读人类学与考古学的研究生吴金鼎。
1928年春天，时任山东齐鲁大学助教的吴金鼎利用业余时间进行田野调查，在济南东约60余里的历城县龙山镇一个叫城子崖的地方，发现了一处黑陶文化遗址。惊喜之余，吴金鼎及时把这一情况报告给自己的导师李济。李济喜出望外，立即赶赴济南随吴金鼎到现场察看，意识到这是一处极其重要的历史文化遗址，遂立即“决定选择城子崖作山东考古发掘第一个工作地点。”
1930年秋，中原大战硝烟尚未散尽，李济与董作宾率师走出安阳，移驻山东济南城子崖开始首次发掘。考古人员发现遗址中明显具有新石器时代特征，所出土的文物与仰韶文化风格迥异，其中发现最多的黑陶和灰陶器具，几乎完全不同于河南、甘肃的彩陶，器形也没有相同之处。而发掘所得的最具特征的“蛋壳陶”，通体漆黑光亮，薄如蛋壳，其制作工艺达到了新石器时代的巅峰，这种工艺作为一种文化标志——黑陶文化，成为前无古人、后无来者的绝响。
根据发掘成果，李济等认定其文化遗存属于新石器时代，在考古学上的价值和意义“不但替中国文化原始问题的讨论找了一个新的端绪，田野考古的工作也因此得了一个可循的轨道。与殷墟的成绩相比，城子崖虽比较简单，却是同等的重要。”由于城子崖遗址地处龙山镇，考古人员将这一文化命名为——龙山文化。
当中原大战硝烟散尽，血迹风干之后的1931年春，李济率部重返安阳，展开第四次大规模的殷墟发掘。在李济具体指导下，有计划地将殷墟遗址划分为五个大区，每区由一位受过专业科学训练或有经验的考古学家指导，以“卷地毯式”的新方法进行发掘。发掘队除原有的郭宝钧、王湘等人外，增加了十几位年轻学者。史语所新招聘的吴金鼎、李光宇来了，河南大学史学系学生石璋如、刘燿（尹达）、尹焕章等新人来了。最令人瞩目的是，梁启超的二公子、被李济称为“真正专门研究考古学的人”梁思永，也在这个明媚的春天里，带着勃勃生机，神采飞扬地到来了。