统一思想的最大障碍是读书人。知识分子的本职就是进行思考，从而天然容易产生对一元化思想的离心倾向。朱元璋从源头上抓起，大力兴办义务教育，以此控制知识分子胚胎形成的规格、模式，使符合他需要的知识分子能成批量地生产出来。
朱元璋对办学非常重视，说，“学校之设，国之首务”，“治天下以人材为本，人材以教导为先”。他把教育与农业一起视为“王政之本”，一直抓得很紧。早在龙凤五年（公元1359年）正月，大明开国前九年，他就曾于婺州开设过郡学培养人才，龙凤十一年九月又在应天创办了国子学。明朝建立后，更大力发展教育，从中央到地方，兴办了国学、郡学和社学三级学校。
国学就是国子学，是国立大学。开始校址沿用元朝儒学的旧址，因为校园较小，朱元璋不断扩建，仅洪武六年一次就“增筑学舍几百余间”。但此地处于市中心的繁华之区，靠近弹筝吹笛之地，不利于学生静下心来学习。
洪武十四年，朱元璋亲自为新校区相基选址，选定在距离京城七里的鸡鸣山之阳，那里环境幽静，适宜攻读。朱元璋投入巨资，工部尚书陈恭亲自主持建设，洪武十五年，新学校落成，教学区、生活区、图书馆、食堂、菜圃具备，“凡为楹一十有奇，壮丽咸称”。五月十七日，皇帝亲临国子监“谒先师孔子”，又登上讲堂，亲自为学生们上了一堂课，内容是讲解《尚书》的《大禹谟》、《皋陶谟》、《洪范》诸篇，课后又宴请了全体师生。
国子监的生员通称监生，分为官生和民生两大类。“官生取自上裁”，是由皇帝指派，“民生则由科贡”，是由地方保送。在传统时代，这所大学规模可称得上非常宏大，洪武二十六年（公元1393年）的生员总数达到八千一百二十四名，是当时世界上最大的高等学府之一。如果当时搞一个大学排名，相信国子监规模一定在全世界名列前茅。
至于国子监的功课，则范围有点窄，主要有语文、数学、政治、书法、体育几类。语文课的教材主要有《四书》和《五经》。政治课的教材主要是御制《大诰》和《大明律令》等，汉代刘向的《说苑》，录载可供人们取法的遗闻逸事，朱元璋认为熟读它，可教会人们怎样做人处世，因此列为必修的功课。
至于数（数学）和书（书法）的教材没有记载。体育的内容是学习武艺，洪武三年，朱元璋诏国子监及郡县生员“皆令习射”，洪武二十三年还下令在国子监内“辟射圃”，为生员提供练习骑射的场所。除了国立大学外，洪武二年，朱元璋又开始在全国广泛兴建学校。他“令郡县皆立学校”，他下诏：
“今虽内设国子监，恐不足以尽延天下之俊秀。其令天下郡县并建学校，以作养士类。”“讲论圣道，使人日渐月化，以复先王之旧。”
郡学是由各地方政府设立的中等学校。开国之初，朱元璋政权的执政能力十分突出，一声令下，全国各府、州、县都开始建立学校。政策当然是一刀切，府级学校，学生四十人，州级三十人，县级二十人。随着郡学的发展，不久又命扩大生员，不限数额，教学内容和国学相似。
洪武八年，他又令天下建立社学，即乡村小学和社区小学。他说：“过去远在周朝之时，每家都有私塾，每乡都有学校，所以百姓无不知学，因此圣人的教化得以实行而风俗变得淳美。今京师及郡县皆有学校，而乡村百姓则还没有享受教育的权利。所以，要命令各级官员建设乡村小学及社区学校，请老师来教民间子弟，这样可以引导普通百姓向良善之俗转化。小学以御制《大诰》和《大明律令》作为主要的必修课程。”据统计，洪武年间各府、州、县平均设有社学近六十一所，数量相当可观。
在前现代化国家，国立学校从京师一级历府、州、县一直延伸到乡村一级，覆盖面如此广，数量如此众多，全世界罕见其匹。帝王的精神教育由皇宫发出，即可直达乡野田间每家每户。正如明史所说，由此，“无地而不设之学，无人而不纳之教。庠声序音，重规叠矩，无间于下邑荒徼，山陬海涯。此明代学校之盛，唐、宋以来所不及也”。
虽然秉性吝啬，在教育上，朱元璋却从来不惮花钱。建校舍，请老师，已经投入了巨额财政资金，而学生的待遇，又创历代之冠。
洪武年间办学都是国家投资，学校经费来源于国家拨给的学田（办学用的公田以田地收益作为学校基金），洪武十五年正式诏定天下学田之制，规定府学一千石，州学八百石，县学六百石。
府、州、县各级学生，都可以享受国家补贴。金额是每人给米六斗，额外还有鱼肉供应。京师的太学学生待遇更好。一旦考上太学，国家包发校服，每季度发一套，还包供食宿。甚至结了婚的，还可以带家眷入学。家眷们的生活供应，由马皇后亲自负责。
朱元璋对学生们的关心体贴可谓无微不至。学生们离家日久，朱元璋发给他们新衣服一套，路费钞五锭，让他们可以回家看望父母。过春节、元宵，朱元璋还专门给学生们发过节钱。皇帝的人情味浓到如此程度，甚至恩及学生的家人。如洪武十二年，皇帝赐每个学生的父母各四匹帛。
至于每乡每里的社学，虽然无法提供如此丰厚的食宿，但也不收学杂费。朱元璋规定，由基层干部根据老百姓家的自然状况，尽可能多地动员适龄学童上学。
各级学校都有奖励制度。国子监学生科举廷试得第一名，在国子监门口立进士题名碑，加以褒奖。郡学学生每年选出一名成绩最好的作为贡士，保送国子学继续深造。
朱元璋的这些措施，有力地推动了教育的发展。全国“无地而不设之学，无人而不纳之教。庠声序音，重规叠矩，无间于下邑荒徼（jiǎo），山陬（zōu）海涯”，出现了“家有弦颂之声，人有青云之志”的社会现象。
明代教育的发达，超过了以往的唐宋时代。