古代有小学、大学之分。大学以诗书礼乐为学习内容,而小学则以文字训诂为教授内容,故小学成为文字学的别称。《
汉书·艺文志》说:“古者八岁入小学,故《周官》保氏掌养国子,教之六书,谓象形、象事、象意、象声、转注、假借,造字之本也”。可见,小学是古代学生的基础教育,对小学的掌握程度,将影响着一个人后来学问的发展。
现代人先读小学，而后是中学，然后是大学。古代人也是先读小学，然后就进入大（太）学，那时还没有中学这一概念，也没有这一级学校。
有记载显示，我国在夏代已经出现了正式的学校。《孟子·滕文公》：“设为庠、序、学、校以教之。庠者，养也。校者，教也。序者，射也。夏曰校，殷曰序，周曰庠，学则三代共之，皆所以明人伦也。人伦明于上，小民亲于下。有王者起，必来取法，是为王者师也。”