Sebagian para ahli percaya, bahwa pendidikan berasal dari beberapa akar peradaban. Satu diantaranya adalah peradaban Mesir Sumer, dimana muncul pertama kali berupa ruang kelas orang-orang Mesir Sumer yang dibangun untuk menampung sekitar 30 orang anak. Penemuan ini membawa orang kepada spekulasi bahwa ukuran ruang kelas umum di zaman modern mungkin didasarkan atas ruang-ruang kelas dari batu merah dan arsitektur orang-orang Sumer.

Meskipun demikian, Plato dan Aristophanes adalah orang pertama yang meninggalkan catatan tertulis mengenai ruang kelas dan sekolah. Sekolah pertama orang Athena Kuno memang sederhana. Sekolah itu hanya merupakan tambahan dari suatu program pendidikan yang dititikberatkan pada latihan kemiliteran, atletik, musik, dan puisi. Pengajaran membaca, menulis dan berhitung boleh dikatakan hanya sebagai pertimbangan sampingan. Aslinya pendidikan di Athena bersifat tutorial, suatu aspek hubungan perorangan yang seringkali juga bersifat erotik. Ketika Athena menjadi lebih demokratis dan jumlah muridnya mulai lebih banyak dari gurunya, maka secara berangsur-angsur hubungan tutorial digantikan dengan pengajaran kelompok/klasikal, urai Everett Reimer.

Jadi pemahaman mengenai masa-masa awal pendidikan dapat dimulai dari Mesir Kuno, yakni sekitar tahun 3000 hingga 5000 sebelum Masehi. Sementara di India, pada pendeta mengajarkan Kitab Veda, ilmu pengetahuan, tata bahasa, dan filsafat di sekitar tahun 1200 sebelum Masehi. Di Cina, pendidikan formal (pengajaran) diperkirakan muncul pada masa Dinasti Zhou berkuasa, yakni antara tahun 770-256 sebelum Masehi. Konfusius, Mensius, Laotzu, termasuk di antara guru-guru pertama di Cina Kuno.

Di Yunani Kuno, tempat asal Filsafat Barat, kaum Shopis mulai mengajar di Athena sekitar tahun 400 sebelum Masehi. Socrates, yang meninggal tahun 399 sebelum Masehi, boleh jadi orang pertama yang mengatakan bahwa "true knowledge existed within everyone and needed to be brought to consciousness"

(Pengetahuan sejati ada di dalam setiap orang dan perlu disadari). Dengan dalil ini pendekatan Socrates adalah mengajukan pertanyaan-pertanyaan penggalian untuk memicu pikiran-pikiran murid-muridnya guna memahami makna kehidupan, kebenaran, dan keadilan secara lebih mendalam.

Sepeninggal Socrates, Plato mendirikan Academy di tahun 387 sebelum Masehi, dan 52 tahun berikutnya Aristoteles mendirikan sekolahnya sendiri bernama Lyceum, juga di Athena. Lalu di abad yang sama, Isocrates mengembangan metode pendidikan untuk mempersiapkan para orator yang bekerja di kantor-kantor pemerintah. Ia diyakini ikut mempengaruhi secara langsung para ahli pendidikan Romawi seperti Cicero, penulis De Oratore, dan Quintillian, yang membagi pelajaran-pelajaran secara khusus berdasarkan pentahapan di awal tahun Masehi.

Pada masa awal Masehi, orang-orang Yahudi juga telah memberikan pengajaran di tempat yang disebut Sinagoga. Utamanya yang diajarkan adalah Kitab Taurat Musa. Dan ketika kekristenan telah berkembang, maka Gereja Romawi kemudian juga menggunakan bangunan yang di sebut gereja sebagai tempat pengajaran yang utamanya mengajarkan hal-hal yang berkaitan dengan Kitab Suci serta mempersiapkan pemimpin-pemimpin agama yang mengajar di gereja. Pada masa itu wanita masih sangat sedikit memperoleh kesempatan untuk ikut belajar bersama anak-anak laki-laki sebayanya.

Sekitar abad X-XI, pendidikan Islam dari Arab mulai mempengaruhi sistem pendidikan Barat. Melalui interaksi kaum Muslimin dengan pendidik-pendidik Barat, terutama di Afrika Utara dan Spanyol, dunia Barat mulai belajar dari kaum Muslimin tentang matematika, ilmu alam, ilmu pengobatan, dan filsafat. Sistem angka yang menjadi fondasi dari aritmetika di dunia Barat diyakini sebagian orang sebagai kontribusi terpenting dari pendidikan Islam dari Arab itu.

Penemuan mesin cetak Gutenberg di pertengahan Abad XV membuat buku makin mudah tersedia dan pada gilirannya mengakselerasi proses pembelajaran di dunia. Selanjutnya abad XVII hingga XIX tercatat beberapa nama tokoh yang berpengaruh dalam pendidikan Barat seperti antara lain: Comenius atau Jan Komensky, John Locke di Inggris, Benyamin Franklin dan Thomas Jefferson di Amerika, Johann Heinrich Pestalozzi di Swiss, Jean Jacques Rousseau di Perancis, dan lainnya.

Yang menarik untuk disebutkan secara khusus adalah peran Fiedrich Froebel yang pertama kali membuka kindergarten (Taman Kanak-kanak) di Blankenburg, Jerman, dengan kurikulum berisi pelajaran menyanyi, cerita, permainan, hadiah, dan occupations, di tahun 1837. Konsep kinderganten Froebel ini kemudian dibawa ke Amerika oleh Margarethe Meyer Schurz dengan membuka taman kanak-kanak berbahasa Jerman di Watertown, Wisconsin, tahun 1855. Tahun 1860 Elizabeth Peabody melanjutkan hal ini dengan membuka sekolah sejenis berbahasa Inggris dan juga mengajar serta melatih para pengajar taman-kanak-kanak di Boston. William Torrey Harris memberikan kontribusi ketika memasukkan taman kanak-kanak sebagai bagian dari sekolah umum di Amerika.

Pada awal abad XX, Ellen Key, seorang feminis, penulis, dan ahli pendidikan Swedia, ikut mempengaruhi sejarah pendidikan dunia. Bukunya The Century of the Child (1909) menawarkan pendekatan pendidikan yang menekankan kebutuhan dan potensi anak ketimbang kebutuhan masyarakat atau prinsip-prinsip agama. Ia antara lain diikuti oleh ahli pendidikan Jerman Herman Liets dan Georg Michael Kerschensteiner, ahli pendidikan dan filosof Inggis Bertrand Russel, dan Maria Montessori dari Italia. Konsep pendidikan anak yang dikembangkan Montessori kemudian mempengaruhi Amerika dan kembali menarik perhatian ahli pendidikan di sana pada tahun 1950-an.

Namun, dalam arti yang lebih luas pendidikan mungkin telah dimulai sejak manusia ada di muka bumi. Dalam bentuknya yang informal dan nonformal (pelatihan), pendidikan diberikan oleh orangtua dan masyarakat setempat kepada kaum mudanya dalam bentuk berbagi informasi tentang cara mendapatkan makanan, membuat tempat berteduh, membuat senjata dan perlengkapan hidup lainnya, belajar bahasa, dan nilai-nilai serta perilaku yang mengekspresikan ritus-ritus dalam budaya mereka masing-masing.