Einstein dilahirkan di Ulm di Württemberg, Jerman; sekitar 100 km sebelah timur Stuttgart. Bapaknya bernama Hermann Einstein, seorang penjual ranjang bulu yang kemudian menjalani pekerjaan elektrokimia, dan ibunya bernama Pauline. Mereka menikah di Stuttgart-Bad Cannstatt. Keluarga mereka keturunan Yahudi; Albert disekolahkan di sekolah Katholik dan atas keinginan ibunya dia diberi pelajaran biola.
Pada umur lima tahun, ayahnya menunjukkan kompas kantung, dan Einstein menyadari bahwa sesuatu di ruang yang "kosong" ini beraksi terhadap jarum di kompas tersebut; dia kemudian menjelaskan pengalamannya ini sebagai salah satu saat yang paling menggugah dalam hidupnya. Meskipun dia membuat model dan alat mekanik sebagai hobi, dia dianggap sebagai pelajar yang lambat, kemungkinan disebabkan oleh dyslexia, sifat pemalu, atau karena struktur yang jarang dan tidak biasa pada otaknya (diteliti setelah kematiannya). Dia kemudian diberikan penghargaan untuk teori relativitasnya karena kelambatannya ini, dan berkata dengan berpikir dalam tentang ruang dan waktu dari anak-anak lainnya, dia mampu mengembangkan kepandaian yang lebih berkembang. Pendapat lainnya, berkembang belakangan ini, tentang perkembangan mentalnya adalah dia menderita Sindrom Asperger, sebuah kondisi yang berhubungan dengan autisme.
Einstein mulai belajar matematika pada umur dua belas tahun. Ada gosip bahwa dia gagal dalam matematika dalam jenjang pendidikannya, tetapi ini tidak benar; penggantian dalam penilaian membuat bingung pada tahun berikutnya. Dua pamannya membantu mengembangkan ketertarikannya terhadap dunia intelek pada masa akhir kanak-kanaknya dan awal remaja dengan memberikan usulan dan buku tentang sains dan matematika.
Pada tahun 1894, dikarenakan kegagalan bisnis elektrokimia ayahnya, Einstein pindah dari Munich ke Pavia, Italia (dekat kota Milan). Albert tetap tinggal untuk menyelesaikan sekolah, menyelesaikan satu semester sebelum bergabung kembali dengan keluarganya di Pavia.
Kegagalannya dalam seni liberal dalam tes masuk Eidgenössische Technische Hochschule (Institut Teknologi Swiss Federal, di Zurich) pada tahun berikutnya adalah sebuah langkah mundur dia oleh keluarganya dikirim ke Aarau, Swiss, untuk menyelesaikan sekolah menengahnya, di mana dia menerima diploma pada tahun 1896, Einstein beberapa kali mendaftar di Eidgenössische Technische Hochschule. Pada tahun berikutnya dia melepas kewarganegaraan Württemberg, dan menjadi tak bekewarganegaraan.