爱因斯坦总共在乌尔姆呆了１５个月。至今也无证据表明他此后探访过自己的出生地。乌尔姆市长曾给他写信，通知已将他故居门前的胡同命名为爱因斯坦大街。爱因斯坦致信答谢说：“我知道有条街以我命名了。令我稍感安慰的是，我本人不用为这条街上出了什么事儿负责。”
……我们在这个星球上的情况很奇怪。我们每个人都是非自愿地、不请自来地到此作短暂停留，却不知道为什么和应当做些什么。在日常生活中，我们只感到人是因为他所爱的人的意愿而生的……我的生命完全建筑在与我同样的人的劳作之上，而我欠他们如此之多，令我的生命永不能得到完全解脱……我不相信意志的自由。
１９３３年３月１０日，爱因斯坦在自美返欧的海船上发信宣布退出普鲁士科学院，并誓言永不踏上德国土地。他在返欧前对美国记者说的原话是：“只要我还可以选择，我将只在具有政治自由、宽容和所有公民在法律面前平等的国家停留……德国目前不具备这些条件！在那里，特别是那些以促进国际相互理解为事业的人正惨遭迫害。”
对于自己普通甚至平庸的出生和成长，中年爱因斯坦在给朋友的信中是这样解释的：“为什么是我，而不是其他人发现了相对论？我想可能是因为我小时候是个智力迟钝的小孩。普通人对时间和空间的认识大都完成于童年，而我发育较迟，到了成年才开始考虑时间与空间的问题。成年人思考小孩儿的问题，当然要更深一些，更成熟一些。”
在１９０５年发表那惊世骇俗的五篇论文之后的１４年，成名的那一夜终于降临。年仅４０岁的爱因斯坦一夜之间名满全球，成为物理学的新教皇，人类历史上第一个纵横世界的科学英雄。
爱因斯坦当然希望赢得世界承认，否则他也不会在伯尔尼组织那个总共只有三个成员的业余“奥林匹亚科学院”。不过，当荣誉排山倒海而来时，他的心理却非常矛盾。１９３０年他说：“命运的讽刺在于，人们给了我超乎寻常的赞叹和荣誉，其实我既非大恶，亦非大贤。”
原子弹的使用，让爱因斯坦对人类未来充满担忧。他说过：我不知道第三次世界大战使用什么武器，但我知道第四次世界大战我们一定使用棍子。
进入二十一世纪的世界，使用棍子的可能性比以前任何一个世纪都大！
统一场研究花费了爱因斯坦三十多年的生命，却没有成功。综观人类历史，如果地球上真有一个人有能力统一引力理论和电磁力理论，此人必是爱因斯坦。爱因斯坦对此的解释简直令人喷饭。有一次他和助手谈起统一场研究时说，这样的尝试总要有人来做，但年轻人不适合干，因为它会毫不留情地吸光研究者一生的心血，而他自己反正已经功成名就，正好有生命可以浪费。