Il était le premier fils d'Henri Amiel, commerçant, et de Caroline Brandt. Deux tragédies familiales marquèrent son enfance : la mort de sa mère (d'une tuberculose) alors qu'il n'avait que onze ans et moins de deux ans plus tard, le suicide de son père. Henri-Frédéric, âgé alors de 13 ans, et ses deux sœurs cadettes, Fanny et Laure furent recueillis par son oncle Frédéric Amiel et sa tante Fanchette, déjà parents de cinq enfants. Ce séjour dura sept ans. Après avoir commencé ses études dans sa ville natale, il voyagea en Suisse, en Italie, en France et en Belgique. En Allemagne, il s'arrêta d'abord pendant 9 mois à Heidelberg. Puis, de 1844 à 1848, il étudia à Berlin la philosophie (avec Schelling), la psychologie (avec Friedrich Eduard Beneke), la philologie et la théologie.