信州松代藩の下級武士の子として生まれ、幼くして聡明、文武両道に優れ、末は藩の重鎮にと期待されるも"井の中の蛙"に飽き足らず江戸に出て学ぶ。
時の日本国は鎖国政策の中にあり、一部の貿易が許された国からの情報しかなかったが、進んで国外に眼を向け、諸外国からの遅れを知り、直ちに西洋の学問を学ぶ。
長く続いた大平の世も、漏れ聞く世界情勢を知るにつけ、幕府の内部や遠く離れた諸藩から徳川の鎖国政策と幕藩体制に批判が高まり、揺るぎをみせ始める。
世相は国体(幕藩体制)と海防(外交政策)を変えようとする長州、薩摩、土佐の若き藩士たちが続々と江戸や京都に上り幕府への批判が高まり始める。こんな時節、江戸に塾を開いて公武合体開国の思想を持ち、西洋の海防や技術を教える象山の下に多くの心ある若者が教えを請うて集まり、共に教え学ぶ。こんな時期が数年続いた。
この時期、突然米艦(黒船)が浦賀沖に現れ開国を強く迫る。幕府は動揺し狼狽する。
象山の教えを受ける門弟、向学の志に燃える若者吉田松陰が海外の実状を知るべく渡航を試みるが、いまだ鎖国政策をしいている幕府の役人によって捕らえられ投獄され、象山も吉田松陰の渡航をそそのかした罪で捕らえられ投獄される。心ならずも刑は重く生国信州松代に蟄居謹慎させられる。
蟄居生活実に九年、この間数々の国政に関する意見書や賦を作り、西洋の技術や医学を学び、且つ実験をし、訪れるものがあれば、教え学び意見の交換をし時世の流れを見ながら静かに過す。
時節も変わり徳川家も代替わりとなる頃、国政に力を持ち始めた朝廷の計らいで安政の大獄により罪人となっていた政治犯は罪を赦され投獄幽閉中の者も釈放され象山も蟄居赦免となった。
蟄居赦免となっても、象山は松代藩内では公職にも就けず、年令も53歳になろうとする老人の意見をまともに聴く者も、無くなっていた。
このころ幕府と朝廷との対立が激化
幕府に味方する佐幕派と朝廷を尊ぶ尊皇派(尊皇攘夷論者)は互いに反目し合っていた