土佐の国足摺岬中ノ浜（現：高知県土佐清水市）に貧しい漁夫の次男として生まれる。
14歳の天保12年正月、土佐の宇佐浦より五名（船頭・筆之丞、舵子・筆之丞弟重助、漁夫・寅右衛門、同・筆之丞弟五右衛門、カシキ・万次郎）で出漁したが、暴風雨に遭遇難破し、無人島の鳥島に漂着する。143日の孤島生活の後、アメリカ捕鯨船ジョン・ポーランド号に全員救助される。

万治郎は捕鯨船の船長ウイリアム・ホイットフィールドにその才を愛され、米本土で教育を受け、名をジョン・マンと称した。英語、数学を始め、航海術、測量術を修め精通した。ふたたび捕鯨船に乗って働き、ドレーク海峡や喜望峰をこえ、太平洋・大西洋・インド洋を巡航、鎖国時代の日本人としてはめずらしい世界体験をしている。

一時金山で働き資金を貯め、漂流した五名の内三名で嘉永3年12月、上海行きの船に便乗、翌年正月琉球に上陸した。8月鹿児島に、ついで長崎で取り調べを受けたがついに嘉永5年10月、故郷土佐の中村に帰ることが許された。

12月才能を買われて土佐藩士となる。翌年11月、幕府に召されて韮山代官・江川太郎左右衛門の配下となる。
幕府は26歳の万次郎を、直参旗本という前例のない待遇で召し出した。

帆船の建造、天文方の勤務ののち軍艦総練所の教授となって英語の指導、翻訳、軍艦操練所教授・捕鯨御用などを勤め、小笠原諸島の開発など多方面に目ざましく活躍した。
万治元年（1860）、遣米使節の随伴鑑咸臨丸に通訳として乗り込み、太平洋をアメリカに航した。

咸臨丸航海の図