1854年9月19日(旧暦では安政1年閏7月27日)幕府御用絵師の子として江戸に生まれ、仙台藩足軽の養子となる。1867年(慶応3)藩の留学生として渡米、米国留学時代は手違いで奴隷に売られた。1869年（明治2）帰国。1873年文部省に出仕、農商務省に転じて1889年(明治22)、初代特許局長に昇進するが職をやめ、ペルーの銀鉱開発事業を手がけて失敗。1892年日本銀行にはいり、1899年から1911年（明治44）まで日銀副総裁に在任。その間、日露戦争の戦費を調達するため、イギリスに派遣されて外債募集に成功し、男爵を授かった。1911年日本銀行総裁に就任。

1913年(大正2)山本権兵衛内閣で蔵相となり、立憲政友会に入党。1918年の原敬内閣でも蔵相をつとめた。その間、1921年原敬首相暗殺ののち、総理大臣、政友会総裁にもなった。また、1924年の護憲三派内閣の農商務大臣にもなった。1925年に引退したが、1927年(昭和2)4度目の蔵相の座につく。金融恐慌では、モラトリアムを施行して恐慌を沈静させた。その後も犬養毅、斎藤実、岡田啓介の内閣で蔵相をつとめた。30年からの昭和恐慌では、金輸出再禁止を断行、続いて大量の国債を発行して、景気調節政策を導入して、恐慌からの脱出に成功。しかし軍部の軍事費拡大の要求を抑えたため1936年2月26日の二・二六事件で青年将校によって暗殺された。