1856年4月7日(旧暦では安政3年3月3日)、大分県豊後臼杵藩士山本確の二男として生まれた。1880年（明治13）三菱商業学校を卒業後、岡山商法講習所の教頭などを経て83年に入社した郵便汽船三菱会社で川田小一郎（当時、三菱会社最高幹部、後の第3代日銀総裁）の知遇を得て90年に日本銀行に転じた。営業局長として日清戦争中の国債公募を成功させたほか、1896(明治29)年ロンドンに派遣され、日本が金本位制に移行する際の基盤ともなった清国からの賠償金の運用を監督するという重責を担った。

1898(明治31)年10月20日に43歳の若さで第5代日本銀行総裁(明治36.10.19まで)に就任してからは、急速な産業の近代化に伴う恒常的な輸入超過によって正貨準備が不足することを防ぐため、金融を引き締めて国内需要の抑制を図る一方、当時、政府による日銀借り入れが累増傾向にあったことに対し、兌換制度の維持や民間の金融逼迫の回避といった観点から対政府融資額に上限を定めるよう主張するなど、毅然とした態度で金融政策を運営した。

1903(明治36)年、総裁を辞任した後、貴族院議員、日本勧業銀行総裁を経て、1911年第2次西園寺内閣大蔵大臣のほか、農商務大臣に就任し、財政の健全化の立場から陸海軍と対決するなど注目を集めた。その後も農商務、内務などの各大臣を歴任した。この間13年（大正2）には政友会に入党、脱党後政友本党を結成し、さらに26年に立憲民政党の結成時にはその最高顧問に就任した。1947(昭和22)年11月2日92歳で逝去。