1897(明治30)年5月22日藤山雷太の長男として、東京で生まれる。1918年(大正7)、慶應義塾大学法学部を病のため中退。1934(昭和9)年に父の後をついで大日本製糖の社長に就任。その後、日東化学工業社長をへて1941(昭和16)年、44歳にして東京商工会議所会頭、日本商工会議所連合会(現、日本商工会議所)会長に就任した。1942年海軍省顧問として南方占領地を視察。1944年東条英機内閣打倒を図る。

第2次世界大戦後に公職追放となるが、1950(昭和25)年の追放解除後、日東製紙社長をつとめ、1951年には日本航空会長、経済同友会代表幹事、東京商工会議所会頭、日本商工会議所会頭となり、財界にも復帰した。1957年7月に、岸首相の要請をうけて民間人として外相に就任、1958年以来衆議院議員(神奈川一区)。経企庁長官、自民党総務会長を歴任。日中国交回復に尽力する一方、64年以降政権担当を企図して池田、佐藤と争って敗北し、1975年に政界を引退。1985(昭和60)年2月22日逝去。