1863年9月13日(旧暦では天保文久3年8月1日)、肥前国松浦郡二里町大里(佐賀県伊万里市)の庄屋、藤山覚右衛門の三男に生まれる。長崎師範学校に入学し、小学校の先生になり、1年後には母校長崎師範学校に迎えられるが、上京して慶應義塾に学ぶ。

卒業後、佐賀で県会議員を勤め、議長まで上り詰めた後実業界に転じ、1892(明治25)年福沢諭吉の紹介で三井銀行に入行、抵当係長として実績を挙げ、中上川彦次郎に見込まれて芝浦製作所所長となる、更に王子製紙の乗っ取りに成功、また東京市街電鉄、日本火災、帝国劇場などの創立に参加したが、1902(明治35)年辞職。

1909(明治42)年に当時破産寸前であった大日本製糖の社長に就任、台湾における粗糖生産の拡大などによって同社の経営再建と大手製糖企業としての発展を実現し、一躍財界に重きをなした。その後、日糖を中心に関連企業を派生させ、藤山コンツェルンと呼ばれる企業集団を築いている。

また日本商業会議所連合会会頭や貴族院勅選議員なども務めた。1934(昭和9)年大日本製糖社長の地位を子息の愛一郎に譲って辞任。1938(昭和13)年12月19日逝去。