1911(明治44)年12月09日、富山県西砺波郡松沢村（現・小矢部市）生れ。びりで陸軍幼年学校に入学するが、懸命になって勉学し、続く陸軍士官学校ではトップの成績を修め卒業。士官学校を出ると、郷里富山の歩兵35連隊付となり、20才の若さで初年兵100人をあずかることになる。ある時、師団長の推薦で陸軍大学の受験資格を得て、陸軍大学に入学する。合格率32倍の厳しさだった。1938(昭和13)年、陸軍大学を首席で卒業。

戦時中にはガダルカナル島撤収作戦の主任参謀、関東軍参謀を務めるなど、大本営陸軍参謀兼海軍参謀。敗戦後、シベリア抑留、ロシア捕虜収容所で11年強制労働させられる。

帰国後、伊藤忠商事に入社。1961(昭和36)年、社長就任2年目の越後社長が、瀬島の素質を見抜き、入社3年目にして、業務部長に抜擢。翌1962(昭和37)年にはなんと、取締役業務本部長の大任を与えられる。半年後に常務、1968(昭和43)年には専務、1972(昭和47)年にはついに副社長に就任。しかし、なぜか社長にだけはなることがなく、副社長から副会長へ、副会長から会長へと歴任。退社後、臨時教育審議会委員や臨時行政改革推進審議会の委員などを務める。