満洲国奉天省鞍山出身。弟が2人いたが、それぞれ事故、栄養失調で亡くしたという。終戦に伴い宮崎県へ引揚後、本籍地の東京都世田谷区で育つ。 正則高等学校在学時、演劇部に所属し熱中。より高みを目指したことで、高校2年だった1955年に東宝児童劇団に飛び込む。約3年間の活動を経て、児童劇に限界を感じ退団した後は、日本大学芸術学部演劇科へ進学する。 その後「学校の勉強と実際に芝居することは違う」と感じたため、劇団葦の研修生となったことを機に大学は2年で中退。だが、劇団葦は入団から約2年後に解散。しばらくは他の劇団の入団試験を受けながら、それまで以上に日銭が得られる仕事（バーテンダー、キャバレーのボーイに呼び込み、サンドイッチマンなど）を何でも行う生活を送ったという。 声優の初仕事は、1957年に放送された東北放送のラジオドラマ『源九郎物語』へのレギュラー出演。当時、声優業は俳優たちの副業であり、富山自身も最初は芝居や生活の資金稼ぎのため行っていた。 1965年、劇団葦時代の先輩であった千葉順二の誘いで河の会へ所属。当時の河の会が吹き替え出演などマスコミ関係の仕事が主体だったことで、富山も声優業を本格的に始めることとなった。所属後しばらくは端役を多くこなし、ひと月に30本出演したこともあったという。同年には『鉄人28号』にて、毎回役の違う脇役ではあるがセミレギュラーを獲得。 1968年、オーディションで『佐武と市捕物控』の主人公・佐武の声に抜擢され初主演を飾る。以降は1969年に『タイガーマスク』で主人公・伊達直人を、『男一匹ガキ大将』の戸川万吉を演じるなどアニメーションでの主演が増え、富山自身の人気も高くなる。 1974年、『宇宙戦艦ヤマト』にて主人公の古代進を演じる。同作のヒットも伴い、富山は多数の人気声優ランキングで上位を飾るなど人気を不動のものとした。 1976年、青二プロダクションへ移籍。 1979年、富田耕生らと青二プロダクションを退所し、ぷろだくしょんバオバブを立ち上げる。同時期には2枚のアルバムをリリースし、1980年にはバオバブ所属声優で結成した劇団がらくた工房（現：劇団すごろく）にて約10年ぶりに舞台活動も再開した。 1980年代に入っても多くの作品に出演。『ゲゲゲの鬼太郎（第3作）』のねずみ男役や『それいけ!アンパンマン』のSLマンなど、主演だけでなく様々な役を担当した。1990年代には『ちびまる子ちゃん』で、主人公のまる子の祖父・さくら友蔵の声を担当したほか、SFアニメ『銀河英雄伝説』シリーズで主人公ヤン・ウェンリーを長期にわたり担当し、結果的に富山の晩年を代表するキャラクターとなった。 1995年8月18日、『ちびまる子ちゃん 第2期』第37話「呪いの貸本」の巻（1995年9月17日放送）の収録後に「目の調子が悪い」と訴える。同年8月21日に突然倒れ、東京都新宿区の東京医科大学病院に入院。検査の結果、末期の膵臓癌と診断された。仕事を優先する姿勢と人気声優としての多忙が災いして癌の発見が遅れてしまい、既に手遅れの状態だったという。同年9月25日午前9時7分に死去。56歳没。翌年6月に公開された『APO APOワールド ジャイアント馬場90分一本勝負』の郵便配達人役が遺作となった。 9月30日に告別式が行われ、声優仲間やファンら約1300人が出席した。 2007年、第1回声優アワードにて特別功労賞を受賞。