藤乃木は1924年(大正13年) 東京・高円寺の青梅街道沿いにパン屋として創業しました。当時は自転車にパンを積んで近隣に売りに歩いたそうです。
　1933年(昭和８年)に高円寺の店を譲って、西武線の野方駅の北口に移転、和菓子の販売も始めました。
　1938年(昭和13年)に東京府立家政女学校が中野区桃園から移転してくるのに伴い「府立家政」駅が開設されので、府立家政駅南口に売店を開設しました。
　戦後、営業再開とともに工場も移転、洋菓子の販売も始め、学校給食用のパンの製造も行っていました。野方店は売店のみになりました。
  1964年(昭和39年)頃に人手不足などからパンの製造を終了。和洋菓子の店となりました。野方店は閉店しました。
　その後、喫茶室の営業を始め、和洋菓子・喫茶店となりました。喫茶室はその後、増築により一時は70席から80席ほどの規模になりました。
　1977年(昭和52年)に和菓子の製造を終了。洋菓子工場を新築して、洋菓子と喫茶の店になりました。
　1994年(平成6年)店舗を新築。フランス菓子・ふじの木として全面リニューアルオープン。喫茶室は縮小しました。
　2018年(平成30年)諸事情により、惜しまれながらも閉店・廃業する事になりました。
　2019年(令和1年)多くの皆様のお力添えにより、以前洋菓子工場として使用していた所に移転。「パティスリーふじの木」として営業を再開しました。