След завършването на мадатамандата си Филмор се завръща в Бъфало, където има административна длъжност в Университета на Бъфало. Когато партията на вигите се разпада през 50–те години, Филмор отказва да се присъедини към [[Републиканската партия]] и вместо това прз [[1856]] година приема номинацията за президент на партията „Америка или не разбираш нищо”. По време на [[Гражданската война]] той се противопоставя на президента Линкълн и по време на периода на Възстановяването подкрепя президента Джонсън. Той умира на [[8 март]] [[1874]] година от удар.
До момента [[2005]] година Милърд Филмор е последният президент, който не е нито демократ , нито републиканец.
