Въпреки своята родолюбива дейност в края на живота си Панайот Хитов понася и някои критики от съвременниците си, най-вече - от З.Стоянов. На първо време В "Хр.Ботйов. Опит за биография" Захари пише, че Хитов има роля във скарването между Ботев и Каравелов. ТойБотев ужв писмо до Драсов пише, как Хитов обвинил Каравелов, че искал някакив 150 франка от сръбското правителство. ВпоследствиеСлед освобождението воеводата отрича да е писал такова нещо на Ботев. Малко преди смъртта на Левски пише едно писмо до него, в което подсказва, че е подкачен на тема воеводство. Левски му отвръща ''"Бате Панайоте, а по-добре да ти кажа, брате Панайоте. Не сме се събрали да делим воеводство"''. В други писма ЛевкиЛевски укорява Панайот Хитов. На заседания на комитетите Левски отбелязва и че П. Хитов не иска да се раздели с четническата тактика. Най-сериозни критики обаче му отправя Захари Стоянов за ролята му в Старозагорското и Априлското въстание.За Старозагорското въстание той цитира писмо на Хр.Ботев да Панталей Кисимов от 30 август 1875 "Панайот ще да мине с 2000 души през Сърбия" . Впоследствие ХитонХитов не взима участие в Старозагорското въстание. За априлското въстание пък се очаква да поведе чета, но в последния момент той обявява, че няма да ходи на касапница и Ботев се принуждава да поведе четата вместо него. Въпреки тия критики към него трябва да се отчете че П. Хитов е участвал в Руско-турската война. Възможно е той, като опитен воевода да е разсъждавал, като мнозина свои съвременници, че едно въстание, неподкрепено от нито една от Великите сили е обречено.
