Има сведения че около селото е имало 8 поселения на [[траки]]те от племето на [[сатрите]] наричани още и [[беси].Те издигнали най-високият менхир на Балканите и редица скални светилища в района. По късно по тези места се заселват и [[славяни]] които оставят ярка следа в гена, обичаите и фолклора на месното население.През [[Средновековие]]то населението и околните местности преминават от [[Византия]] в пределите на България и обратно.А след това в Латинската империя на Балдуин Фландарски до 1207 г. Между 1207 до 1230г местностите около село Побит камък са в владението на [[Деспот Слав]] чиято резиденция е била крепостта [[Цепина]] тогава целите [[Западни Родопи]] биват наричани [[Славееви гори]]. След падането на Българското царство под властта на османците през 1396г и по късната ислямизация на[[ Родопите]], населението от областта приема религията на завоевателят.Имало е и времени поселения на [[юруци,които са оставили следа в названията на няколко месносностти около селото като "Слепите юртове" и "Юрто".За известно време през 18 и 19 век в долината на река [[Доспат (река)|Доспат]] няма трайно населени места а само от времени колиби на овчари от околностите на Бабяк (Бабек). След руско-турската война(1877-1878г)тези земи остават като пограничен район между царство България и Османската империя според решенията на Берлинския договор. Едва след Балканската война 1912-1913г тези територии влизат отново във състава на България В началото на 20 век се заселват вече трайно преселници [[българи-мюсюлмани]] от околностите на село [[Бабяк]] и околните махали търсещи препитание. Тези преселници полагат основите на село Побит камък. През 40-те години на XX век в селото е имало предприятие за катран,собственост на сем. Матрови от Велинград което по късно е изгорено от партизаните.През лятото на 1943г в мес."Дерменка" се установява взаимодействие между отрядите на Антон Иванов и Никола Парапунов, а през лятото на 1944г между отрядите Чепинец и Анещи Узунов.През 1950г е открито и селско училище до 4 клас носещо името на [[Никола Вапцаров]], в сградата се е намирал и магазина, през 1999г училището е преместено в нова сграда, където се обучават около 100 деца от 1 до 8 клас.
