Село Побит камък е разположено в Западните Родопи в планински район на 30 км южно от Велинград. Селото съществува като отделно населено място от декември 1978 г. и носи името си от побита скала̀ с височина около 4 м в ливадите на местността Азмако. Има предположения, че скалата е менхир или езически идол на Богинята-майка, издигнат от древните траки. Разположено в приказната долина на река Доспат, обхващаща го от всички страни, селото е обградено с планински възвишения – на югозапад Дивите кози, на юг - извисеният на 1938 м връх Беслет (наричан от местното население Беслен), на север от селото е Дерменка, на изток се намират местността Стойчов чарк и Дзюле – между които е пътят за близката (на около 1,5 – 2 км) обитавана местност Селище (където до края на 20 век е имало минно предприятие), а на запад е местността Бейовото.
Други близки населени места по течението на река Доспат са село Медени поляни от северозапад и градовете Сърница и Доспат на югоизток.
Има сведения, че около селото е имало 8 поселения на траките от племето беси. Те издигнали най-високия менхир на Балканите и редица скални светилища в района. По-късно по тези места се заселват и славяни, които оставят ярка следа в гена, обичаите и фолклора на местното население. През Средновековието населението и околните местности преминават последователно от Византия в пределите на България и обратно, а по-късно и в Латинската империя на Балдуин Фландърски до 1207 г. Между 1207 и 1230 г. местностите около село Побит камък са във владението на Деспот Слав, чиято резиденция е била крепостта Цепина – тогава целите Западни Родопи биват наричани Славееви гори. След падането на Българското царство под властта на османците през 1396 г. и по-късната ислямизация на Родопите, населението от областта приема исляма. Имало е и временни поселения на юруци, които са оставили следа в имената на няколко местности около селото като „Слепите юртове“[2] и „Юрто“. За известно време през 18 и 19 век в долината на река Доспат няма трайно населени места, а само временни колиби на овчари от околностите на Бабяк (Бабек). След руско-турската война(1877-1878 г.) тези земи остават като пограничен район между автономната област „Източна Румелия“ и Османската империя според Берлинския договор. След Балканската война 1912-1913 г. тези територии влизат в границите на Царство България. В началото на 20 век се заселват вече трайно преселници – българи-мюсюлмани, от околностите на село Бабяк и околните махали, търсещи препитание. Тези преселници полагат основите на село Побит камък. През 40-те години на XX век в селото е имало предприятие за катран, собственост на семейство Матрови от Велинград, което по-късно е изгорено от партизаните. През лятото на 1943 г. в местността „Дерменка“ се установява взаимодействие между отряд „Антон Иванов“ и отряда на Никола Парапунов, а през лятото на 1944 г. – между отрядите Чепинец и Анещи Узунов. През 1950 г. е открито и селско училище до четвърти клас, носещо името на Никола Вапцаров, като в сградата се е намирал и магазинът, а през 1999 г. училището е преместено в нова сграда, където се обучават около 100 деца от първи до осми клас.
