Село Орцево се намира в планински район, в Родопите и има незабравим изглед към Пирин планина. Село Орцево е най-високо разположено село, както на територията на Република България, така и на Балканския полуостров, с надморска височина от 1550 до 1650 m (1555 m на площада на селото), в което има постоянно живеещо население.До 1954 година към Бабяците се броят населени местности, които влизат в състава на днешните села Орцево, Бел камен, Бунцево, Дагоново, Конарско, Смолево, Юруково, Аврамово, Бойка (дн. Горно Краище), Върхари (закрито), Гълъбово, Палатик, Черешово.
В землището на Бабяк и Орцево, на Бабяшка чука (кулата), е открито тракийско светилище, в което са намерени оброчни плочи на Бендида, Зевс и Хера; култовата дейност продължава до V век.
Останки от антично светилище и надгробна могила от късния период на желязната епоха има в местността Митеш, а в местността Пшениценината са открити следи от древно антично селище. Населението се е занимавало с рудодобив, за което свидетелстват останки от минни галерии; добивани са злато (по река Златарица), смола и катран.
В местността Гогово са открити средновековен некропол и плочи. Открити са над 1000 медни и сребърни византийски монети и много единични средновековни монети. На Бабяшка чука са запазени останки от манастира „Света Екатерина“.
Бабяците се споменава в османски списък на хората, натоварени да събират овце за султанския двор от 1576 година. Посочени са жителите Вели, син на Дамад Пазарлъ; Сюлейман, син на Абдуллах; Хасан, син на Караджа; Алагьоз Абдуллах; Ине Бали Хамза, Хадър, син на Насух и Ахмед, син на Насух, натоварени да събират общо 235 овце.
В XIX век Бабяците са чисто мюсюлмански села в Неврокопска каза на Османската империя. В „Етнография на вилаетите Адрианопол, Монастир и Салоника“, издадена в Константинопол в 1878 година и отразяваща статистиката на мъжкото население от 1873 година, Бабяк (Babiak) е посочено като село с 892 домакинства и 2100 жители помаци. Съгласно статистиката на Васил Кънчов („Македония. Етнография и статистика“) към 1900 година Бабяк (Бабекъ) е българо-мохамеданско селище. В него живеят 3600 българи-мохамедани.
След Руско-турската война и Съединението на България населението на бабешките колиби намалява. През 1887 година Христо Попконстантинов обнародва статистика за броя на домакинствата в бабешките колиби, в която Бабяк е посочено като селище с 200 помашки семейства.
През XIX век населението се препитава с овцевъдство, лов и катранджийство. В края на XIX век Васил Кънчов споменава Бабеците като пръснато колибарско селище с 3600 жители.
Непосредствено преди Балканската война Бабяшките колиби са били над 2000 на брой, но след войната, вследствие на многото жертви и емиграцията, броят им намалява наполовина.
Според Димитър Гаджанов в 1916 година в Бабяците живеят 4780 помаци.
По време на Възродителния процес през 1972 година бабечани научават за насилствената смяна на имената в Родопите и изработват план за противодействие. От бабешките колиби се събират около 400 мъже, чиято цел е да прекосят Рила по билото ѝ и през Самоков да достигнат до София, където да протестират пред американското и турското посолство. ДС разбира за операцията едва след като групата е тръгнала и незабавно стартира спешна високопланинска операция за неутрализиране на бунтовниците. Повечето бабечани от групата са заловени, пребити или интернирани, а един възрастен човек умира и е свален на ръце до град Белово.
