На територията на това предбалканско селце има регистрирани археологически обекти от ранната бронзова епоха в местността Яниче, както и обекти от ранножелязната и късножелязната епоха са регистрирани в местността Градище по време на теренни обходи през 1981 г. и 1982 г., ръководени от Иван Панайотов.
Името на селото произлиза от характера на местността – гола, без растителност. Първоначално се е казвало Мали Голеш и е засвидетелствано за пръв път в турски архив от 1576 г. като Гулеш.
По данни на голешкия енорийски свещеник Ровва Соколов през януари 1910 година селото има 96 къщи, 130 венчила и 678 жители. По това време в голешката енория влизат и селата Връдловци и Бребевница.
През учебната 1926-1927 година прогимназията в Голеш има два класа, 40 ученика (24 в първи и 16 във втори клас) и двама учители. През 1933 година в селото е основана животновъдна кооперация за застраховане на добитък.
Културни и природни забележителности:
Църквата „Света Йоан Кръстител“
Църква "Св. Йоан Кръстител", построена през 1896-1900 година[6].
Тя се намира в центъра на селището и представлява еднокорабна, едноапсидна висока постройка с три кубета. Парите за построяването ѝ са взети от банка в Цариброд от трима местни жители, а като гарант към банката, те си ипотекирали нивите си. След построяването на църквата, жителите на селото събрали парите, които техните съселяни дължали на банката. Строителите са от села от Висока, стенописи в църквата няма. Иконостасът е резбован и разделен на две части – големи икони и допоясни образи на апостолите.
Около село Голеш са известни шест оброчни кръста, посветени на Св. Николай, Св. Илия, Св. св. Петър и Павел, Св. Спас и Св. Георги. Всеки род от селото си има оброк и преди време на съответната дата родът се събирал до оброка и е давал курбан. Църквата се поддържа и е действаща до момента.
В махалата Батлак, която се намира на около километър в североизточна посока от село Голеш, се намира манастирът „Св. Николай Летни“. Той е построен през 1896 г. от местни жители. Според легендата, която жителите на селцето разказват, една жена от селото, позната на всички като Баба Джонка, сънувала, че трябва да намери основите на манастир някъде около селото. В началото копаели на места, където предполагали, че може да бъде, но нищо не намирали. Един ден на Баба Джонка и се сторило, че нещо гори, точно на мястото, където се намира сега манастира. Накарала хората да копаят там и така били намерени основите на олтара на църквата и оброчен кръст. Върху основите построили малка еднокорабна, едноапсидна църква с размери 4.70 метра в дължина и 4.50 метра широка. Изградена е от плочести камъни, споени с червен хоросан, стените са с дебелина от 0.60 до 0.70 метра. За осветление тя има едно-единствено малко прозорче в олтара. Самата църква от северната и западната и страна е частично вкопана в релефа. Тя не е била изографисана и няма иконостас; вместо това олтарът е бил разделен от наоса с дъсчена преграда, а иконите били книжни, без рамки. Най–ценната художествена придобивка на църквата е икона на Йоан Кръстител, на която е написано: „Подарил Йоан Петров Денков от село Голеш 1896 г.”
