Първоначално на територията на днешното Брезово е съществувал турски чифлик, около който се заселват българи от близките села. Тук заедно са съжителствали българи, турци, цигани, гърци. По-късно чумна епидемия обезлюдява селото. В по-късен етап се заселват български семейства от Лясковец.
В миналото са се отглеждали многобройни стада от т.нар. „брези биволи“. Те били наричани „абрашести“ т.е. шарени (от турската дума „абраш“ – шарен, белязан), тъй като били тъмни на цвят, но с по едно бяло петно на челото (като белязан). Така биволите дали името на селището, в което ги развъждали – Абрашларе, по-късно в буквален превод Брезово.
Брезово е дало и изселници в Бесарабия и началото на две нови села – Дрангово и Отец Кирилово.
В първите години след Освобождението Брезово е околийски център на околия с повече от 34 села, с над 35 000 жители, с бързо развиващи се земеделие и индустрия (2 спиртни фабрики, содена фабрика, мелница, банки и др.).
При избухването на Балканската война в 1912 г. трима души от Брезово са доброволци в Македоно-одринското опълчение.
Брезово получава статут на град през 1969 г.
Православната църква „Свети Димитър“ е от 1843 г.
Къщата музей на известния български художник, родом от Брезово, Златю Бояджиев.
През 1837 г. брезовци изграждат светско училище – второто в периода на Възраждането след Габровското. През 1870 – 1871 г. в същото училище Васил Левски организира революционен комитет от неколцина будни брезовци – Иван Коларов, Стою Ранделов, Марин Молдовански и др., които по-късно участват в организацията на Старозагорското и Априлското въстание, а през 1881 – 1885 г. са ядрото на местния таен съединистки комитет. Стою Ранделов поддържа тесни връзки със Захари Стоянов, Стефан Стамболов и Иван Андонов и е делегат от Брезово на тайното събрание на БТЦРК на 25 юли 1885 г. в с. Дермендере (дн. Първенец), на което се взема решение за извършване на Съединението.
От Брезово е и родът на голямата театрална и киноактриса Цветана Манева.
