Mae’n ymddangos bod y syniadau ar gyfer Sefydliad y Glowyr wedi’u trafod ar ddechrau 1904. Mewn cyfarfod a gynhaliwyd ddydd Gwener 20 Mawrth 1908 o “Sefydliad Llyfrgell Gweithwyr Pwll Glo y Windsor” a gynhaliwyd yn Ystafelloedd Cynnull Gwesty Panteg, cynigiodd Mr Edwin Lewis y Cadeirydd y dylai’r Ysgrifennydd presennol ail-ysgrifennu’r holl gofnodion ers Ebrill 1904 mewn Llyfr Cofnodion priodol, ac y dylid gwneud hyn ar gyfer hanes cyfan y Gymdeithas er mwyn sicrhau bod gan y rhai sydd â diddordeb yn ei les gofnod o’i darddiad a’i ddatblygiad wrth law. Mae’r Llyfr Cofnodion gwreiddiol hwn yn cael ei gadw yn Archifau Richard Burton ym Mhrifysgol Abertawe. Datblygodd y Gymdeithas o “Bwyllgor o Wŷr Bonheddig” a oedd yn gyfrifol am reoli cyllid a elwid yn “Gronfa Les”. Byddai’r pwyllgor hwn yn cyfarfod yn rheolaidd i gynorthwyo eu cydweithwyr a oedd wedi’u hanalluogi gan salwch neu ddamwain; codwyd yr arian drwy gyflwyno treth ar y gweithwyr ym Mhwll Glo Windsor yn Abertridwr. Parhawyd i gynnal cyfarfodydd yng Ngwesty Panteg ac ar 6ed Gorffennaf 1904 cynigiwyd a derbyniwyd y byddai treth o 3d bob pythefnos yn cael ei chodi ar bob glöwr. (1d ar gyfer y Llyfrgell a 2d ar gyfer y Gronfa Les). Ar 19eg Hydref 1904 sefydlwyd y Pwyllgor Llyfrgell. Cafodd ystafelloedd eu llogi gan Mr Griffiths Jones o Stryd Thomas (a ddaeth yn Llyfrgellydd hefyd) am rent o 8/- i gynnwys y gost o lo ac olew. Un ystafell ar gyfer darllen a’r llall at ddefnydd hamdden. Byddai Papurau Newydd dyddiol a chylchgronau (sydd wedi’u rhestru yn y Cofnodion!) i’w cludo gan y trên cyntaf yn y bore! Yna cytunwyd ar y rheolau; Dim Siarad, Dim Smygu, Dim Hapchwarae, gwaherddir Gemau Cardiau. Dim melltithio na rhegi. Dim poeri ar y llawr. Ni chaniateir mynediad i unrhyw berson o dan ddylanwad y ddiod gadarn. Cymerwyd meddiant o’r ystafelloedd ar 12fed Rhagfyr 1904. Ym 1906 cymerodd y pwyllgor gamau gweithredu i wahardd 6 o bobl ifanc swnllyd am un mis! Cytunwyd ar dâl wythnosol i’r Ysgrifennydd (40/-) a’r Trysorydd (20/-)! Roedd y broses o chwilio am safle ar gyfer y Sefydliad newydd wedi dechrau. Ymwelwyd â Sefydliadau eraill, gan gynnwys Sefydliad Llanbradach a’r Lawnt Fowlio a chafwyd trafodaethau difrifol i drafod pa gyfleusterau y gellid eu hymgorffori yn yr adeilad newydd. Aed i weld nifer o safleoedd. Yn eu plith roedd llain o dir a gynigiwyd ar gornel Stryd Margaret ond penderfynwyd nad oedd yn ddigon mawr. Yna gwelwyd llain o dir yn wynebu Stryd William a llain arall ar Cross Street, ond unwaith eto roeddent yn rhy fach. Yna cytunwyd y dylid prynu llain o dir gan Mr J Rowlands o Dŷ Abertridwr gyda thir ychwanegol yn cael ei brynu gan Gwmni Rheilffordd Rhymni. Yn olaf, penderfynwyd y dylid ymgorffori “Neuadd Cyngherddau” a’i swyddfeydd cysylltiedig yn yr adeilad newydd, yn ogystal â llyfrgell ac ystafelloedd cyfarfod amrywiol. Cwblhawyd yr adeilad o’r diwedd ym 1910 ac fe agorodd gyda llawer o rwysg a rhodres. Bu’n ganolbwynt i fywyd y Pentref am flynyddoedd lawer, a chynhaliwyd Cyngherddau, Dramâu, Nosweithiau Cerddorol a chyfleoedd i dalent leol i ddiddori cynulleidfaoedd llawn. Ym 1938 roedd cyfleuster ychwanegol Sinema ar gael, felly pwy oedd angen mynd i Gaerdydd am adloniant! Yn ystod y blynyddoedd o ddirwasgiad fe ddirywiodd yn raddol ac fe’i defnyddiwyd yn y pen draw fel Clwb Bingo a newidiwyd y Llyfrgell yn Gampfa Bocsio. Nid oes cynlluniau wedi’u gwneud ar gyfer ei ddyfodol hyd yn hyn.