Η Βιβλιοθήκη Καταφυγίου στεγάζεται στο «Πολιτιστικό Κέντρο» του χωριού, το παλιό σχολείο, που ανακαινίστηκε το 1993, δαπάναις του «Εξωραϊστικού Πολιτιστικού Συλλόγου Καταφυγίου Ν. Κοζάνης ‘Η ΛΙΑΧΑ’». Το ίδιο κτίριο στεγάζει επίσης τη Λαογραφική Συλλογή, την Αίθουσα Εκδηλώσεων, ενώ ο αύλειος χώρος του λειτουργεί ως παιδική χαρά. Ως Πολιτιστικό Κέντρο του χωριού, συγκεντρώνει, κάθε καλοκαίρι που μαζεύονται οι Καταφυγιώτες στον τόπο τους και καθημερινά, όλο τον πληθυσμό και όλες τις ηλικίες του Καταφυγίου.

Στο χώρο της βιβλιοθήκης τα παιδιά μπορούν να διαβάσουν βιβλία και να ζωγραφίσουν, να παίξουν επιτραπέζια παιχνίδια και να συγκεντρώσουν υλικό για τις εκδηλώσεις και παραστάσεις που ανεβάζουν τακτικότατα. Το κυριότερο είναι ότι μαζί με την παιδική χαρά του αύλειου χώρου, η βιβλιοθήκη αποτελεί ένα χώρο που τα παιδιά μπορούν να νιώσουν καθαρά δικό τους.