Abja Muusikakool avati vastavalt kultuuriministri käskkirjale 1.septembril 1961. aastal. Ametlikuks nimetuseks sai Abja Laste-Muusikakool. Varem oli praeguse Viljandi maakonna piirides tegutsenud vaid 1945. aastal tööd alustanud Viljandi Muusikakool.

Esimest õppeaastat alustati Abja Kultuurimajas, kus kool praegugi töötab. Õppimist alustas 36 klaveri ja 20 akordioni eriala õpilast. Õppetöö toimus kahes vahetuses, kasutati nelja ruumi ja ka õpetajaid oli neli. Üks neist, legendaarne muusikapedagoog Kalle Tamra, oli ka kooli esimeseks direktoriks.

Teisel sügisel alustas õppimist juba 50 klaveri ja 30 akordioni õpilast, keda õpetasid seitse õpetajat. Seoses Abja rajooni likvideerimisega 1. jaanuarist 1963 tekkis ka suur muutus õpilaste arvus. Nii oli kevadeks koolis järel vaid 60 õpilast.

Kolmandat õppeaastat alustas kool tööks kohandatud ruumides Veski tänav 1 majas, kus oli varem asunud rajooni sõjakomissariaat. Õpilasi oli aasta alguses 56, erialadeks endiselt klaver ja akordion.

Neljanda õppeaasta sügisel võeti kooli vastu 37 klaveri- ja 24 akordioniõpilast. Õpetajaid oli kuus. Veebruaris koliti Veski tänava maja kapitaalremondi tõttu ajutiselt „sünnikoju“ – Abja Kultuurimajja, kus oli aga nii külm, et see häiris õppetööd.

Neljas aasta on kooli ajaloos tähtis, kuna lõpetas nelja õpilasega I lend.

Tol kevadel kuulutati esmakordselt Abja Muusikakooli ajaloos vastuvõttu trompeti, klarneti, oboe ja kontrabassi erialale. Kahe viimase vastu küll sisseastujatel huvi polnud.

Viiendat õppeaastat alustati vastremonditud, koolile kuuluvas majas. Õpilasi oli koolis 60, neist 33 klaveri, 26 akordioni ja üks klarneti erialal. Õpetajaid oli kaheksa.

Kevadel lõpetas teise lennu ridades ka meie oma kauaaegne klaveriõpetaja Olev Raal, kes esimesena kooli ajaloos sai kiituskirja.

Viienda õppeaastaga lõppes esimene etapp kooli ajaloos. Nimelt võttis Kalle Tamra vastu tööpakkumise Viljandi Muusikakooli direktori ametikohale ja lahkus Abja mailt. Tema poolt oli tugev vundament koolile rajatud ja saabus järgmiste tegijate kord jätkata.

Uueks koolijuhiks järgmiseks neljaks aastaks sai Maile Harik( Pebre), kes oli Tallinna Muusikakooli klaveri eriala lõpetamise järel Apja tööle suunatud.  Õpilaste arv püsis 60-70 piires. Erialadest populaarseim oli ikka klaver, selle järel akordion ning siis klarnet ja trompet. Õpetajate arv oli stabiilselt kaheksa. 1970. aasta kevadel suundus Maile Pebre Tallinnasse kõrgharidust omandama ja koolile tuli leida uus juht. 

Kätte jõudis Abja Muusikakooli kolmas ajalooetapp (1970 – 1991), mil direktoriks oli kooli avamisest saadik siin õpetajana töötanud Rosalie Ralja(Kannik). Aastaks 1972 oli muusikahuviliste arv kasvanud 129-ni, neist 38 eelklassi last. Seda oli liiga palju väikese kooli jaoks ja nii otsustati avada Karksi-Nuias muusikakooli filiaal. 1975. aastal sai sellest iseseisev muusikakool.

Õpilaste arvu poolest oli ikka esikohal klaver, teisele kohale jäi akordion. 1971. aastast hakati Abjas õpetama viiulit, kaks aastat hiljem kitarri. 1977/78 alustati tööd plokkflöödi- ja flöödiõpilastega, järgmise õppeaasta algusest lisandus üks löökpilliõpilane. 1982. aastal alustati basskitarri õpetamist.

Kevadel 1991 on aastaaruandes märgitud: muusikakooli hoone vajab kapitaalremonti. Sama vajas kool ka sisuliselt.

Neljandal kooli ajalooetapil (1991-2004) juhtis tööd Valdo Värk. Ta oli enne direktoriks saamist Abjas õpetajana töötanud 11 aastat. Ideederohke mehena oli tal olemas oma nägemus muusikakooli arengusuundadest. 

Õpilaste arv ulatus 62-77 ning tööd jagus 10-13 õpetajale. Erialadest säilisid pika traditsiooniga klaveri- ja akordioniõpetus, jätkasid plokkflööt, flööt, klarnet, basskitarr ja löökpillid.

1996. aasta sügisest võis taas üle 13 aasta astuda klassikalise kitarri erialale, mille populaarsus on aina kasvanud. Samal aastal võeti esmakordselt õpilasi vastu saksofoni ja laulu erialadele ning levimuusika suund kogus elujõudu.

Kolmanda perioodi lõpus (1991) tõdeti, et Veski tänav 1 asuv koolihoone vajab remonti. Seda aga ei saabunudki, kuna omandireformi käigus tagastati see hoone seadusjärgsele pärijale. 1994. aasta suvel sai taas kolitud, nüüd juba kolmandat korda, sünnikoju – Abja Kultuurimajja, kus kool praegugi tegutseb.

Viies etapp (2004-2006) algas Abja Vallavolikogu otsusega 1. aprillil 2004, mil liideti Abja Muusikakool ja Abja Gümnaasium. Kahe kooli direktoriks sai kaks aastat Abjas gümnaasiumi juhina töötanud Arvo Lamp, Valdo Värgile pakuti õppealajuhataja kohta muusikakoolis. Igapäevases õppetöös ei muutunud midagi, küll aga muutus segasemaks kooli juhtimisskeem, milles iga osaline ei saanudki lõpuni oma rollist aru. 

2005. aasta sügisel poliitiline võim Abjas vahetus ja 26. aprillil 2006 võeti vastu otsus, mis muusikakooli gümnaasiumist taas lahutas. Direktori kohusetäitjaks määrati Valdo Värk.

2007. aasta sügisest juhib  Abja Muusikakooli tegevust Heiki Vungi.Abja Muusikakoolis töötab  käesoleval ajal 10 õpetajat ja õpilasi on 74.