A főnemes a további birtokadományokkal rövidesen az ország legelőkelőbb és leggazdagabb bárói közé emelkedett. 1354-ben bekövetkezett halála után fia, Kónya Miklós, majd 1411-től családi osztály révén az ő fia, Salgói Simon birtoka lett. Mivel már a következő esztendőben elhalálozott, az ajnácskői birtokát fia, Salgói Miklós örökölte meg. Luxemburgi Zsigmond király budai udvarában vendégeskedett VIII. János bizánci társcsászár és VII. Erik, dán király 1424. júniusában. Vendégei számára a magyar uralkodó különös látványossággal szolgált. Az egyik báróját, Salgói Miklóst, engedetlensége és erkölcstelen életmódja miatt - mivel együtt élt Garai János feleségével, Hedvig mazóviai hercegnővel -, megfosztotta minden birtokától, úgymint a nógrádi Salgótól, Ajnácskőtől, valamint a Hont vármegyei Salgóvártól és a Mátra hegységben lévő Benevártól. Ez utóbbi két erősséget a király parancsára földig lerombolták. Az uralkodó a garázda bárót száműzetésre ítélte, Salgói Miklós Velencébe menekült el, ahol 1438-ban halt meg.

Az elkobzott várbirtokot a király rövidesen feleségének Cillei Borbálának adományozta oda. Egy 1434-es oklevélből ismeretes az erődítmény német neve is: „Pirsenstein”. Zsigmond a halála előtti napokban elfogatta az intrikáló feleségét, mert az ellenezte, hogy Habsburg Albert osztrák herceg legyen a magyar uralkodó. Az úrnő minden birtokát elkobozták, így Ajnácskőt is. A trónralépett Habsburg Albert hatezer aranyért zálogba adta a Pálóczi famíliának. 1444-ben kitört a belháború az Ulászló-párti Pálóczi Simon és az Erzsébet-párti Perényi János között. Pálóczy és Rozgonyi Simon egri püspök haddal támadtak János úrra, aki fogságukba esett. Kiszabadulása érdekében váltságdíjul nekik adta Csorbakő uradalmát. Amint azonban szabad lett, bosszúból elfoglalta a Pálóczyak dédesi és ajnácskői várait, mire ellenségei a füzéri erősséget ragadták el. A végén a főnemesi család háborúja megegyezéssel zárult le, mindkettő visszaszolgáltatta a bitorolt erősségeket.

Miután Hunyadi János kormányzó 1451-ben Losonc mellett csatát vesztett Jan Giskra cseh huszitával szemben, a harcedzett cseh zsoldosok elfoglalták Fülek és Ajnácskő várát. Uralmuknak ezen a vidéken Rozgonyi Sebestyén király lovászmester vetett végett, aki 1458 áprilisában a rimaszécsi ütközetben szétverte Valgata huszitáit, majd sorra visszavívta a gömöri várakat. Ajnácskő váruradalmát és a hozzá tartozó jobbágyfalvak sorát ismét a Pálóczy család kezébe jutott. Utolsó tagjuk, Pálóczy Antal a törökkel vívott vesztes mohácsi csatában esett el 1526-ban. Az elárvult birtokra rövidesen az anarchikus belháborúba fulladt ország egyik hírhedt rablólovagja, Bebek Ferenc kaparintotta meg, aki Habsburg Ferdinánd és Szapolyai János királyok között mindig annak a pártjára állt, aki többet ígért neki.

A két uralkodó viszálya közben a törökök egyre nagyobb területeket foglaltak el. 1546-ban egy portyázó csapatuk váratlan rajtaütéssel megszállta az ajnácskői várat, amit egy esztendeig tartottak a hatalmukban. A királyi őrség által vigyázott végvárra 1554-ben nagy csapást jelentett, hogy a környék legfontosabb pontját, a füleki várat bevették a török csapatok. 1566 áprilisában Arszlán budai pasa, elterelő hadműveletként, mivel a dunántúli Palota várát akarta lerohanni, csapatai egy részét utasította, hogy támadják meg Ajnácskő várát. Így akarta a Habsburg hadvezetés figyelmét elterelni az igazi szándékáról, nehogy ellen vonják össze a királyi haderőt. A felvonuló törökök megtámadták, és sikeresen lerohanták a katonai szempontból akkoriban már jelentéktelennek számító Ajnácskő várát. Az 1568-as drinápolyi béke értelmében az ozmánok megtarthatták többek között Ajnácskő és Putnok várait is. A királyi seregek ellentámadása 1593. őszén Teuffenbach Kristóf és Pálffy Miklós királyi hadvezérek visszavette Füleket, mire a törökök kardcsapás nélkül kiürítették a nógrádi és gömöri váraikat.

Egykorú források szerint a Lórántffy nemesi família kezelésébe került az ajnácskői váruradalom. 1605-ben Fülek várának őrsége kaput nyitott Bocskai István hadvezére, Rhédey Ferenc előtt. Példáját követte Ajnácskő katonasága is. Fennmaradt az, az okmány, amiben a Lórántffy és Vécsey nemesi famíliák megosztoztak az örökölt ajnácskői váron. A felsővár és az alsóvár egy része a templom háromnegyedével Lórántffy Zsigmondé lett, míg az alsóvár többi részét a templom negyedével és a középső várat Vécsey György nemes úr kapta. Később sűrűn változtak a földesurai, így a Kubinyi majd a Széchy família mondhatta a magáénak.

Habsburg II. Ferdinánd német-római császár és magyar király 1628-ban Bosnyák Tamás füleki királyi várkapitánynak adományozta oda. Katonai szempontból már nem számított fontosabb végvárnak, a meredek csúcson lévő erődítményt nem is tudták volna átalakítani a korszerű, ágyúkkal vívott hadviselés szabályainak megfelelően. Így nem csoda, hogy 1645-ben rajtaütéssel ismét bevette egy török csapat, akik négy esztendeig dúlták-fosztogatták falai mögül a környékbeli településeket. Amikor aztán 1649-ben Fekete György kapitány vezetésével erős keresztény sereg közelítette meg, Hasszán bég nem védelmezte meg, hanem felrobbantva védőműveit és a jobbágyfalut felgyújtva, elmenekült előlük. A beérkező végvári magyarok annyira helyreállítatták, hogy ismét helyőrséget fogadhasson be. Még ebben az évben adományul kapta Vécsey Sándor nemes úr. Ajnácskőnek tartozott a szolgáltatásokkal ez időszakban 15 jobbágyfalu, úgymint Ajnácskő, Feled, Gesztete, Kerekgede, Csoma, Majom, Jelene, Cserencsény, Alsó és Felsőpokorágy, Rimabrézó, Likér, Rimoca, Szelce és Rimabánya. Gömör vármegye 1652-ben bizottságot küldött ki az iványi Fekete György füleki alkapitány által megerősített ajnácskői vár felülvizsgálatára. A Thököly Imre vezette kuruc hadjáratok idején nem játszott szerepet, helyzetéről nem maradt fenn adat.

1681-ből ismeretes, hogy Almágy jobbágyfalu lakói levélben kérték földesurukat, a Bay nemesi családot, váltsa ki őket a zálogból, ugyanis a zálogbirtokos Vay Ádám alatt igen sokat szenvedtek, aki állandóan hajszolta őket. Többek között a magasan fekvő Ajnácskő várába a hátukon kellett a gabonát felhordani, és ebbe sokan belerokkantak. Vécsey Sándor ajnácskői kapitány embereivel részt vett a török birtokolta egri vár 1687-es blokádjában. Korabeli forrás szerint az 1703-ban kitört tűzvészben leégtek a kicsiny vár még lakható épületei. Miután megjelentek a környéken Ocskay László portyázó kuruc lovasai, a helyőrsége egy emberként csatlakozott hozzájuk. A II. Rákóczi Ferenc vezette szabadságharcban semmiféle katonai jelentőséget nem játszott. 1709-ben gróf Bercsényi Miklós fővezér rövid ideig megszállt benne, de a rohamosan közeledő Habsburg zsoldos csapatok elől rövidesen kénytelen K-re felé visszahúzódni. A harcokat lezáró szatmári békekötés után, 1711-ben ismeretlen indokok alapján ezt az erődítményt nem rombolták le, mint oly sok magyarországi társát. Erre bizonyíték, hogy még 1744. május 18.-án abból az alkalomból, hogy Vay Judit (Czegei Vas Dániel nemes úr özvegye) Teleki Ádámnak eladta az ajnácskői vár egynegyed részét, a hivatalból kirendelt Nagy Ferenc szolgabíró és Mihályi Jeromos esküdt elkészítette az akkoriban még viszonylag épségben álló középkori vár leltárát. Innen ismerjük, hogy a tiszttartója Balajthy Pál, míg a porkolábja Nagy János volt. Ekkor történt Ajnácskő utolsó említése, közelebbről ismeretlen időpontban elhagyták lakói, a gondozás nélkül maradt várfalakat és épületeket az időjárás vasfoga tépázta meg. A maradványainak eltűnését csak fokozta, hogy a környékbeli lakosság erőteljesen bontotta, építőanyagul nyerve a várrom köveit. Egy 2005-ös terepbejárás szerint szinte alig maradtak látható részei, még eddig nem történt régészeti kutatás sem a területén.