Boli to pohnuté časy. Po vymretí Arpádovcov, dynastie prvých uhorských kráľov v roku 1301, sa Uhorsko ocitlo v neistote. Anarchia vrcholila, krajinu si rozdelili najvplyvnejší magnáti. Súperili navzájom o moc i právo nastoliť svojho kandidáta na trón.
Nakoniec sa kráľom stal len 12 ročný Karol I. Róbert z dynastie Anjou, spriaznený s Arpádovcami bol prostredníctvom starej matky. Tento chlapec začal púť k zjednoteniu kráľovstva a aj sa mu to podarilo, hoc mocenský súboj s najvplyvnejším mužom krajiny – Matúšom Čákom Trenčianskym zavŕšila až Matúšova smrť v roku 1321.
. . .
Mnoho hradov za ten čas dospelo k svojmu zániku, medzi nimi i ten prievidzský. Tunajšie kráľovské majetky potrebovali nové správne centrum a preto sa začiatkom 14. storočia začalo s výstavbou hradu Sivý Kameň, ktorý písma prvýkrát spomínajú v roku pána 1352.
Až do roku 1363 sa ako kastelán uvádza Ján, syn Gileta z rodu Žámboky. Staré listiny píšu “castellanus de Baymocz et de Keseleukw”. Jeden pán, ktorý spravoval dva hrady: Bojnice aj Sivý Kameň.
Spolu ich neskôr vlastnil tiež palatín a vojvoda Ladislav Opolský.
V roku pána 1388 dostali hrad do daru Ladislav a Ján Kakaš, šľachtici z Pasztó. O Sivý Kameň mal však záujem aj palatín Leustach z Jelšavy.
Začalo sa súperenie, obe strany sa uchyľovali aj k nečestným praktikám. Početnými úskokmi nakoniec hrad získal Leustach, dlho si ho však neužil. Po prehratej bitke uhorskej armády pri Nikopole v roku 1396 padol do zajatia osmanského sultána Bajazida a ani dramatická snaha rodiny o jeho vykúpenie napokon nebola úspešná.
Po smrti Leustacha v zajatí niekedy po roku 1400 hrad a panstvo Sivý Kameň pripadli jeho synom, Petrovi a Jurajovi. Okrem majetkov však zdedili aj nekonečné spory s potomkami Pasztóovcov, a tak to zostalo až do vymretia rodu Jelšavský po meči, v roku pána 1427.
. . .
Ešte pred smrťou daroval Juraj Jelšavský Sivý Kameň svojim kastelánom, ale tí ho na príkaz kráľa mali prepustiť jeho dvoranovi Jánovi, zvanému Orság z Gútu.
Ani on sa však k majetku nedostal a Sivý Kameň spolu s Bojnicami pripadli uhorskej korune. Ale iba nakrátko.
Už v roku 1434 som Sivý Kameň umne – ženbou získal ja, Gregor Majténi. Ale to už predsa vieš.