Engar upplýsingar eru til um búsetu á Kirkjufelli.
Þess er getið í Jarðabók Árna Magnússonar og Páls Vídalíns að í landi Villingadals hafi „til forna verið býli, sem skal hafa verið kallað Kirkiufell. Sjer mikið til rústa og girðinga. Nær það skuli hafa bygt verið veit enginn af að segja, eða hvar fyrir í eyði hafa lagst.“ (6. bindi, bls 52). Samkvæmt Jarðatali Johnsen var eyðihjáleigan Kirkjufell talin til Villingadals í jarðamatinu 1805.
Sagnir eru um að Kirkjufell hafi lagst í eyði vegna reimleika frá Draugafossi, sem er þar skammt frá. Hermt er að einhvern tímann þegar draugagangur keyrði úr hófi fram í Haukadal hafi maður nokkur, sem kunni ýmislegt fyrir sér, komið öllum draugunum fyrir í fossinum. Átti hann að hafa komið þar fyrir einum þrettán draugum. Eini nafngreindi draugurinn var Haukadals-Halldóra, sem var í lifanda lífi hreppsómagi og þótti erfið viðureignar; dauð var hún plága í dalnum. Sagt er frá Halldóru í Þjóðsögum Jóns Árnasonar.
Árið 2009 rannsökuðu fornleifafræðingar frá Fornleifastofnun Íslands rústir Kirkjufells og benda niðurstöður þeirra til þar hafi verið byggð sem lagst hafi af snemma á 17. öld eða jafnvel fyrr.
Til eru sagnir um að bænhús eða hálfkirkja hafi verið hjá Kirkjufelli, en rannróknir fornleifafræðinganna renndu ekki stoðum undir þá tilgátu.
Skammt neðan við bæjarstæðið stendur nú fjárrétt Haukdælinga sem byggð var árið 1961 og leysti Skarðsrétt af hólmi.
Á vef Jónasar Kristjánssonar um þjóðleiðir er lýst reiðleið frá Kirkjufellsrétt suður Villingadal að Krossbrúnarleið og suður í Sanddal í Norðurárdal í Mýrasýslu. Einnig þar lýst reiðleið um Krossbrún suður í Sandddal eða vestur í Reykjadal í Miðdölum.