Bagi masyarakat setempat goa cirawun disebut sebagai gunung Cirawun karena letaknya berada perbukitan, serta goa ini lebih dikenal sebagai situs karena diyakini menjadi tempat singgah salah satu tokoh masyarakat bernama Pangeran Rangga Carita yaitu anak dari Dalem Sembah Agung (Cijulang).

Konon Pangeran Rangga Carita semasa kecil tinggal bersama ayahnya di Sandaan, Cijulang. Pada saat Pangeran Rangga Carita sedang ditidurkan pada sebuah ayunan, karena ibunya ada keperluan maka Rangga Carita dititipkan kepada suaminya yaitu Dalem Sembah Agung dan berpesan apabila anaknya menangis jangan dilihat. Tetapi pada saat  Rangga Carita menangis dalam ayunan, Dalem Sembah Agung tetap melihat Rangga Carita dan tiba-tiba anaknya tersebut menghilang.

Setelah Pangeran Rangga Carita menghilang dari ayunan, Dalem Sembah Agung bersama isterinya mencari anaknya itu ke berbagai tempat. Di suatu tempat ditemukan pisaunya (sunda: peso) dan sampai sekarang tempat tersebut disebut Cipeso, selanjutnya dalam perjalanan pencarian ditemukan kain wawadasan dan tempat tersebut sampai sekarang disebut Kalenwadas. Pencarian yang dilakukan oleh Dalem Sembah Agung bersama isterinya berakhir di sebuah goa yaitu Goa Cirawun, Pangeran Rangga Carita sedang duduk bersila dan telah bisa bicara serta menginginkan diberi nama, tetapi ayah/ibunya tidak memberi nama. Akhirnya anaknya tersebut membuat nama untuk dirinya sendiri yaitu Rangga Carita.