Paví vrch je opředen mnoha tajemnostmi, navíc i geologové prokázali, že jeho podzemím prochází celá spleť dnes již převážně zaniklých podzemních prostor. Některé z nich sloužily jako vinné sklepy pro zdejší vinice. Rozsáhlé sklepy začínají na úpatí, u domu Brantová (č. p. 184). V roce 1918 došlo k propadu, svědci pak tvrdili, že z domu vedou chodby na všechny světové strany. Průzkum však proveden nebyl. Jiné sklepy a chodby byly zjištěny v roce 1937 při kopání základů činžovního domu. Dělník se propadl do chodby, která se po 20 metrech sbíhala s dalšími čtyřmi chodbami. Následně bylo zjištěno, že jedna z chodeb vyúsťuje do malého domku před vrcholem Pavího vrchu. Podle terénních znaků zde zřejmě stávala tvrz. Zdá se, že sem vedla i chodba z Vyšehradu. Je ale možné, že odtud vedly chodby do hradu, který kdysi stával na Skalce.