Τούρτα με κάστανα, της μητέρας μου

2 δόσεις παντεσπάνι

Για την Κρέμα (των κάστανων)

• 3/4 κιλού κάστανα
• 1/2 φλιτζάνι ζάχαρη
• 1/2 φλιτζάνι σοκολάτα τριμμένη
• 3 κουταλιές βούτυρο, φρέσκο
• 3 βανίλιες
• 1/3 φλιτζανιού γάλα
• 1/2 φλιτζανιού νερό
• Κονιάκ για το παντεσπάνι

Για το Σιρόπι

• 1/2 φλιτζάνι ζάχαρη
• 1/2 φλιτζάνι νερό
• 1 πορτοκαλόφλουδα
• 5-6 γαρύφαλλα, καρφιά
• 2 ξύλα κανέλας

Για το Παντεσπάν