В середине в XVIII — начале XIX века в Каменках подвизался старец Петр Дмитриев.

Подвижник родился в 1734 году в семье диакона, служившего в храме этого села. С детских лет Петр посвятил свою жизнь Богу, став впоследствии пономарем каменского храма.

Для уединенных подвигов поста и молитвы Петр Дмитриев уходил за несколько верст от села в лес, где в глухом овраге у него была выкопана пещера близ родника, именуемого в народе «Золотой ключ».

Часто к Петру Дмитриеву приходили сельчане за духовными советами и помощью в скорбях и болезнях. Почитали старца и приезжающие из других городов. Каждому из приходивших к нему, Петр находил, что сказать в утешение и наставление.

Много сил и времени отдал Петр Дмитриев, помогая сельчанам строить каменную церковь в честь иконы «Софии, Премудрости Божией».

Петр Дмитриев скончался в 1814 году, в возрасте 80 лет и был погребен у храма, о котором проявлял свое попечение. В 1818 году по благословению Преосвященного Моисея (Платонова) епископа Нижегородского и Арзамасского на средства помещика Евграфа Лебедева над могилой старца была возведена часовня-усыпальница. В ней перед образами святых горела неугасимая лампада, еженедельно совершались панихиды.

Часовня подверглась разрушению в 1930-е годы. Начало восстановления часовни положено по благословению митрополита Нижегородского и Арзамасского Георгия молебном и крестным ходом 17 июня 2012 года.

Сегодня по воскресным дням в Никольском приходе совершаются панихиды по чтимому старцу Петру Дмитриеву.