Вперше чоловіка позбавили волі ще в червні 1775-го зі зруйнуванням останньої Запорізької Січі військами Російської імперії. Формальним приводом став донос старшини Павла Савицького у імперську канцелярію ще 1767-го. У ньому йшлося, що невдоволений засиллям сербів та втручанням новоросійського губернатора у справи Запоріжжя отаман хоче перейти під турецький протекторат. Однак, Катерина II відклала донос до кращих часів.

За час ув'язнення на Соловках Калнишевський втратив зір. Амністію отаману надав новий імператор Олександр I у 1801-му. Тоді чоловіку було вже 111 років - він залишився ченцем у монастирі. Помер у 113 років. Поховали на подвір'ї Соловецького монастиря. Збереглась лише могильна плита.