納税管理人になっていますが、もう払えないので解除してください。

納税義務者からの申し出により解除することになるので、まず納税義務者とご相談ください。納税義務者と連絡がとれない場合や、納税管理人の都合により一方的に終了する必要がある場合は、納税管理人選定申告書の「変更に係る事項」欄に納税管理人を終了する旨を記入し、納税義務者の住所・氏名欄を空白のまま提出してください。