Однажды Пестелю принесли письмо от неизвестного, адресованное за границу.В нём со всеми подробностями сообщалось о заговоре против императора Павла, а в конце была приписка: “Не удивляйтесь, что пишу вам такое письмо просто по почте: наш почт-директор Пестель с нами”. Показывать такое письмо начальству было невозможно, и Иван Борисович его решил сжечь.
Вместе с письмом сгорела и карьера Пестеля. Министр иностранных дел граф Ростопчин, специально написавший это письмо, доложил императору, что почт-директору доверять нельзя, раз он скрыл известие о заговоре.
Пестель покинул столицу и перебрался с семьёй в Москву.