19 февраля 1929 году Шаламов был арестован и заключен в Бутырскую тюрьму за распространение «Письма к съезду» Владимира Ленина. Его приговорили к трем годам заключения в Вишерском отделении Соловецких лагерей особого назначения.
В 1932 году вернулся в Москву, где снова продолжил литературную работу, занимался журналистикой, сотрудничал в ряде небольших профсоюзных журналов.
В 1936 году в журнале «Октябрь» был опубликован один из его первых рассказов «Три смерти доктора Аустино». В 1937 году в журнале «Литературный современник» вышел рассказ Шаламова «Пава и дерево».
В 1936 году Шаламов по совету своего шурина, видного чекиста Б. И. Гудзя, и жены, написал на Лубянку отречение от прошлого троцкизма. Их сестра Александра (Ася) знавшая о работе ЧК считала это самоубийством. В январе 1937 года Шаламова вновь арестовали за «контрреволюционную троцкистскую деятельность», как он считал, по доносу шурина, однако материалами следственного дела это не подтверждается.
12 январа 1937 года он был снова арестован и приговорен к пяти годам Колымских лагерей.
В 1943 году его дополнительно приговорили к десяти годам за антисоветскую агитацию, он назвал писателя Ивана Бунина русским классиком.
В 1951 году Шаламов был освобожден, работал фельдшером недалеко от села Оймякона.