6 февраля 1922 г. ВЧК преобразована в структуру Государственного политического управления (ГПУ) при НКВД РСФСР.
На ГПУ возлагалось подавление открытых контрреволюционных выступлений, борьба с бандитизмом, шпионажем и контрабандой, охрана госграницы, железнодорожных и водных путей. В РККА и на транспорте сохранялись особые отделы, а на местах – политотделы ГПУ.
В ведении ГПУ находились также особые войсковые формирования. Органы ГПУ получали право на розыскную деятельность, дознание, предварительное следствие и административное воздействие. При этом внесудебные репрессии, применявшиеся в системе ВЧК, отменялись. Подготовленные следственными органами дела передавались в судебные инстанции.В июле 1923 г. был создан общефедеральный орган – Объединенное Государственное политическое управление (ОГПУ) при СНК СССР на правах союзного наркомата. 15 ноября 1923 года президиум ЦИК СССР утвердил Положение о нем. Председатель ОГПУ назначался президиумом ЦИК СССР и входил с правом совещательного голоса в состав СНК СССР. ОГПУ были подчинены пограничные войска. Система ОГПУ была централизована: ГПУ союзных республик непосредственно подчинялись ОГПУ СССР. Сотрудники ОГПУ приравнивались к лицам, состоявшим на действительной военной службе. Надзор за законностью действий ОГПУ СССР возлагался на прокурора Верховного суда СССР, а с 1933 г. – на Прокурора СССР.