СОУ во главе с В. Менжинским, в которое входили Секретный отдел, Особый отдел, Контрразведывательный отдел, Иностранный отдел, Оперативный, Информационный, Транспортный отделы, Экономическое управление, Центральная регистратура, Политконтроль, Штаб войск ГПУ, Административно-организационный отдел. Штат ГПУ составлял по всей стране чуть более тридцати тысяч человек.

Осенью 1923 года был создан Военный архив ГПУ и спортивное общество «Динамо».

После создания СССР, в ноябре 1923 было создано Объединенное Государственное Политическое управление. ОГПУ руководило работой своих республиканских и местных органов через уполномоченных при Советах Народных комиссаров.

В ноябре 1923 года при ОГПУ была организована Экспедиция подводных работ особого назначения, ЭПРОН, занимавшаяся поиском затонувших сокровищ. Именно чекисты агентурным путем раскрыли аферу с “Черным принцем”, затонувшем в 1855 году в Балаклавской бухте без золота, вовремя выгруженного под угрозой осенних штормов в Стамбуле.

28 марта 1923 года ЦИК СССР утвердил «Положение о правах ОГПУ в части административных высылок, ссылок и заключения в концентрационный лагерь», в том числе СЛОН, Соловецкий лагерь принудительных работ особого назначения. В ОГПУ было образовано ОСО, Особое Совещание, из трех чекистов – В. Менжинского, Г. Ягоды, Г. Бокия, получившее право ссылать и заключать в лагерь сроком до трех лет. В мае 1924 года ОГПУ получило право внесудебного рассмотрения дел по бандитизму. Основными операциями чекистов в начале 1920-х годов были действия по сохранению РСФСР, а затем СССР в границах бывшей Российской империи и борьба с западными разведками, финансировавшими недобитые белогвардейские отряды, терроризировавшие население по границам огромной страны, с целью получения бюджета от своих правительств, хотевших видеть Советский Союз покорным их воле.

20 июля 1926 года от сердечного приступа, вызванного многолетним нервным переутомлением, умер Феликс Дзержинский. После него в созданных им органах государственной безопасности все пошло по-другому.

Председателем ОГПУ стал не очень здоровый В. Менжинский, не могший противостоять давлению Генерального секретаря ЦК ВКП(б) И. Сталина, а его заместителем – Г. Ягода, безропотно подчинявшийся воле генсека. Начался разгром чекистов-дзержинцев, которых постепенно переводили из ОГПУ на работу в другие органы Советской власти.

В октябре 1926 года был образован ГУЛАГ – Главное управление лагерей, в соответствии с решением Политбюро ЦК ВКП(б) и постановлением СНК СССР «Об использовании труда уголовно-заключенных».

С 1930 по 1934 годы ОГПУ подчинялись главные службы закрытых НКВД РСФСР и союзных республик. В мае 1930 в Москве была создана Центральная школа ОГПУ.

5 августа 1931 года решением И. Сталина членом Коллегии ОГПУ стал его полномочный представитель в трех закавказских советских республиках Л. Берия, затем ненадолго ставший Первым секретарем ЦК КП(б) Грузинской ССР.

В 1934 году И. Сталин для собственных нужд затеял новую реорганизации ОГПУ, создав комиссию по созданию сверхмощного НКВД СССР, сразу же после смерти В. Менжинского 10 мая 1934 года. Вскоре были репрессированы лучшие чекисты, работавшие с Железным Феликсом: А. Беленький, Е. Евдокимов, М. Лацис, Я. Петерс, Р. Пилляр, С. Пузицкий, С. Реденс, М. Трилиссер, И. Уншлихт, Ф. Фокин. Поводом для начала террора стало бытовое убийство Второго секретаря ЦК ВКП(б) С. Кирова в Ленинграде.

10 июля на базе ОГПУ СССР был создан супермонстр – Народный Комиссариат внутренних дел СССР, первым наркомом которого стал Г. Ягода. Внутри НКВД было создано ГУГБ – Главное управление государственной безопасности, в которое вошли структуры Главного политического управления. Часть его функций – пограничная и внутренняя охрана, Управление делами, ГУЛАГ – перешли к НКВД. Официально ГУГБ возглавлял нарком Ягода, непосредственно его работой руководил первый заместитель наркома Я. Агранов.

В октябре 1935 года в Советском Союзе были введены специальные звания и знаки различия для сотрудников НКВД СССР. Спецзвания сотрудников госбезопасности были на два выше всех остальных. Позднее из ГУГБ появились НКГБ СССР, МГБ и НГБ СССР.

Сотрудники имели следующие звания:

Комиссар госбезопасности 1, 2, 3 ранга.

Старший майор госбезопасности.