В острейшей политической борьбе за власть высшие руководители ВКП(б) опирались на лично преданных им сторонников в партийно-государственном аппарате и ОГПУ. Сталин, также имевший своих людей в указанных структурах, не ограничился только этими группами информационной и силовой поддержки. После избрания в 1922 году Генеральным секретарем ЦК РКП(б) он приступил к формированию собственной секретной службы, тщательно скрытой внутри Секретариата ЦК. С начала 1920-х годов наиболее закрытой структурой стало Бюро ЦК (с 1926 года — Секретный отдел ЦК, с 1934 года — Особый сектор ЦК). Именно там работали особо доверенные сотрудники Сталина: И. П. Товстуха, А. Н. Поскрёбышев, Б. А. Двинский.

Противоречия в высших кругах военно-политического руководства РКП(б) — ВКП(б) во многом определяли работу не только государственных органов СССР, но и практическую деятельность Коминтерна. Сын Иосифа Пятницкого так писал о Сталине, его личной секретной службе и о той роли, которую она сыграла в борьбе за влияние Генерального секретаря в Коммунистическом Интернационале:

«До 1925 года Сталин серьезно делами Коминтерна не занимался. Но он прекрасно понимал, что для того, чтобы стать наследником Ленина, недостаточно стать руководителем своей партии и страны. Для этого необходимо стать признанным вождем мирового коммунистического движения. Вот почему с весны 1925 года Сталин начал активно участвовать в его работе.

Имеются данные, что после 1925 года он создал в своем Секретариате специальный сектор для контроля над работой Коминтерна и, в частности, за деятельностью его Исполкома. Кто входил в его состав, до сих пор остается тайной. Но совершенно ясно, что в особом секторе Секретариата Сталина хранились копии всех документов ИККИ и досье на всех руководителей Коминтерна».

В. М. Жухрай, старший научный сотрудник Института марксизма-ленинизма при ЦК КПСС, изложил свою версию секретной службы вождя:

«В конце 1925 года, в условиях враждебного капиталистического окружения, в условиях ожесточенной классовой борьбы в стране и партии, когда иностранными разведками плелись бесконечные заговоры против Советской власти, Сталин, в целях защиты завоеваний Великой Октябрьской социалистической революции, был вынужден создать личную стратегическую разведку и контрразведку.

В задачу этой личной специальной службы Сталина входило изучение и регулярное освещение деятельности за рубежом наиболее важных и известных в мире политических деятелей (особенно закулисных сил, стоящих за их спиной и в действительности правящих капиталистическим миром), а также руководителей разведок ведущих капиталистических стран. Благодаря отличной конспирации о работе этой сталинской службы как внутри страны, так и за ее пределами ничего не было известно. Службу возглавляли два помощника Сталина, руководившие вместе с ним ее работой. Встречи и работу с ними он тщательно скрывал от своего официального окружения: Сталин много раз говорил, что “разведка лишь тогда работает успешно, если о ней никто ничего не знает”».

Жухрай указывает, что, по его данным, начальником личной стратегической разведки вождя был А. М. Лавров, а начальником личной контрразведки — А. М. Джуга. Оба они после Великой Отечественной войны имели звание генерал-лейтенанта.

Во второй половине 1926 года председатель ОГПУ В. Р. Менжинский создает Особую группу, предназначенную для выполнения специальных операций стратегического характера. Одна из ее задач — глубокое агентурное внедрение на военные и промышленные объекты вероятного противника и подготовка диверсий на них в случае войны. Группа была особо засекречена, в том числе и от коллег в ОГПУ, и опиралась исключительно на собственную агентуру, предоставленную Коминтерном. П. А. Судоплатов посвятил Особой группе следующие воспоминания:

«В ее задачу входило создание резервной сети нелегалов для проведения диверсионных операций в тылах противника в Западной Европе, на Ближнем Востоке, Китае и США в случае войны. Учитывая характер работы, Особая группа не имела своих сотрудников в дипломатических и торговых миссиях за рубежом. Ее аппарат состоял из двадцати оперработников, отвечавших за координирование деятельности закордонной агентуры. Все остальные сотрудники работали за рубежом в качестве нелегалов. <…> Агентов они вербовали из коминтерновского подполья, тех, кто не участвовал в пропагандистских мероприятиях и чье членство в национальных компартиях держалось в секрете». Общее руководство этой деятельностью осуществлял лично Иосиф Пятницкий.

В 1925–1927 годах ОМС Коминтерна подчинял себе пять специальных подотделов, занимавшихся всеми основными видами нелегальной деятельности по всему миру.

Постоянно расширялась сеть базовых пунктов нелегальной связи. Они не подчинялись ни руководству компартий, ни представителям ИККИ, а только непосредственно московскому руководству ОМС.

При передвижении по территории СССР курьеры и нелегалы, а также грузы, приписанные к ОМС, негласно полностью освобождались от паспортного, таможенного досмотра и какого-либо иного контроля.

Усиливался оперативный контроль за работой всех спецслужб, в том числе отечественных, контроль за работой секретных и временных нелегальных партийных комиссий и структур, для чего в 1929 году создается Секретноинструкторский подотдел.

Генеральным секретарем одной из дочерних структур ИККИ — Профинтерна — в 1921–1937 годах был Соломон Лозовский, тесно сотрудничавший с И. Пятницким. Именно Лозовский предложил на случай обострения международной обстановки усилить подготовку «нелегального аппарата, политически и организационно связанного с секциями Коминтерна и Профинтерна».

Одной из совместных программ Коминтерна и Профинтерна явилась организация системы «пролетарской самообороны». Подобные военизированные группировки разного уровня подготовки и организации действовали на территории практически всех стран, где Коминтерн имел свои структуры. Например, в Германии был создан Союз красных фронтовиков, в Австрии сформирован арбайтервер (в противовес рейхсверу), в Англии организована Лига бывших солдат.

Активизация антисоветской деятельности Великобритании, Франции, Польши, стран Балтии и ряда других государств, а также множества белоэмигрантских организаций обеспокоила руководство страны. По мнению Политбюро ЦК ВКП(б), усиление диверсионной и террористической активности против советских представителей во многих странах являлось показателем подготовки войны против СССР.

В течение мая 1927 года на заседаниях Политбюро ЦК ВКП(б) несколько раз рассматривались вопросы соблюдения конспирации сотрудниками советских представительств за границей. Политбюро ЦК 5 мая 1927 года постановило: «Обязать ИККИ, ОГПУ и Разведупр в целях конспирации принять меры к тому, чтобы товарищи, посылаемые этими органами за границу по линии НКИД и НКТорга, в своей официальной работе не выделялись из общей массы сотрудников полпредств и торгпредств».

В составе ОГПУ подготовкой и проведением специальных операций за рубежом в основном занимались два подразделения: Иностранный отдел (ИНО) и Особая группа при председателе ОГПУ. Как следует из воспоминаний П. А. Судоплатова, в задачи ИНО входили ликвидация политических противников Советской власти и расправа с предателями и провокаторами из своей среды.

Не менее важным направлением было создание сети разведчиков-нелегалов, подготовленных для проведения диверсий во враждебных СССР государствах. Эту задачу выполняла Особая группа, которую с 1929 года возглавил Яков Исаакович Серебрянский. С 1934 года Специальная группа особого назначения (СГОН)Я. И. Серебрянского находилась в прямом подчинении народного комиссара внутренних дел. Группа была особо засекречена и опиралась только на собственную (в подавляющем большинстве коминтерновскую) агентуру, внедренную на военные и промышленные объекты вероятного противника для подготовки на них диверсий в случае развязывания войны против СССР.