У 1929–1930 рр. різко змінилася специфіка ОДПУ СРСР. З політичної поліції, що карала громадян за неблагонадійність, і розвідувального органу воно (без втрати попередніх функцій) перетворилося на гігантський промисловий концерн, що постачав і собі, і іншим виробничим відомствам безкоштовну робочу силу. Це стало можливим лише завдяки приведенню темпів масових репресій у відповідність до планів індустріалізації. Звідси й зухвала абсурдність абсолютної більшості вироків сталінського часу. Рекрутування робочої сили на будови п’ятирічки зберігало форму слідчих процедур за повного вихолощення їхнього юридичного змісту.
У травні 1934 р. помирає В’ячеслав Менжинський, який змінив Дзержинського на посаді голови ОДПУ. У липні 1934 р. створюється Наркомат внутрішніх справ СРСР. Наркомом стає перший заступник Менжинського Генріх Ягода.
До складу НКВС СРСР входили п’ять головних управлінь: Головне управління держбезпеки (ГУДБ, колишнє ОДПУ СРСР); Головне управління робітничо-селянської міліції; Головне управління прикордонної та внутрішньої охорони; Головне управління пожежної охорони; Головне управління виправно-трудових таборів і трудових поселень (ГУЛАГ).
У підпорядкуванні Головного управління прикордонної та внутрішньої охорони перебували прикордонні та внутрішні війська. 1938 р. їхню чисельність визначили в 280 тисяч осіб, із яких 117,5 тисячі — прикордонні війська, 28,8 тисячі — конвойні та 25 тисяч — внутрішні війська оперативного призначення.
Нарком НКВС Генріх Ягода водночас очолював і ГУДБ.
У вересні 1936 р. Ягоду зняли з посади наркома НКВС і призначили наркомом зв’язку, але в січні 1937 р. зняли й звідти, 28 березня заарештували, засудили на Третьому московському процесі 1938 р. до розстрілу і 15 березня 1938 р. розстріляли. З 1936 по 1938 рік Наркоматом керував Микола Єжов, якого своєю чергою розстріляли в лютому 1940 р. Єжова змінив Лаврентій Берія, який дожив до 1953 року і був розстріляний уже після смерті Сталіна.
Сталінські апаратні ігри ще багато разів призводили до реорганізації відомства держбезпеки. У лютому 1941 р., напередодні запланованого нападу на Німеччину, НКВС поділили на дві самостійні частини: НКВС СРСР (нарком — Лаврентій Берія) і Наркомат державної безпеки СРСР (НКДБ) (нарком — Всеволод Меркулов).
У липні 1941 р. колишню єдину структуру НКВС відновили, а Меркулов став заступником Берії. У жовтні 1941 р. Особлива нарада при НКВС СРСР отримала право виносити смертні вироки за контрреволюційними статтями КК РСФРР — 58 і 59. Цей порядок скасували лише 1 вересня 1953 р. у зв’язку з ліквідацією Особливої наради.
У 1943 р. знову відтворили окремий Наркомат державної безпеки СРСР під керівництвом Меркулова. У грудні 1945 р. на посаді наркома НКВС Берію змінює Сергій Круглов. У 1946 р. всі радянські наркомати перейменували на міністерства. НКДБ став називатися Міністерством державної безпеки (МДБ СРСР), а НКВС — Міністерством внутрішніх справ (МВС СРСР).
Берія отримує підвищення: з березня 1946 р. він Маршал Радянського Союзу, член Політбюро і заступник голови Ради міністрів СРСР Сталіна, що курує роботу МВС, МДБ і Міністерства державного контролю. З серпня 1945 р. він очолює роботу над абсолютно секретним проєктом створення радянської атомної бомби («Атомний проєкт»).
