Гру как расшифровывается: что такое и чем занимается, расшифровка

Высокопоставленный руководитель разведки 25 лет снабжал американцев сверхсекретной информацией.

Идейные предают один раз

Среди всех предателей, когда-либо выходивших на контакт с зарубежными разведками, сотрудник ГРУ Дмитрий Поляков стоит особняком. Военные психологи и специалисты «по работе с кадрами» отмечают, что такие, как Поляков, — костяк любой спецслужбы. Поляков не только успел повоевать на фронтах Великой Отечественной и был награждён несколькими орденами и медалями, но и получил отменное образование. После завершения боевых действий Поляков окончил военную академию им. Фрунзе, после которой был направлен на работу не в архив, как это часто бывало с выпускниками, а на передовую холодной войны — в Главное разведывательное управление.

В 1951 году молодой шпион получает первое направление, и сразу в Нью-Йорк — логово вероятного противника в будущей войне. Под дипломатическим прикрытием офицер военной разведки действует пять лет, и результаты его работы впечатляют начальство. После трёхлетнего перерыва и перекрёстных проверок контрразведки в 1959 году Полякова возвращают на работу в США, но уже в звании полковника и заместителя резидента по нелегальной работе. Главная задача Полякова — координировать действия нелегалов, добывающих особо важные сведения о состоянии Вооружённых сил США во всех уголках мира. Карьера Полякова стремительно идёт вверх, и уже через год ему пророчат должность начальника резидентуры.

Однако поздно вечером 30 октября 1961 года Поляков звонит по телефону одному из офицеров Вооружённых сил США, полковнику Фейхи, и, зная, что последний активно работает с органами разведки и контрразведки, требует встречи с представителями военной разведки США, находящимися в ООН под прикрытием. При этом никакой конспирологии: Поляков представляется своим именем, называет звание и должность. Растерянный Фейхи тут же звонит руководителю советского отдела контрразведки ФБР Джеймсу Нолану. У последнего после бессонной ночи к утру 1 ноября 1961 года в голове рождается уникальный план использования офицера одной из самых закрытых военных структур в мире.

«У вас утечка»

Уже через неделю агенты ФБР устраивают Полякову личную встречу. Историк спецслужб, бывший сотрудник 8-го главного управления КГБ СССР Николай Кондратьев отмечает, что всю известную информацию Поляков решил не вываливать на агентов сразу по нескольким причинам.

Первым делом он хотел доказать ФБР собственную ценность. Вторая причина — Поляков обладал таким объёмом данных, что решил не заниматься обрушением психики у американских агентов. По моей оценке, к 1961 году он мог назвать примерно 200 фамилий и должностей. За этими людьми могли прийти уже через пару часов, и Поляков хорошо это понял, решил не раскрываться

Николай Кондратьев

Историк спецслужб, бывший сотрудник 8-го главного управления КГБ СССР

Одной из тех, кого наряду с кадровыми сотрудниками ГРУ Поляков «засветил» в первую встречу с ФБР, стала его подопечная — Мария Доброва. Советская разведчица-нелегал работала в Нью-Йорке под вымышленным именем и полностью сфабрикованной легендой и владела косметическим салоном, куда ходили жёны дипломатов и высших чиновников из ООН. После того как в декабре 1961 года за ней пришли агенты ФБР, Доброва, мгновенно оценив ситуацию, решила не сдаваться и выбросилась из окна. Поляков, в свою очередь, отправил в центр дезинформацию о том, что Доброва завербована ФБР, а её смерть — постановка для отвлечения внимания.

«Пошло-поехало»

Первый год работы Полякова на органы контрразведки США получился результативным. Помимо Марии Добровой Поляков выдал ФБР трёх агентов-нелегалов с выдуманной биографией, которым удалось внедриться в Вооружённые силы США, и не куда-нибудь, а на военно-морские базы. Кроме того, в качестве бонуса Поляков поделился с ФБР данными на лучших советских шифровальщиков, работавших при посольствах. Несмотря на то что предоставленная Поляковым информация использовалась американцами крайне аккуратно, многочисленные провалы резидентур ГРУ заставили контрразведку заняться поиском утечки. Результатом активной работы стал расстрел главного (как тогда казалось) шпиона и предателя Олега Пеньковского, на раскрытие которого было брошено несколько отделов контрразведки.

Полякову повезло. Он оказался умнее своих коллег и никогда не попадал ни в одну оперативную разработку. Бывшие сотрудники спецслужб отмечают, что за свою работу Поляков установил весьма скромный гонорар — всего три тысячи долларов в год.

Объясняется это просто. Его расходы не должны были вызвать подозрения у проверяющих. Каждого офицера, который работал за границей, изучали под микроскопом. Особенно смотрели на всё, что касается денег. Поляков вместо денег потихоньку выпытывал у ЦРУ и ФБР данные на незначительных агентов, которых он может раскрыть в целях своего повышения по службе в Москве. Карьера была его единственной понятной целью, поэтому на деньги он обычно внимания не обращал

Николай Кондратьев

Историк спецслужб, бывший сотрудник 8-го главного управления КГБ СССР

Самый успешный в ЦРУ

В 1965 году Поляков получает право руководить резидентурой в Бирме и отправляется контролировать обстановку на месте лично. В его распоряжении оказываются не только методички и справочники, которые в ГРУ разрабатывают для агентов, но и вполне конкретные направления, по которым нужно работать: военно-техническое сотрудничество, политическая обстановка в рядах Вооружённых сил и многое другое. Вся информация, оказавшаяся в распоряжении Полякова, тут же попадает в руки связника ЦРУ в Юго-Восточной Азии. Вместе с ценной служебной информацией Поляков «сливает» ЦРУ своих коллег — резидентов в странах Азии и почти весь список завербованных СССР агентов.

Большую часть этих агентов в течение следующих четырёх лет работы Бурбона (такой псевдоним агент Поляков получит в ЦРУ) ждут аресты и провалы, однако некоторые особенно ценные кадры советской контрразведки просто пропадали бесследно вместе с сотней секретных документов. Для того чтобы работа Полякова выглядела успешной, ему отдают «ненужных» американских агентов, тем не менее обладающих сверхсекретной информацией.

Их раскрытие и перевербовка делают Полякову хорошую репутацию уже в Москве, и по возвращении на родину агент ЦРУ получает новое назначение в КГБ — теперь Полякову доверяют руководство центром подготовки резидентов ГРУ для заброски в КНР. На этой должности Поляков добыл уникальные по своей ценности сведения: протоколы заседаний советского и китайского министерств иностранных дел, в которых отмечались трудности отношений между СССР и КНР, на основе которых госсекретарь США Киссинджер и президент Никсон развалят советско-китайские отношения и начнут активно дружить с председателем Мао.

Подозрения отсутствуют

Даже вышедшие в отставку относительно недавно контрразведчики называют Полякова «гением агентурной работы» и «уникальным мерзавцем». По словам бывших чекистов, Поляков не только смог выстроить работу нескольких резидентур советской военной разведки, но и успешно руководил своими кураторами в ЦРУ. Доходило до смешного: Поляков жёстко инструктировал работавших с ним в Москве агентов на тему того, где, как и когда лучше производить закладки, писал для американских сотрудников инструкции по выявлению слежки советскими разведчиками и сделал много полезного для успешной работы американской разведки в СССР.

Про собственные успехи Поляков тоже не забывает и за успешную многолетнюю работу в 1973 году получает назначение руководить резидентурой ГРУ в Индии. Через год работы в Индии Поляков получает звание генерал-майора, а в 1975 году благодаря его данным вскрывается факт крупной поставки оружия в Индию аккурат перед четвёртой войной с Пакистаном в 1971 году. Начинается крупный международный скандал, итогом которого становится охлаждение отношений СССР сразу с целым рядом государств. После возвращения из Индии Полякова не убирают с должности, а наоборот: в 1976 году его назначают руководить подразделением в «кузницу кадров для ГРУ» — Военно-дипломатическую академию Минобороны.

Именно здесь, как отмечают историки и бывшие сотрудники спецслужб, Поляков наносит свой главный удар по советской разведке.

Когда меня спрашивают, какой денежный ущерб Поляков нанёс стране, я всегда теряюсь. Вы поймите одну вещь: почти сотня агентов, завербованных за 25 лет, особенно из числа высшего руководства в Вооружённых силах США и НАТО, — это не миллиарды и не десятки миллиардов даже. Такой цифры не существует просто! Была списана практически подчистую работа ГРУ за три десятка лет! Я даже не уверен, что все эти пробелы на сегодняшний день заполнены

Николай Кондратьев

Историк спецслужб, бывший сотрудник 8-го главного управления КГБ СССР

Свой главный бриллиант Поляков подарил ЦРУ именно на службе в академии. В распоряжении генерал-майора и агента ЦРУ были не только списки всех слушателей и потенциальных военных разведчиков, но и данные с подробной характеристикой на самых успешных слушателей. По словам бывших сотрудников контрразведки, все эти данные, вплоть до момента раскрытия Полякова в 1986 году, «коробками передавались в ЦРУ».

Полный список того, что успел сделать Поляков за 25 лет работы, впечатляет своим масштабом.

• Передал ЦРУ список нелегалов, работавших в рядах армии США (в том числе и штабах) с 1963 по 1977 год.
• Помог раскрыть не менее 50 завербованных сотрудников посольств в странах НАТО и Юго-Восточной Азии.
• Помог сорвать крупный оружейный контракт между Индией и СССР в 1980 году.
• Раскрыл адреса явочных квартир в 25 городах США, в том числе рядом с такими объектами, как Ливерморская национальная лаборатория им. Э. Лоуренса (ядерный центр США).
• Передал ЦРУ данные на 45 самых перспективных кандидатов на должность заместителя резидента ГРУ под дипломатическим прикрытием.
• Передал ЦРУ данные на 14 коллег резидентов ГРУ, часть из которых занималась сбором данных о состоянии ядерного оружия в США.
• Раскрыл ЦРУ шифры, коды и структуры системы передачи информации от нелегала в резидентуру.
• Передал ЦРУ данные о программе вербовки агентов органами внешней разведки КГБ СССР.

Фото © Downing / Sygma / Sygma via Getty Images

Раскрыли Полякова, как и многих предателей, совершенно случайно. В 1980 году один из лучших нелегалов ГРУ и по совместительству самый результативный предатель в чине генерал-майора вышел в отставку. Его кураторы из ЦРУ несколько раз предлагали ему выехать за границу, однако Поляков настаивал, что не желает покидать страну и хочет спокойно жить в Москве. Масштабы предательства Полякова стали известны не сразу. Сведения на Полякова передал КГБ начальник контрразведки ЦРУ Олдрич Эймс, которого советские органы завербовали в 1985 году. В его распоряжении оказались материалы с именами и данными людей, с которыми контактировали агенты ФБР. Среди них оказался и Поляков. Этих данных советским безопасникам оказалось достаточно, чтобы раскопать всю подноготную на результативного генерал-майора всего за год.

В 1986 году ничего не подозревающего Полякова арестовали, а ещё через два года расстреляли за измену Родине по приговору суда. За его экстрадицию тогдашнего руководителя СССР Горбачёва просил лично президент США Рональд Рейган, однако Горбачёв ответил: «Сожалею, но это не представляется возможным».

О причинах, по которым Поляков четверть века работал на вероятного противника, говорили много и очень разное. По одной версии, своей работой талантливый разведчик мстил руководству за смерть сына, которому центр не помог со сложной операцией стоимостью всего в 300 долларов. По другой версии, после войны Поляков разочаровался в идеалах СССР и решил помочь с доставкой демократии в страну социализма. Какой бы ни была причина, ради успехов в разведке Поляков без всякого сожаления разрушал межгосударственные отношения и жертвовал коллегами, которых либо сажали в тюрьму, либо убивали в ходе задержания.

ГРУ ГШ ВС РФ, чем занимается разведка России

ГУ ГШ ВС РФ – главный разведывательный орган России. ГУ — новое название, введенное в 2010 году в ходе военной реформы. Расшифровка ГРУ ГШ ВС РФ – Главное разведывательное управление Генерального штаба вооруженных сил Российской Федерации. В народе распространенно устаревшее обозначение ГРУ.

На плечах данного органа лежит разведка ВС РФ. Управление координирует подведомственные разведывательные отделения, следуя Конституции РФ и действуя в интересах государства. Сотрудники разведки проводят перехват информации посредством личного участия (конспирации) или использования электроники и радио.

История организации

В ВС РФ военная разведка существовала еще в СССР (точнее, ее прототип). На основе ГРУ СССР в 1992 году, после подписания всех документов о распаде военной коалиции, основной орган и его офицеры перешли к России. На основе старого управления было создано обновленное. Аббревиатура ГРУ (расшифровывается как Главное разведуправление) ГШ ВС РФ была выведена на официальный уровень в 2010 году после реформы военной администрации. Смена названия органа на его задачи не повлияла.

За время существования управление участвовало во множестве миссий. В 2015 году сотрудники собрали информацию и провели доклад на тему планов исламских группировок в Средней Азии. К заслугам разведчиков относится уничтожение чеченского лидера боевиков, аналитика информации и действия по присоединению Крымского полуострова в 2014, планирование атак в Сирии в 2015, помощь в налаживании международных контактов.

На настоящий момент положение разведывательного отделения можно назвать положительным, так как все разведчики выкуплены или обменены и находятся в России, либо на задании за границей, но на свободе.

Задачи ГРУ

Свод задач Главного управления Генерального штаба ВС РФ был определен еще в 1992 году и с тех остается неизменным. Основные цели организации:

• информационная поддержка, идущая на пользу политическому, военному, техническому или научному развитию страны;
• обеспечение центральных органов РФ (Президента, Минобороны, Генерального штаба) сведениями, необходимыми для принятия решений в сфере внешней политики, экономики и военных отношений;
• создание условий, благоприятных для реализации внешнеполитических целей Российского государства.

На практике данные задачи реализуются при помощи применения разведывательных ресурсов: подготовленных кадров, современной техники, знаний шифровки и других инструментов разведки.

Структура управления

Во главе органа стоит Генштаб и Министерство обороны России. Верхняя ступень в иерархии – Президент РФ, главнокомандующий армейских частей. Начальники ГРУ ГШ ВС РФ (или заместители, или и.о.) должны отчитываться в своей деятельности в первую очередь Генеральному штабу.

Вакансия главного в ГУ ГШ несколько раз освобождалась в связи с выходом предыдущего начальники в отставку. С 1992 года сменилось 6 руководителей. Первым выступил Тимохин Е.Л., генерал-полковник. Большая часть последующих глав – также генерал-полковники (кроме генерала армии Корабельникова).

Наиболее видной фигурой среди руководителей органа считается И.Д. Сергун, который занимал управляющий пост с 2011 по 2016 год. Во время его руководства произошли самые яркие разведывательные операции последнего времени (Крым, Сирия).

Причина смены руководства – смерть Сергуна. На данный момент управляет отделением генерал-полковник Коробов, в биографии которого – награждение званием Героя РФ. Он был ответственным за координацию боев в Сирии, считается ветераном.

Официально сведения о структуре разведывательных подразделений не раскрываются. По не подтверждённым данным, в составе организации 21 подразделение, из них 13 основных и 8 – вспомогательных. Примерный состав:

1. Страны ЕС (Первое управление).
2. Америка, Австралия, Великобритания, Новая Зеландия (Второе подразделение).
3. Азия (Третье).
4. Африка (Четвертое).
5. Оперативная разведка (Пятый отдел).
6. ОсНаз (радиотехника, Шестой отдел).
7. НАТО.
8. СпН (диверсионный отдел).
9. Военные технологии.
10. Военная экономика.
11. Стратегическое управление.
12. Отделение информационной войны.
13. Космическая разведка.

Вспомогательные отделы:

• кадров;
• оперативно-технический;
• архивы;
• информационная служба;
• внешние отношения;
• административный отдел.

Среди нижестоящих отделов есть ОБПСН – отделение безопасности специального назначения.

Всеми отделами руководит организационно-мобилизационный центр, расположенный в штаб-квартире организации. Адрес штаба – улица Гризодубовой в Москве, где располагается официальный кабинет главы управления и его совета. Прежнее здание штаба находится по адресу Хорошевское шоссе, дом 76. Попасть из одного в здание в другое можно, пройдя всего 100 метров.

Численность разведывательных структур

Официальные данные о численном составе разведчиков не разглашаются. По оценкам аналитиков, число военнослужащих в этой отрасли колеблется от 6 тысяч до 15 тысяч человек.

К силам разведуправления относятся общевойсковые в/ч (военные части) — 25 000 человек. Все они служат по контракту. В подчинении у управления артиллерийские части, спецтехника, автомотопарк.

Экипировка ГРУ

Внешнему виду разведчиков уделяется большое внимание. Официальная форма  — серые (у офицеров) или темно-синие (у нижестоящих) шинели с красными и золотыми элементами оформления. Начальник одевается в черную форму с синими вставками.

Современные эмблемы были разработаны в 1997 году. Существуют малая, средняя, большая эмблема, которые крепятся на груди или рукаве. Большая положена только офицерам.

Оружейная экипировка бойцов проводится по стандартам армии. Специальные подразделения должны вооружить улучшенным набором оружия – автомат, нож, пистолет и т.д. Еще со временем СССР вооружение ГРУ считается самым лучшим.

Обучение кадров

Офицеров для ГРУ готовят в основном в Академии Минобороны. Руководящих военнослужащих готовят также в Рязанском воздушно-десантной училище по направлению специальной разведки. Кандидат, который хочет поступить в одно из училищ и впоследствии стать разведчиком, должен обладать хорошим знанием иностранных языков, высоким уровнем физической подготовки, отличным здоровьем.

Существует дополнительное образование при Академии Минобороны – Высшие академические курсы. В структуру ГРУ входят два собственных НИИ, расположенных в столице.

Направления подготовки в высшем учебном заведении при Минобороны:

• стратегическая агентурная разведка;
• оперативно-тактическая разведка;
• агентурно-оперативная разведка.

С первых курсов обучения студенты обязуются сохранять гостайну и не разглашать этапы прохождения подготовки.

С 1992 года вектор развития управления не поменялся: первоочередными задачами остаются улучшение подготовки кадров, получение более подробных сведений, применение новых технологий для разведывательных целей. Однако не всегда цели ГУ выполняются полноценно: происходят утечки информации, а собранные сведения не всегда доходят до верхушки иерархии органа.

По оценкам британских специалистов, из-за неудобной бюрократической системы важная информация не доходит в том числе и до Президента. В 2016 году в связи с некорректной работой служб информационной безопасности произошла утечка информации. Задача ГРУ в дальнейшем – предотвращать подобные проблемы.

Рейтинг автора

Автор статьи

Виталий Рябов

За плечами служба по призыву, а после и по контракту. Сейчас на пенсии.

Написано статей

Понимание сетей ГРУ. В этой статье я постараюсь дать… | Симеон Костадинов

В этой статье я попытаюсь дать довольно простое и понятное объяснение одного действительно захватывающего типа нейронной сети. Представлено Cho, et al. В 2014 году GRU (Gated Recurrent Unit) стремится решить проблему исчезающего градиента , которая поставляется со стандартной рекуррентной нейронной сетью. GRU также можно рассматривать как вариант LSTM, потому что оба сконструированы одинаково и в некоторых случаях дают одинаково превосходные результаты.Если вы не знакомы с Recurrent Neural Networks, я рекомендую прочитать мое краткое введение. Для лучшего понимания LSTM многие люди рекомендуют статью Кристофера Олаха. Я также добавил бы этот документ, который дает четкое различие между ГРУ и LSTM.

Как работают ГРУ?

Как упоминалось выше, GRU являются улучшенной версией стандартной рекуррентной нейронной сети. Но что делает их такими особенными и эффективными?

Чтобы решить проблему исчезающего градиента в стандартном RNN, GRU использует так называемый шлюз обновления и шлюз сброса .По сути, это два вектора, которые определяют, какую информацию следует передавать на выход. Особенность их заключается в том, что их можно научить хранить информацию давно, не стирая ее во времени и не удаляя информацию, которая не имеет отношения к прогнозу.

Чтобы объяснить математику этого процесса, мы рассмотрим одну единицу из следующей рекуррентной нейронной сети:

Рекуррентная нейронная сеть с Gated Recurrent Unit

Вот более подробная версия этого единственного GRU:

Gated Recurrent Unit

Сначала давайте введите обозначения:

Если вы не знакомы с приведенной выше терминологией, я рекомендую посмотреть эти учебные пособия о функциях «сигмоид» и «танх» и работе «продукт Адамара».

# 1. Строб обновления

Начнем с вычисления строба обновления z_t для временного шага t по формуле:

Когда x_t подключен к сетевому блоку, он умножается на собственный вес Вт (z) . То же самое касается h_ (t-1) , который содержит информацию для предыдущих t-1 единиц и умножается на собственный вес U (z). Оба результата суммируются, и применяется функция активации сигмоида для сдавливания результата между 0 и 1.Следуя приведенной выше схеме, мы имеем:

Шлюз обновления помогает модели определить, какую часть прошлой информации (из предыдущих временных шагов) необходимо передать в будущее. Это действительно мощно, потому что модель может решить скопировать всю информацию из прошлого и устранить риск исчезновения проблемы градиента. Мы увидим использование обновлений позже. А пока запомните формулу для зіт .

# 2. Сбросить шлюз

По сути, этот шлюз используется из модели, чтобы решить, какую часть прошлой информации забыть .Чтобы вычислить его, мы используем:

Эта формула такая же, как и для ворот обновления. Разница заключается в весе и использовании ворот, что будет видно чуть позже. На схеме ниже показано, где находится вентиль сброса:

Как и прежде, мы подключаем h_ (t-1) — синюю линию и x_t — фиолетовую линию , умножаем их на соответствующие им веса, суммируем результаты и применяем сигмовидная функция.

# 3. Текущее содержимое памяти

Давайте посмотрим, как именно ворота будут влиять на конечный результат.Сначала мы начнем с использования сброса. Мы представляем новый контент памяти, который будет использовать ворота сброса для хранения соответствующей информации из прошлого. Он рассчитывается следующим образом:

1. Умножить входные данные x_t с весом Вт, и h_ (t-1) с весом U.
2. Рассчитать произведение Адамара (поэлементно) между Сброс затвора р_т и Uh_ (t-1). Это будет определять, что удалить из предыдущих шагов времени.Допустим, у нас есть проблема анализа настроений для определения своего мнения о книге по рецензии, которую он написал. Текст начинается с «Это фантастическая книга, которая иллюстрирует…» и после пары абзацев заканчивается «Мне не очень понравилась книга, потому что я думаю, что она содержит слишком много деталей». Чтобы определить общий уровень удовлетворенности книгой, нам понадобится только последняя часть обзора. В этом случае, когда нейронная сеть приближается к концу текста, она научится назначать вектор r_t , близкий к 0, стирая прошлое и фокусируясь только на последних предложениях.
3. Суммируйте результаты шагов 1 и 2.
4. Примените нелинейную функцию активации tanh .

Вы можете ясно увидеть шаги здесь:

Мы делаем поэлементное умножение h_ (t-1) — синяя линия и r_t — оранжевая линия и затем суммируем результат — розовая линия с вход x_t — фиолетовая линия . Наконец, тан 9009 используется для производства г’т — ярко-зеленой линии .

# 4.Окончательная память на текущем временном шаге

В качестве последнего шага сети необходимо вычислить h_t — вектор, который содержит информацию для текущего блока и передает ее в сеть. Для этого необходимо обновить шлюз. Он определяет, что собирать из текущего содержимого памяти — h’_t , а что из предыдущих шагов — h_ (t-1) . Это делается следующим образом:

1. Применить поэлементное умножение к элементу обновления z_t и h_ (t-1).
2. Применить поэлементное умножение к (1-z_t) и h’_t.
3. Суммируйте результаты шагов 1 и 2.

Давайте приведем пример с рецензией на книгу. На этот раз наиболее актуальная информация размещается в начале текста. Модель может научиться устанавливать вектор z_t близко к 1 и сохранять большую часть предыдущей информации. Поскольку z_t будет близко к 1 на этом временном шаге, 1-z_t будет близко к 0, что будет игнорировать большую часть текущего контента (в данном случае последняя часть обзора, которая объясняет сюжет книги), которая не имеет значения для нашего прогноза.

Вот иллюстрация, которая подчеркивает вышеприведенное уравнение:

Следуя, вы можете увидеть, как z_t — зеленая линия используется для вычисления 1-z_t , который в сочетании с h’_t — ярко-зеленая линия, дает результат в темно-красной линии . z_t также используется с h_ (t-1) — синяя линия в поэлементном умножении. Наконец, h_t — синяя линия является результатом суммирования выходных сигналов, соответствующих ярким и темно-красным линиям .

Иллюстрированное руководство по LSTM и GRU: пошаговое объяснение | Michael Phi

Привет и добро пожаловать в Иллюстрированное руководство по долговременной кратковременной памяти (LSTM) и рекуррентным блокам Gated. Я Майкл, и я инженер по машинному обучению в области голосового помощника AI.

В этом посте мы начнем с интуиции LSTM и GRU. Затем я объясню внутренние механизмы, которые позволяют LSTM и GRU работать так хорошо. Если вы хотите понять, что происходит в этих двух сетях, то этот пост для вас.

Вы также можете посмотреть видео версию этого поста на YouTube, если хотите.

Рекуррентные нейронные сети страдают от кратковременной памяти. Если последовательность достаточно длинная, им будет сложно переносить информацию с более ранних этапов времени на более поздние. Поэтому, если вы пытаетесь обработать абзац текста, чтобы сделать предсказания, RNN могут пропустить важную информацию с самого начала.

Во время обратного распространения рекуррентные нейронные сети страдают от проблемы исчезающего градиента.Градиенты — это значения, используемые для обновления весов нейронных сетей. Исчезающая проблема градиента — это когда градиент сжимается по мере его распространения во времени. Если значение градиента становится чрезвычайно малым, оно не способствует слишком большому обучению.

Правило обновления градиента

Итак, в периодических нейронных сетях слои, которые получают небольшое обновление градиента, перестают учиться. Это обычно более ранние слои. Так как эти уровни не учатся, RNN могут забыть то, что видели в более длинных последовательностях, таким образом, имея кратковременную память.Если вы хотите узнать больше о механике рекуррентных нейронных сетей в целом, вы можете прочитать мой предыдущий пост здесь.

LSTM и GRU были созданы как решение для кратковременной памяти. У них есть внутренние механизмы, называемые воротами, которые могут регулировать поток информации.

Эти ворота могут узнать, какие данные в последовательности важно сохранить или выбросить. Делая это, он может передавать релевантную информацию по длинной цепочке последовательностей для прогнозирования. Почти все современные результаты, основанные на повторяющихся нейронных сетях, достигаются с этими двумя сетями.LSTM и GRU можно найти в распознавании речи, синтезе речи и генерации текста. Вы даже можете использовать их для создания подписей к видео.

Хорошо, так что к концу этого поста у вас должно быть четкое понимание того, почему LSTM и GRU хороши в обработке длинных последовательностей. Я собираюсь подойти к этому с интуитивными объяснениями и иллюстрациями и избегать как можно большего количества математики.

Хорошо, давайте начнем с мысленного эксперимента. Допустим, вы просматриваете отзывы в Интернете, чтобы определить, хотите ли вы купить кашу Life (не спрашивайте меня, почему).Сначала вы прочитаете обзор, а затем определите, считает ли кто-то это хорошим или плохим.

Когда вы читаете обзор, ваш мозг подсознательно запоминает только важные ключевые слова. Вы подбираете такие слова, как «восхитительный» и «идеально сбалансированный завтрак». Вам не очень важны такие слова, как «это», «дал», «все», «должен» и т. Д. Если друг спросит вас на следующий день, что сказал обзор, вы, вероятно, не запомните это слово в слово , Вы можете вспомнить основные моменты, хотя вроде «определенно буду покупать снова».Если вы будете очень похожи на меня, другие слова исчезнут из памяти.

И это, по сути, то, что делает LSTM или GRU. Он может научиться хранить только соответствующую информацию, чтобы делать прогнозы, и забывать не относящиеся к делу данные. В этом случае слова, которые вы запомнили, заставили вас судить, что это хорошо.

Чтобы понять, как LSTM или GRU достигают этого, давайте рассмотрим текущую нейронную сеть. RNN работает так; Первые слова преобразуются в машиночитаемые векторы. Затем RNN обрабатывает последовательность векторов один за другим.

Последовательность обработки по одному

При обработке она передает предыдущее скрытое состояние на следующий шаг последовательности. Скрытое состояние действует как память нейронных сетей. Он содержит информацию о предыдущих данных, которые сеть видела ранее.

Передача скрытого состояния на следующий шаг времени

Давайте посмотрим на ячейку RNN, чтобы увидеть, как вы будете вычислять скрытое состояние. Сначала ввод и предыдущее скрытое состояние объединяются в вектор. Этот вектор теперь содержит информацию о текущем и предыдущих входах.Вектор проходит через активацию tanh, и на выходе появляется новое скрытое состояние или память сети.

RNN Cell

Активация Tanh

Активация tanh используется для помощи в регулировании значений, протекающих через сеть. Функция tanh вычисляет значения, которые всегда находятся в диапазоне от -1 до 1.

Tanh вычисляет значения в диапазоне от -1 до 1.

Когда векторы протекают через нейронную сеть, она претерпевает много преобразований из-за различных математических операций. Итак, представьте себе значение, которое продолжает умножаться на, скажем, 3 .Вы можете увидеть, как некоторые значения могут взорваться и стать астрономическими, в результате чего другие значения кажутся незначительными.

векторных преобразований без tanh

Функция tanh гарантирует, что значения остаются в диапазоне от -1 до 1, регулируя, таким образом, выход нейронной сети. Вы можете видеть, как остаются те же значения сверху между границами, разрешенными функцией tanh.

векторных преобразований с tanh

Так что это RNN. Внутри него очень мало операций, но он работает довольно хорошо при правильных обстоятельствах (например, короткие последовательности).RNN использует гораздо меньше вычислительных ресурсов, чем его усовершенствованные варианты, LSTM и GRU.

LSTM имеет такой же поток управления, как рекуррентная нейронная сеть. Он обрабатывает данные, передавая информацию по мере продвижения вперед. Различия заключаются в операциях внутри ячеек LSTM.

Ячейка LSTM и ее операции

Эти операции используются, чтобы позволить LSTM сохранять или забывать информацию. Теперь смотреть на эти операции может быть немного ошеломляющим, поэтому мы рассмотрим этот шаг шаг за шагом.

Основная концепция

Основная концепция LSTM — это состояние ячейки и ее различные шлюзы. Состояние ячейки действует как транспортная магистраль, которая передает относительную информацию по всей цепочке последовательности. Вы можете думать об этом как о «памяти» сети. Состояние ячейки, теоретически, может нести соответствующую информацию на протяжении всей обработки последовательности. Таким образом, даже информация с более ранних временных шагов может пробиться к более поздним временным шагам, уменьшая эффекты кратковременной памяти.По мере того, как состояние ячейки перемещается, информация добавляется или удаляется в состояние ячейки через ворота. Ворота — это разные нейронные сети, которые решают, какая информация разрешена в состоянии ячейки. Ворота могут узнать, какую информацию нужно сохранить или забыть во время тренировки.

Sigmoid

Gates содержит сигмовидную активацию. Сигмовидная активация похожа на активацию tanh. Вместо сжатия значений от -1 до 1, это сжатие значений от 0 до 1. Это полезно, чтобы обновить или забыть данные, потому что любое число, умноженное на 0, равно 0, в результате чего значения исчезают или «забываются».«Любое число, умноженное на 1, является одним и тем же значением, поэтому это значение остается прежним или« сохраняется ». Сеть может узнать, какие данные не важны, поэтому могут быть забыты или какие данные важно сохранить.

Сигмоид сжимает значения от 0 до 1

Давайте углубимся в то, что делают различные ворота, не так ли? Таким образом, у нас есть три разных шлюза, которые регулируют поток информации в ячейке LSTM. Незабываемые ворота, входные ворота и выходные ворота.

Забудьте ворота

Сначала у нас есть ворота забвения.Эти ворота решают, какую информацию следует выбросить или сохранить. Информация из предыдущего скрытого состояния и информация из текущего ввода передаются через сигмовидную функцию. Значения находятся в диапазоне от 0 до 1. Чем ближе к 0, тем больше забыть, а ближе к 1 — сохранить.

Забыть операции с воротами

Входные ворота

Чтобы обновить состояние ячейки, у нас есть входные ворота. Сначала мы передаем предыдущее скрытое состояние и текущий ввод в сигмовидную функцию. Это решает, какие значения будут обновлены путем преобразования значений в 0 и 1.0 означает не важно, а 1 означает важно. Вы также передаете скрытое состояние и текущий ввод в функцию tanh, чтобы сжать значения между -1 и 1, чтобы помочь регулировать сеть. Затем вы умножаете выходное значение tanh на выходное значение сигмоида. Выход сигмовидной формы будет определять, какую информацию важно сохранить от выходных данных tanh.

Операции с входным шлюзом

Состояние ячейки

Теперь у нас должно быть достаточно информации для вычисления состояния ячейки. Во-первых, состояние ячейки поточечно умножается на вектор забывания.Это дает возможность отбрасывать значения в состоянии ячейки, если оно умножается на значения, близкие к 0. Затем мы берем выходной сигнал от входного вентиля и делаем точечное сложение, которое обновляет состояние ячейки до новых значений, которые нейронная сеть считает релевантными. Это дает нам наше новое состояние клетки.

Расчет состояния ячейки

Выходной шлюз

Последний у нас выходной шлюз. Выходной вентиль решает, каким должно быть следующее скрытое состояние. Помните, что скрытое состояние содержит информацию о предыдущих входных данных.Скрытое состояние также используется для прогнозов. Сначала мы передаем предыдущее скрытое состояние и текущий ввод в сигмовидную функцию. Затем мы передаем недавно измененное состояние ячейки функции tanh. Мы умножаем вывод tanh на вывод sigmoid, чтобы решить, какую информацию должен нести скрытый статус. Выход — скрытое состояние. Новое состояние ячейки и новое скрытое затем переносятся на следующий шаг времени.

Операции с выходным шлюзом

Чтобы проверить, шлюз «Забыть» решает, что следует сохранить от предыдущих шагов.Входной вентиль решает, какую информацию нужно добавить из текущего шага. Выходной вентиль определяет, каким должно быть следующее скрытое состояние.

Code Demo

Для тех из вас, кто лучше понимает, увидев код, вот пример использования псевдокода Python.

псевдокод Python

1. Сначала объединяются предыдущее скрытое состояние и текущий вход. Мы назовем это комбайном .
2. Комбинат получает подачу в слой забывания. Этот слой удаляет ненужные данные.
4. Кандидатный слой создается с использованием комбайна . Кандидат содержит возможные значения для добавления в состояние ячейки.
3. Комбинат также получает входной слой. Этот уровень решает, какие данные от кандидата должны быть добавлены в новое состояние ячейки.
5. После вычисления уровня забытия, уровня кандидата и входного уровня состояние ячейки вычисляется с использованием этих векторов и предыдущего состояния ячейки.
6. Результат вычисляется.
7. Поточечное умножение вывода и нового состояния ячейки дает нам новое скрытое состояние.

Вот и все! Поток управления сетью LSTM состоит из нескольких тензорных операций и цикла for. Вы можете использовать скрытые состояния для прогнозов. Комбинируя все эти механизмы, LSTM может выбирать, какую информацию следует запомнить или забыть во время обработки последовательности.

Итак, теперь мы знаем, как работает LSTM, давайте кратко рассмотрим ГРУ. GRU — это новое поколение рекуррентных нейронных сетей, которое очень похоже на LSTM. ГРУ избавился от состояния ячейки и использовал скрытое состояние для передачи информации.Он также имеет только два шлюза: ворота сброса и ворота обновления. Ячейка

GRU и ее ворота

Шлюз обновления

Шлюз обновления действует аналогично шлюзу забытия и ввода LSTM. Он решает, какую информацию выбросить и какую новую информацию добавить.

Шлюз сброса

Шлюз сброса — это еще один шлюз, используемый для определения того, сколько прошлой информации следует забыть.

И это ГРУ. ГРУ имеет меньше тензорных операций; следовательно, они немного быстрее обучаются, чем LSTM.Нет ясного победителя, какой из них лучше. Исследователи и инженеры обычно пытаются определить, какой из них лучше подходит для их случая использования.

Чтобы подвести итог, RNN хороши для обработки данных последовательности для предсказаний, но страдают от кратковременной памяти. LSTM и GRU были созданы как метод уменьшения кратковременной памяти с использованием механизмов, называемых gates. Ворота — это просто нейронные сети, которые регулируют поток информации, проходящей через цепочку последовательностей. LSTM и GRU используются в современных приложениях глубокого обучения, таких как распознавание речи, синтез речи, понимание естественного языка и т. Д.

Если вы заинтересованы в углублении, вот ссылки на некоторые фантастические ресурсы, которые могут дать вам другую точку зрения в понимании LSTM и GRU. Этот пост был сильно вдохновлен ими.

http://www.wildml.com/2015/10/recurrent-neural-network-tutorial-part-4-implementing-a-grulstm-rnn-with-python-and-theano

http: // colah .github.io / posts / 2015-08-Understanding-LSTMs /

Мне очень понравилось писать этот пост, поэтому дайте мне знать комментарии, если это было полезно, или то, что вы хотели бы увидеть в следующем.И как всегда, спасибо за чтение!

Проверьте michaelphi.com для получения дополнительной информации, как это.

Что такое российское спецслужба ГРУ? | Мировые новости

Служба военной разведки России была обвинена в нескольких глобальных кибератаках, в то время как два человека, обвиняемые в отравлении Скрипалов в Солсбери, были раскрыты как агенты ГРУ.

Что означает ГРУ?

Аббревиатура расшифровывается как Главное разведывательное управление генерального штаба российских военных.

Агентство является главным управлением внешней разведки вооруженных сил России.Это крупнейшее в стране агентство внешней разведки.

Уоллес: «Они не могли принять ванну в ГРУ»

Это то же самое, что КГБ СССР?

Нет, хотя он существовал во времена Советского Союза наряду с КГБ и не претерпел существенных изменений со времени окончания холодной войны в 1991 году.

Другие главные российские спецслужбы, СВР и ФСБ, развились в результате отделения от КГБ в 1990-х годах.

Кто глава ГРУ?

Игорь Коробов — начальник ГРУ.

Он был офицером в советских ВВС и был назначен главой ГРУ после того, как его предшественник Игорь Сергун умер «неожиданно» в 2016 году.

Господин Коробов был наказан Казначейством США в 2016 году за «злонамеренную кибер-активную деятельность» угроза национальной безопасности США во время выборов 2016 года.

В отличие от других силовых структур, таких как ФСБ, г-н Коробов отвечает не непосредственно президенту, а главе Министерства обороны — в настоящее время Сергею Шойфу, главой которого является президент Владимир Путин.

ГРУ — хорошо финансируемая организация, которая имеет прямую поддержку г-на Путина, с небольшими барьерами в отношении дипломатического и законодательного контроля.

Образ: Владимир Путин на полигоне ГРУ

Откуда берутся агенты ГРУ?

Они в основном служат офицерами, некоторые из которых находятся под гражданским, дипломатическим или деловым прикрытием внутри и за пределами России.

ГРУ обычно работает независимо, но в некоторых случаях поддерживает связь с другими российскими агентствами.

Образ: Босхиров и Петров были сфотографированы на железнодорожной станции Солсбери в 4.11 вечера 3 марта

Какова миссия ГРУ?

Роль агентства состоит в том, чтобы предоставить президенту России, Федеральному Собранию, правительству, министру обороны и главнокомандующему вооруженными силами сведения, необходимые для «принятия решений в политической, экономической, оборонной, научной, технической и экологической областях».

Обеспечивает, чтобы «условия благоприятствовали» экономическому, научно-техническому прогрессу России и ее военно-технической безопасности.

«Мы были правы, говоря, что Россия несет ответственность»

Где работает ГРУ?

Как внутри России, так и за рубежом — у нее много свободы благодаря тому, что Путин является активным сторонником агентства.

Образ: Штаб-квартира ГРУ базируется в Москве

Что делают его агенты?

Они работают над получением всех видов информации, связанной с обороной.

Агентство осуществляет высокоразвитую программу по приобретению высокотехнологичного оборудования и документов для российских военных.

ГРУ по-прежнему управляет сетью спящих агентов, также известных как «нелегалы», которые находятся под неофициальным прикрытием, принимая скрытые роли в организациях, не имеющих официальных связей с российским правительством.

Они зарезервированы для наиболее чувствительных или отрицательных задач и играют все более важную роль в развитии информационной войны в России.

Включены кибер-операции «взлома и утечки» и манипуляции с социальными сетями, а также более традиционные операции по дезинформации / пропаганде в печати и на вещании.

Образ: Юлия Скрипаль провела более месяца в больнице после нападения

Что такое подразделение спецназа ГРУ?

Это переводится как «специальное назначение» и является одним из крупнейших отделов ГРУ.

Спецназ обеспечивает разведку в агрессивных средах и обычно включает в себя глубокую разведку и диверсии.

Подразделение часто называют российскими силами специальных операций, но считается, что оно не эквивалентно подразделению спецназа на Западе.

Образ: Подозреваемые Солсбери на Фишертон-роуд, Солсбери, в 13.05 4 марта

Известные операции, предположительно выполненные агентами ГРУ

Образ: ГРУ обвиняется в сбивании Mh27 в 2014 году ,

рекуррентный блок закрытого типа (GRU) с PyTorch

Вы слышали о ГРУ?

Gated Recurrent Unit (GRU) — младший брат более популярной сети с кратковременной памятью (LSTM), а также типа рекуррентной нейронной сети (RNN). Как и его брат, GRU способны эффективно сохранять долгосрочные зависимости в последовательных данных. Кроме того, они могут решить проблему «кратковременной памяти», от которой страдают ванильные RNN.

Принимая во внимание наследие Рекуррентных архитектур в моделировании и прогнозировании последовательностей, GRU стремится затмить своего старшего брата из-за своей превосходной скорости при достижении аналогичной точности и эффективности.

В этой статье мы пройдемся по понятиям, лежащим в основе ГРУ, и сравним механизмы ГРУ с LSTM. Мы также рассмотрим различия в производительности в этих двух вариантах RNN. Если вы не знакомы с RNN или LSTM, вы можете просмотреть мои предыдущие сообщения на эти темы:

Готовы строить, обучать и развертывать ИИ?

Начало работы с совместной платформой AI FloydHub бесплатно

Попробуйте FloydHub бесплатно

Что такое ГРУ?

Gated Recurrent Unit (GRU), как следует из его названия, является вариантом архитектуры RNN и использует стробирующие механизмы для контроля и управления потоком информации между ячейками в нейронной сети.ГРУ были введены только в 2014 году Cho, et al. и его можно считать относительно новой архитектурой, особенно по сравнению с широко принятым LSTM, который был предложен в 1997 году Зеппом Хохрайтером и Юргеном Шмидхубером.

Общая структура в ячейке GRU

Структура GRU позволяет адаптивно захватывать зависимости от больших последовательностей данных, не отбрасывая информацию из более ранних частей последовательности. Это достигается с помощью шлюзовых блоков , аналогичных тем, которые используются в LSTM, которые решают проблему градиента исчезновения / взрыва традиционных RNN.Эти ворота отвечают за регулирование информации, которая будет храниться или отбрасываться на каждом временном шаге. Мы подробно рассмотрим, как работают эти ворота и как они преодолевают вышеуказанные проблемы, позже в этой статье. GRU

следуют тому же потоку, что и типичный RNN

. Помимо внутренних механизмов стробирования, GRU функционирует так же, как RNN, где последовательные входные данные потребляются ячейкой GRU на каждом временном шаге вместе с памятью или иначе называются скрытое состояние .Затем скрытое состояние повторно подается в ячейку RNN вместе со следующими входными данными в последовательности. Этот процесс продолжается как релейная система, производя желаемый результат.

Но как это на самом деле работает? Внутренняя работа GRU

Способность GRU удерживать долгосрочные зависимости или память проистекает из вычислений в ячейке GRU для создания скрытого состояния. В то время как LSTM имеют два разных состояния, передаваемых между ячейками — состояние ячейки , и скрытое состояние , которые переносят долговременную и кратковременную память соответственно, — GRU имеют только одно скрытое состояние, передаваемое между временными шагами.Это скрытое состояние способно одновременно хранить как долгосрочные, так и краткосрочные зависимости благодаря механизмам стробирования и вычислениям, через которые проходят скрытое состояние и входные данные.

GRU против LSTM

Ячейка GRU содержит только два шлюза: шлюз обновления и шлюз сброса . Так же, как ворота в LSTM, эти ворота в GRU обучены , чтобы выборочно отфильтровывать любую ненужную информацию, сохраняя при этом то, что полезно.Эти шлюзы по существу являются векторами, содержащими значения от 0 до 1 , которые будут умножены на входные данные и / или скрытое состояние. Значение 0 в векторах затвора указывает, что соответствующие данные во входном или скрытом состоянии не важны и, следовательно, будут возвращаться как ноль. С другой стороны, значение 1 в векторе затвора означает, что соответствующие данные важны и будут использоваться.

Я буду использовать термины gate и vector взаимозаменяемо для остальной части этой статьи, поскольку они относятся к одной и той же вещи.

Структура устройства GRU показана ниже.

Внутренняя работа ячейки GRU

Хотя структура может выглядеть довольно сложной из-за большого количества соединений, механизм, стоящий за ней, можно разбить на три основных этапа.

Reset Gate

На первом шаге мы создадим Reset . Эти ворота получаются и вычисляются с использованием как скрытого состояния из предыдущего временного шага, так и входных данных на текущем временном шаге.

Сброс потока затвора

Математически это достигается путем умножения предыдущего скрытого состояния и токового входа на их соответствующие веса и суммирования их перед передачей суммы через функцию сигмоида . Функция sigmoid преобразует значения в интервалы между 0 и 1 , позволяя шлюзу фильтровать между менее важной и более важной информацией на последующих этапах.

$$ gate_ {reset} = \ sigma (W_ {input_ {reset}} \ cdot x_t + W_ {hidden_ ​​{reset}} \ cdot h_ {t-1}) $$

Когда вся сеть обучается через при обратном распространении весовые коэффициенты в уравнении будут обновлены таким образом, чтобы вектор научился сохранять только полезные свойства.

Предыдущее скрытое состояние будет сначала умножено на

.