книги хакеры / OSINT_Разведка_из_открытых_источников_Методы_и_утилиты_2019

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-x cha

© Nihad A. Hassan, Rami Hijazi 2018

N. A. Hassan and R. Hijazi, Open Source Intelligence Methods and Tools, https://doi.org/10.1007/978-1-4842-3213-2_1

xxv

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-x cha

Министерство обороны США (МО) определяет OSINT следующим образом:

"Разведка с открытым исходным кодом (OSINT) — это разведка, которая производится на основе общедоступной информации и собирается,

эксплуатируется и распространяется своевременно для соответствующей аудитории с целью решения конкретной задачи ".

В наше время, OSINT был введен во время Второй мировой войны в качестве разведывательного инструмента, когда Соединенные Штаты создали Foreign Broadcast Information Service (FBIS) для мониторинга общедоступной информации, связанной с поддержкой его войск в то время. Все это произошло еще до того, как разведывательное сообщество США начало существовать.

После окончания Второй мировой войны, ФБР продолжает свою работу по эксплуатации источников OSINT во всем мире, до 11 сентября 2001 года, террористические нападения на Соединенные Штаты. Это привлекло внимание к важности создания независимого агентства

OSINT для активизации использования этих ресурсов для защиты национальной безопасности.

Это то, что было предложено комиссии 9/11, который призвал к созданию специализированного агентства по сбору OSINT. В 2005, комиссия по WMD, который был сформирован для измерения эффективности разведывательного сообщества в ответ на угрозы, вызванные оружием массового уничтожения (WMD) и другие связанные с этим угрозы 21-го века, предложил создание директората с открытым исходным кодом в Центральном разведывательном управлении (ЦРУ).

Следуя этим рекомендациям и другим спорам, директор национальной разведки (DNI)

объявил о создании Национального центра разведки с открытым исходным кодом (OSC).

Основные задачи OSC собирать информацию, доступную как из онлайновых, так и офлайн-

источников, что ранее было сделано FBIS. Позже, Закон о реформе разведки и предупреждении терроризма, которая была предложена для реформирования разведывательной деятельности правительства США, объединила ФБР и другие связанные с ними исследовательские организации в один орган. Эта организация теперь называется

Open Source Enterprise и управляется ЦРУ.

Источники OSINT отличаются от других форм разведки, поскольку они должны быть юридически доступны для общественности, не нарушая никаких законов об авторском праве или неприкосновенности частной жизни. Вот почему они считаются "общедоступными". Это различие делает возможность собирать OSINT источники, применимые не только к службам

2

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-x cha

безопасности. Например, предприятия могут извлечь выгоду из использования этих ресурсов

для получения информации о конкурентах.

Примичание! Во время поиска источников oSint может появиться секретная информация, которая не защищена должным образом. это включает в себя утечку документов, таких, как те, опубликованные Wikileaks. этот тип информации называется noSint, в отличие от oSint. разведка обычно учитывает все источники, независимо от их правовой доступности.

В дополнение к его значительному значению для разведывательного сообщества, сбор

OSINT является менее дорогостоящим и менее рискованным, чем традиционные шпионские активы. В отличие от других источников разведки, которые могут потребовать использования спутниковых изображений шпиона или секретных агентов для сбора информации, все, что вам нужно для сбора OSINT онлайн-ресурсов является компьютер и подключение к Интернету. И,

конечно, вам нужны необходимые навыки поиска.

По мере распространения технологий и увеличения объема имеющихся данных правительственные ведомства, неправительственные организации (НПО) и коммерческие корпорации начинают в значительной степени полагаться на OSINT, а не на частную классифицированную информацию. Эта книга научит вас, как использовать источники OSINT для поиска и сбора информации в Интернете. В этой главе мы оговорим термин OSINT, обсудим типы OSIN и поговорим о преимуществах различных сторон от использования OSINT и их мотивации, а также о тенденциях и вызовах на будущее. В более поздних главах мы рассмотрим, как использовать множество инструментов и методов для получения данных из доступных источников.

Категории информации с открытым исходным

кодом

Существуют различные виды информации, с которыми вы можете столкнуться при проведении анализа OSINT. Согласно справочнику НАТО по открытым источникам V1.2, опубликованному в 2001 году, существуют четыре категории открытой информации и разведки.

3

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-x cha

•Open source data (OSD): Это общие данные, поступающие из первоисточника. Примеры включают спутниковые снимки, данные телефонных звонков и метаданные, наборы данных, данные опроса,

фотографии и аудиоили видеозаписи, которые записали событие.

•Open source information (OSINF): Это общие данные, которые прошли некоторую фильтрацию сначала для удовлетворения конкретного критерия или необходимости; эти данные также можно назвать вторичным источником. Примеры включают книги по конкретной теме, статьи,

диссертации, произведения искусства и интервью.

Примечание! набор источников, юридически доступных для общественности по конкретным каналам, называется серой литературой.

изображения, и любая информация, которая контролируется его производителем. серая литература является одним из основных элементов oSinf и может быть получена на законных основаниях, получив разрешение ее правообладателя или заплатив за него (например, через подписные агентства, коммерческие книжные магазины и так далее).

•Open source intelligence (OSINT): Это включает в себя всю информацию,

которая была обнаружена, отфильтрована и назначена для удовлетворения конкретных потребностей или целей. Эта информация может быть использована непосредственно в любом контексте разведки. OSINT можно определить в двух словах как выход обработки материалов с открытым исходным кодом.

•Validated OSINT (OSINT-V): Это OSINT с высокой степенью уверенности;

данные должны быть подтверждены (проверены) с использованием источника, не относящегося к OSINT, или из хорошо авторитетного источника

OSINT. Это необходимо, так как некоторые внешние противники могут распространять неточную информацию OSINT с намерением ввести в

заблуждение OSINT анализа. Хорошим примером этого является, когда

4

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-x cha

телевизионная станция вещает в прямом эфире прибытия президента в другую страну; такая информация является OSINT, но она имеет большую степень правдивости.

Как вы видели, OSD и OSINF являются основными источниками (первичными и вторичными) информации, для OSINT.

Еще одна проблема, которая необходимо понять в контексте OSINT, это разница между данными, информацией и знаниями. Эти три термина обычно используются взаимозаменяемо;

однако, каждый из них имеет различное значение, хотя три взаимодействуют друг с другом.

•Данные: это набор фактов, описывающих что-то без дальнейших объяснений или анализа. Например, "Цена золота за унцию составляет $1,212.”

•Информация: это своего рода данные, которые были интерпретированы должным образом, чтобы дать полезное значение в определенном контексте.

Например, "цена на золото за унцию упала с $1,212 до $1,196 в течение одной недели".

•Знание: это сочетание информации, опыта и понимания, которые были изучены или выведены после некоторых экспериментов. Знания описывает то, что ваш мозг записал в прошлом, и эти записи могут помочь вам принимать лучшие решения о будущем, когда сталкиваются с аналогичными контекстами.

Например, "когда цена на золото падает более чем на 5 процентов, это означает,

что цена на нефть тоже упадет".

Типы OSINT

OSINT включает в себя все общедоступные источники информации. Эту информацию можно найти как в Интернете, так и в автономном режиме, в том числе в следующих местах:

•Интернет, который включает в себя следующие и другие: форумы, блоги,

сайты социальных сетей, видео-сайты обмена, как YouTube.com, Wiki, Whois

записи зарегистрированных доменных имен, метаданных и цифровых файлов, темных веб-ресурсов, геолокационных данных, IP-адресов, людей поисковых систем, и все, что можно найти в Интернете

•Традиционные средства массовой информации (например, телевидение,

радио, газеты, книги, журналы)

5

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-x cha

•Специализированные журналы, научные публикации, диссертации,

конференции, профили компаний, годовые отчеты, новости компании,

профили сотрудников и резюме

•Фотографии и видео, включая метаданные

•Геопространственная информация (например, карты и продукты коммерческих изображений)

Объем цифровых данных

Как вы уже видели, OSINT охватывает не только онлайн-источники. Бумажные издания из открытых источников должны также тщательно расследоваться в рамках любого процесса сбора OSINT; однако онлайн-источники составляют самый большой сегмент OSINT

6

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-x cha

Сегодня мы живем в век информации, и издатели, а также корпорации, университеты и другие поставщики источников OSINT переходят свои бизнес-процессы на цифровые форматы. Число пользователей на сайтах социальных сетей также будет продолжать расти,

а количество устройств Интернета вещей (IoT) будет увеличиваться в будущем, что приведет к значительному увеличению объема цифровых данных, поступающих от миллиардов датчиков и машин по всему миру. Другими словами, большинство источников OSINT в

будущем будут онлайн-источниками.

Примечание! По оценкам компании gartner, к 2020 году будет

использоваться 20,4 миллиарда устройств. v

Объем цифровых данных стремительно взрывается. По данным IDC Research,к 2020 году общий объем цифровых данных, созданных по всему миру, достигнет 44 зеттабайт, а в течение пяти лет их число увеличится быстрее и достигнет 180 зеттабайт в 2025 году.

К 2020 году, по оценкам исследовательской группы Gartner, средний человек будет тратить время на взаимодействие с автоматизированными ботами больше, чем со своим супругом,

и, конечно, все эти взаимодействия будут цифровыми. По другой оценке, в 2021 году 20

процентов всех видов деятельности, которые делает человек, будут связаны с использованием сервиса, по крайней мере, одной из гигантских IT-компаний (Google, Apple, Facebook, Amazon). Не говоря уже о том, что большинство людей предпочитают использовать голосовые команды для взаимодействия со своими вычислительными устройствами по типу. Эти цифры должны дать вам представление о том, как будет выглядеть ближайшее будущее в цифровую эпоху. Объем цифровых данных наряду с увеличением числа людей, использующих Интернет для работы, сделает онлайн-источникы

OSINT основным источником OSINT как для правительств, так и для бизнес-корпораций в будущем.

OSINT Организаций

Некоторые специализированные организации предоставляют услуги OSINT. Некоторые из них основаны на правительстве, а другие являются частными компаниями, которые предлагают свои услуги различным сторонам, таким как государственные учреждения и

7

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-x cha

бизнес-корпорации на основе подписки. В этом разделе мы упомянем основные организации OSINT по всему миру.

Правительственные организации

Правительственные организации, работающие в области анализа OSINT, по-прежнему считаются лучшими из-за ресурсов, имеющихся у их правительств для работы. Двумя самыми известными правительственными учреждениями, которые делают OSINT во всем мире, являются Центр открытого исходного кода в США и BBC Monitoring в Великобритании.

Центр с открытым исходным кодом

Мы уже говорили о Центре открытого исходного кода (OSC); это крупнейшая организация

OSINT и имеет огромные ресурсы для выполнения своей работы. OSC тесно сотрудничает с другими местными разведывательными службами в Соединенных Штатах и предлагает свои услуги разведывательным службам правительства США.

BBC Monitoring

BBC Monitoring (https://monitoring.bbc.co.uk/login) — департамент Британской вещательной корпорации (Би-би-си), который следит за иностранными СМИ по всему миру. Он имеет аналогичную роль, как Центр открытого исходного кода в Соединенных Штатах, с главным отличием в том, что он не принадлежит к британской разведке. Bbc Monitoring финансируется из своих заинтересованных сторон в дополнение ко многим коммерческим и правительственным организациям по всему миру. Он был основан в 1939

году и имеет офисы в разных странах по всему миру. Она активно следит за телевидением,

радиовещанием, печатными средствами массовой информации, Интернетом и возникающими тенденциями из 150 стран на более чем 70 языках. BBC Monitoring

управляется BBC и предлагает свои услуги на основе подписки заинтересованным сторонам, таким как коммерческие организации и официальные органы Великобритании.

Частный сектор

Вы не должны недооценивать частный сектор, глядя на то, кто поставляет информацию

OSINT; многие частные корпорации разработали передовые программы и методы сбора данных из открытых источников для получения коммерческой выгоды. Действительно,

большинство частных корпораций OSINT сотрудничают с государственными учреждениями,

8

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-x cha

чтобы предоставить им такую информацию. В этом разделе мы упомянем основные из них по всему миру.

Jane’s Information Group

Jane’s Information Group (http://www.janes.com) — британская компания, основанная в 1898

году. Jane's является ведущим поставщиком, который специализируется на военной,

терроризм, государственная стабильность, серьезная и организованная преступность,

распространение и закупки разведки, аэрокосмической и транспортной тематики. В

дополнение к источникам OSINT она издает множество журналов и книг, связанных с вопросами безопасности, которые отслеживают и предсказывают вопросы безопасности в

190 штатах и 30 территориях.

Economist Intelligence Unit

The Economist Intelligence Unit (https://www.eiu.com/home.aspx) является отделом бизнес-

аналитики, исследований и анализа Британской Economist Group. Основной областью

Economist Intelligence Unit является его бизнес и финансовые прогнозы; он предлагает ежемесячный доклад в дополнение к экономическому прогнозу страны на ближайшие пять лет с всеобъемлющим взглядом на текущие тенденции по экономическим и политическим вопросам.

Oxford Analytica

Oxford Analytica (http://www.oxan.com) является относительно небольшой фирмой OSINT по сравнению с предыдущими двумя. Oxford Analytica специализируется на вопросах геополитики и макроэкономики. Она имеет глобальную сеть макроэкспертов для консультирования своих клиентов по лучшим методам стратегии и производительности при доступе к сложным рынкам. Его экспертные сети содержат более 1400 экспертов.

Большинство из них являются учеными по своему предмету, старшими преподавателями ведущих университетов и высокопоставленными специалистами в своем секторе.

9

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

Поставщики серой литературы

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-x cha

Мы уже говорили о серой литературе как о части данных OSINF. Тем не менее, этот тип данных заслуживает того, чтобы иметь свою собственную ссылку, когда речь идет об основных источниках информации, используемой в сборе OSINT из-за его большой ценности разведки.Серая литература в основном производится мировыми издательствами.

Она включает в себя книги, журналы, газеты и все, что публикуется публично. Однако существует еще один тип серой литературы, называемый серой информацией, которая имеет различные требования к приобретению. Обычно термин gray literature и gray information используются взаимозаменяемо. Однако, в разведке, они немного отличаются. Gray literature относится ко всем публикациям, которые могут быть получены из традиционных каналов книжных магазинов, в то время как серая информация относитсяк другим публикациям, которые не могут быть получены из традиционных маршрутов. Таким образом, серая информация имеет свои каналы, и её может быть трудно определить и приобрести. Серый информация включает в себя следующие и другие: академические статьи, препринты, разбирательства, конференции и дискуссионные документы, отчеты о исследованиях, маркетинговые отчеты, технические характеристики и стандарты,

диссертации, диссертации, торговые публикации, меморандумы, правительственные отчеты и документы, не опубликованные на коммерческой публике, переводы,

информационные бюллетени, обзоры рынка, отчеты о поездках и программы фестиваля.

Серую литературу можно разделить на три основных вида.

•Белый: это включает в себя все, опубликованные публично для продажи через традиционные каналы книжный магазин. Публикация должна иметь

ISBN или ISSN и может быть получена непосредственно от продавца.

Книги, журналы и газеты относятся к этой категории.

•Эфемерный: Этот тип недолговечен. Примеры включают расписание полетов, черновые версии, копии счетов-фактур, рекламы, плакатов,

билетов, визитных карточек и всего, что публикуется самостоятельно.

•Серый: это содержит сочетание ранее упомянутых двух типов.

Как правило, серую литературу можно получить, оплатив абонентскую плату за такой контент или покупая книги, журналы, журналы и другие издания непосредственно из книжных магазинов. Чтобы получить более скрытую серую информацию, вам придется воспользоваться другими специализированными услугами. Ниже приведены некоторые из них.

10