hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

2.7.5 Разработка системы отчетности о качестве данных

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-x cha

Работа по оценке качества данных и управления проблемными вопросами, связанными с дан ными, не принесет желаемого результата, если не будет дополняться отчетами, из которых по требители данных смогут получать исчерпывающее представление об их текущем состоянии. При разработке системы отчетности особое внимание следует уделить отражению следующих

аспектов:

ведомость оценки качества в целом, по различным категориям показателей и с разной глуби ной детализации различных категорий, с ориентацией на различные целевые группы потре бителей данных;

тенденции изменения качества данных со временем с пояснениями методик оценки и смысла тенденций (позитивный или негативный);

показатели, предусмотренные SLA, позволяющие судить, в частности, о своевременности диагностики причин и оперативности устранения проблем с качеством данных обслуживаю щим персоналом;

показатели оценки управления проблемными вопросами в области данных, включая данные мониторинга состояния текущих проблемных вопросов;

соблюдение командой качества данных установленных политик руководства данными;

соблюдение ИТ-персоналом и бизнес-подразделениями установленных политик в области ка чества данных;

позитивные результаты, достигнутые благодаря реализации проектов по повышению каче ства данных.

Метрики, используемые в отчетности, должны максимально соответствовать показателям каче ства данных, определенным в SLA, поскольку это способствует согласованности целей, преследуе мых командой качества данных и ее бизнес-клиентами. Кроме того, программа качества данных должна отчитываться о положительных результатах, достигнутых в рамках проектов по повыше нию качества, и делать это лучше в терминах бизнеса, чтобы постоянно напоминать организации о том, что качество данных оказывает прямое влияние на ее клиентов.

3. ИНСТРУМЕНТЫ

Инструменты должны выбираться с учетом системной архитектуры и планируемых настроек еще на фазе планирования программы качества данных предприятия. Программное обеспечение для управления качеством данных обычно поставляется с готовым набором начальных настроек правил, но организациям нужно обязательно разрабатывать и задавать для каждого инструмента собственные правила, учитывающие специфику контекста и требующихся действий.

608	Г Л А В А 13

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

3.1 Инструменты профилирования данных

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-x cha

Инструменты профилирования данных позволяют собирать высокоуровневую статистику, дающую аналитикам возможность выявлять закономерности и тенденции и проводить первичную оценку различных параметров качества данных. Некоторые из них подходят и для текущего мониторинга, но особую важность средства профилирования данных имеют для анализа больших массивов дан ных с целью выявления проблем. Особенно хорошо с этим справляются инструменты профилиро вания, оснащенные средствами визуализации (см. главы 5 и 8, а также раздел 1.3.9 настоящей главы).

3.2 Инструменты формирования запросов к данным

Профилирование данных — лишь первый шаг по пути анализа данных, который позволяет вы являть потенциальные проблемы. После этого команде качества данных нужно детально разо браться с глубинными причинами проблем и определить закономерности, которые выведут на их источники. С этой целью можно, например, формировать аналитические запросы, позволяющие оценить другие аспекты качества данных, такие как уникальность и целостность.

3.3 Инструменты моделирования данных и средства ETL

Инструменты моделирования данных и средства реализации процессов извлечения, преобразо вания и загрузки (ETL) оказывают прямое влияние на качество данных. Если использовать их, об ладая точным представлением о данных, они позволят существенно повысить качество. Приме нение же этих средств при отсутствии достаточных знаний о данных, которые предполагается об рабатывать, может привести к обратному эффекту. Участники команды качества данных должны совместно с разработчиками обеспечить минимизацию риска причинения ущерба данным и при этом постараться наиболее полно реализовать потенциал предоставляемых возможностей по мо делированию и обработке данных с целью повышения их качества (см. главы 5, 8 и 11).

3.4 Шаблоны правил качества данных

Шаблоны правил качества помогают аналитикам фиксировать требования к данным. Они также служат мостом к взаимопониманию между сотрудниками бизнес-подразделений и технических служб. Согласованные формулировки правил упрощают перевод бизнес-потребностей в про граммный код, который может быть встроен в модуль обработки правил, анализатор данных в составе инструмента профилирования или средство интеграции. Шаблон может иметь несколь ко секций, предназначенных для определения бизнес-правил различных типов.

3.5 Репозитории метаданных

Как отмечалось в разделе 1.3.4, определения качества данных формулируются с помощью ме таданных и сами становятся ценными метаданными. Команда качества данных должна тесно сотрудничать с коллегами из команды управления метаданными, чтобы гарантировать доступ потребителей данных к требованиям по качеству данных, правилам, результатам измерений и до кументации, описывающей различные проблемы.

Качество данных

609