Что должен знать бухгалтер о хранении данных

Марк Левин, Джоэль Сигель

Начало в выпусках: #126, #127, #128

В кратком изложении

Определение и функции метаданных

Движение данных в хранилище управляется метаданными, которые обеспечивают полноценный доступ к хранилищу и работу с ним. Правильно используя метаданные, пользователь может изучать содержание данных и определять их пригодность простым, нетехническим языком.

В двух словах, метаданные - это информация о данных и их движении по хранилищу. Они указывают, какие данные доступны, где они находятся и как перемещались в прошлом. Метаданные позволяют видеть и понимать логику модели данных в хранилище. Они дают представление о:

• данных, постоянно присутствующих в хранилище;
• их конкретном наполнении;
• источниках, из которых они были получены;
• степени очистки, интеграции, преобразования и обобщения, которым подверглись данные.

Категории метаданных

В книге "Хранилище данных" Дон Майер (Don Mayer) и Кейси Кэнон (Casey Canon) делят метаданные на 2 категории: техническую и коммерческую.

Техническими метаданными пользуются программы управления хранилищами и администраторы ИТ. Эти метаданные определяют содержание данных в прежних системах-источниках, сообщают, какая обработка была произведена в хранилище (извлечение, преобразование, очистка, интеграция, обновление графиков управления процессами).

Коммерческие метаданные позволяют нетехническим пользователям просматривать содержимое хранилища, таблицы и графики, которые являются элементами информации; определяют, как могут быть использованы эти элементы и насколько современны резидентные данные. Большинство коммерческих метаданных сопровождаются описанием содержания.

Применение

Метаданные контролируют долгосрочные административные функции, управляя данными в хранилище в течение их исторического периода. Поскольку данные поступают из многих операционных БД, менеджер должен знать обо всех источниках, изменениях и преобразованиях данных.

Метаданные проверяют: извлечение данных, атрибуты данных, индексную информацию, число рядов в таблице, статистику использования и модели объединения данных. Для этого управляющий метаданными должен указать:

• четко определенные коммерческие и технические переменные;
• источники данных, в том числе операционные системы, ПО для извлечения и очистки;
• графики регулярного обновления;
• приемы получения данных из источников;
• процедуры и правила, гарантирующие качественную обработку и архивацию обработанных данных;
• необходимые процедуры системной документации.

Каждая система операционных данных содержит метаданные. ПО для интеграции метаданных может уменьшить и устранить многие этапы (steps), необходимые для больших хранилищ.

Окончание в следующем выпуске.

Продолжение в выпусках: #130