Прямая передача данных из регистра населения национальной статистической службе. Опыт Центрального статистического бюро Норвегии

Коре Вассенден
(Опубликовано в журнале "Вопросы статистики", 2007, №7, с. 10-22)

ПРЕДИСЛОВИЕ ПЕРЕВОДЧИКА

Основной целью публикации статьи известного норвежского специалиста в области статистики населения Коре Вассендена¹ на русском языке мы видим популяризацию сведений о том, как может быть организован процесс передачи данных для производства статистики населения из административного ведомства, отвечающего за регистрацию населения, национальной статистической службе. Работа К. Вассендена может быть интересна широкому кругу читателей уже тем, что в России к 2010 г. планируется создание Государственного регистра населения (или, по крайней мере, его основ). Нарастающий потенциал создания систем персонального учета населения в России делает ситуации, описанные в статье, не столь уж фантастически далекими от нашей действительности и вполне позволяет проводить параллели.

На примере Норвегии автор показывает, насколько естественным и безболезненным бывает взаимодействие национальной статистической службы и административных ведомств в вопросах передачи данных для разработки национальной демографической статистики. Можно заметить, что несмотря на несходство интересов каждого из ведомств, все они имеют все-таки общую цель - служить обществу. Поэтому поиск компромиссных решений не является проблемой и не требует долгих месяцев (или лет) для претворения их в реальность.

Интересен и исторический ракурс статьи: К. Вассенден показывает, как менялись технологии накопления и обработки данных - от бумажных носителей к перфокартам и магнитным лентам, а далее к персональным ЭВМ и реляционным базам данных. При этом неизменным оставалось понимание нужд статистики населения и забота о там, чтобы национальная статистическая служба своевременно и в полном объеме получила необходимые данные для своих разработок.

В статье также рассматривается ситуация в других странах, в первую очередь в скандинавских. При некоторых отличиях, общим остается одно: государственная статистическая служба в этих государствах имеет широкие права в отношении регулярного получения массивов индивидуальных данных для разработки демографической статистики. Заметим, что эти права закреплены в государственных законах о статистике, что определяет высокий статус статистических служб и дает им большие полномочия. Такое положение дел обеспечивает статисти­ков хорошей исходной информацией и в свою очередь позволяет государству и обществу предъявлять высокие требования к качеству производимых статистических разработок.

В России деятельность Росстата регулируется в основном Положением о Федеральной службе государственной статистики, что в значительной степени ограничивает ее права и полномочия, в том числе в отношении доступа к полным и надежным сведениям о населении. Многие проблемы статистики населения в России последнего десятилетия появились из-за того, что недальновидными были нововведения в законодательной базе, определявшей порядок и объемы передачи сведений для сбора и разработки статистики рождаемости, брачности, разводимости и миграции населения. При подготовке новых законов и подзаконных актов, по сути дела (и по разным причинам), не учитывались долгосрочные последствия вносимых изменений с точки зрения государственного статистического наблюдения за демографическими процессами. Подобным решениям не сопутствует понимание потребности законодательной и исполнительной власти (и всего общества) в достоверных и разнообразных данных о населении, особенно в условиях критической демографической ситуации.

Читая статью К. Вассендена, следует задуматься над тем, как уже сегодня можно использовать электронные версии баз данных систем персонального учета населения в РФ для разработки статистики населения. Переход от бумажных носителей к электронным версиям первичных данных при разработке, например, статистики миграции, сэкономит немалое время и средства, необходимые для повторного ввода информации (сначала в органах учета, потом в органах статистики). Понятно, что создание и отладка системы персонального учета населения даже в одном регионе России - это длительное и трудное дело. Потребуется время для согласования формата передаваемых в органы статистики сведений, неизбежны технологические и организационные проблемы. Однако при наличии доброй воли и понимания, в первую очередь со стороны административных ведомств, отвечающих за учет населения, в перспективе можно надеяться, что системы персонального учета населения в нашей стране станут прообразом регистров. И важно, чтобы они использовались не только для решения частных ведомственных задач, но и в качестве источника надежной, разнообразной и доступной статистической информации.

О.С. Чудиновских, канд. экон. наук, МГУ им. М.В. Ломоносова

Работа национальной статистической службы в стране, имеющей регистр населения, зависит от того, насколько удачно организована передача в органы статистики персональных данных, которые накапливаются в системе регистрации населения². Эта информация используется для разработки демографической статистики, а также и в других областях.

Существующая в настоящее время система передачи персональных данных в Центральное статистическое бюро Норвегии (и некоторые другие немногочисленные ведомства страны) была создана в 1995 г. Статистическая служба Норвегии³ получает сведения о зарегистрированном населении, позволяющие с этого момента статистикам иметь в своем распоряжении базу данных, являющуюся копией Центрального регистра населения, который ведется Директоратом по налогам. Мы используем термин «система прямого получателя» для взаимодействия такого рода в отличие от «непрямых получателей» данных регистра, которыми являются большинство других пользователей.

В сущности, эта система передачи данных работает хорошо с точки зрения Центрального статистического бюро Норвегии. Высокий уровень удовлетворенности такой моделью взаимоотношений (по крайней мере, в Центральном статистическом бюро Норвегии) и тот факт, что, судя по всему, очень немногие страны используют эту модель, является единственным мотивом для представления норвежской системы другим странам. Насколько нам известно, Швеция является единственным государством, имеющим похожую систему.

В первой части этой статьи будет описана система передачи данных, применявшаяся ранее, затем мы более подробно остановимся на характеристике современной модели. Описание сопровождается информацией и комментариями к опыту применения этой модели с позиций Центрального статистического бюро Норвегии. В заключение приведены примеры аналогичных систем передачи данных в ряде других стран.

Для уточнения следует сказать, что в этой работе рассматривается промежуток времени, начиная с того моментa, когда данные введены в компьютер в местном бюро регистрации населения и до того момента, когда они благополучно переданы в Центральное статистическое бюро Норвегии. То есть этот период имеет отношение и к поставщику, и к получателю данных.

Стадии до и после передачи данных в настоящей статье не затрагиваются. Это означает, что здесь не рассматриваются вопросы, связанные с качеством данных (изучается только качество системы). Точно так же статья не касается процесса приведения данных в порядок для разработки статистики в Центральном статистическом бюро Норвегии.

История системы регистрации населения

После 1946 г. система регистрации населения состояла из нескольких сотен местных бюро регистрации населения, в каждом из которых имелся свой регистр населения, а также Государственной службы регистра, которая входила в статистическую службу Норвегии. Эта служба была специализированным ведомством, отвечавшим за регистрацию населения. Местные бюро размещались вместе с подразделениями налоговой службы.

В течение 1960-х годов в статистической службе Норвегии в дополнение к местным регистрам населения был введен в действие центральный электронный регистр. Предполагалось, что этот Центральный регистр населения (ЦРН) будет фактически копировать местные регистры с помощью уведомлений, отправляемых по почте с мест. Создание нового регистра базировалось на материалах переписи 1960 г. Весной 1964 г. резидентам Норвегии, учтенным при переписи и родившимся (или иммигрировавшим в страну) после нее, были присвоены персональные идентификационные номера. Основная информация о лицах, охваченных переписью (дата рождения, имя и др.), также была скопирована из переписных листов⁴ и на перфокартах отправлена в местные отделения регистра населения. Эта процедура преследовала две цели - контроля полноты учета населения местными регистрами и передачи в местные регистры ПИН-кодов, присвоенных жителям данной территории. С этого момента все местные регистры были обязаны направлять в статистическую службу Норвегии уведомления об изменениях уже с указанием ПИН-кода.

Эксплуатация регистра населения осуществлялась Управлением регистра, в ведении которого, в том числе, сходилась государственная служба записей актов гражданского состояния. Тесными были связи с Отделом статистики населения Центрального статистического бюро. Для введения в действие ЦРН имелось два основных стимула. Одним из них была потребность в создании в Норвегии единой системы персональных идентификационных меров (ПИНов). Наличие Центрального регистра населения, охватывающего всех жителей страны и все присвоенные им номера, казалось большим преимуществом.

Другим мотивом было более эффективное использование данных, полученных в ходе регистрации населения, для разработки статистики населения.

ЦРН хорошо работал в качестве инструмента присвоения (физическим лицам) и распространения ПИНов, а сами ПИНы стали использоваться в структурах общественной власти практически сразу, сначала, и главным образом, в реестрах системы налогообложения и государственного страхования. Более широкое применение персональных данных для общественных нужд не рассматривалось в качестве основной задачи ЦРН. Тем не менее, спустя несколько лет, распространение основных сведений на микрофишах стало вполне обычной практикой.

Частично потребность общества в данных, полученных на основе регистрации населения, удовлетворялась с помощью сети муниципальных центров перфокарт, которые к тому времени уже были включены в систему обработки данных для муниципальных и правительственных структур.

В начале 1970-х годов Директорат по налогам разрешил записывать информацию на магнитной ленте, и этот «Регистр на магнитной ленте», как его называли, в процессе развития превратился в параллельный центральному регистр населения и был предназначен для нужд налогообложения, государственного страхования и ряда других целей. Через несколько лет большая часть исходных данных для Центрального регистра населения поступала из «Регистра на магнитной ленте». Позднее он был интегрирован с реестром налоговой службы и переименован в Объединенный регистр.

Вся однородная информация, занесенная в регистры, которые существовали в Норвегии, имела некоторые различия с точки зрения переменных и принципов организации, но в других отношениях она воспринималась как разные версии одного и того же материала. Раз в год единообразие информации проверялось, и определялись расхождения.

Эпоха базы данных. С технической точки зрения, ЦРН хранился и эксплуатировался в виде последовательных файлов до 1985 г., когда регистр был трансформирован в реляционную базу данных, которая была размещена в Государственном вычислительном центре. К тому времени административные задачи усложнились, и статистика населения уже больше не была главной целью регистра.

Центральный регистр населения в виде базы данных представлял собой комбинированную систему, предназначенную для обновления данных и удовлетворения потребностей общества. Проблема, однако, состояла в том, что на деле эта система не справлялась ни с одной из перечисленных задач.

Средством обмена данными с местными регистрами по-прежнему была обычная почта. Однако в середине 1980-х годов начался процесс компьютеризации местных бюро регистрации населения. Позднее локальные регистры были подключены по каналам связи к абсолютно новому Центральному регистру населения, который был создан в Директорате по налогам. Подключение улучшило положение дел в отношении своевременности передачи данных и возможностей контроля.

Новый Центральный регистр населения «принял эстафету» от прежнего в марте 1995 г. Он объединил и заменил одновременно прежний ЦРН, параллельные регистры и местные регистры физических лиц. На самом деле, термин «Центральный» утратил свой смысл (с технической точки зрения) в 1995 г., поскольку с этого времени существовал всего один регистр населения (тем не менее название ЦРН сохранилось по традиции).

Как база данных, новый ЦРН был основан на новых принципах и организован намного лучше, чем прежний (см. раздел «Описание современной системы»). Неудивительно, что эксплуатация главного административного регистра больше не считалась естественной функцией национальной статистической службы, и в 1991 г. Управление государственного регистра было переведено в Директорат по налогам.

Прежние схемы передачи данных для разработки статистики населения

Период последовательных файлов (с 1960 по 1984 г.). Руководство отдела статистики населения Центрального статистического бюро Норвегии выступило в роли движущей силы при создании ЦРН, и сбор данных для производства статистики населения был одной из главных целей нового регистра. Это означает, что с самого начала были учтены потребности демографов в статистических данных, получаемых из нового регистра.

Однако вскоре оказалось, что ЦРН не обладал достаточной оперативностью, чтобы удовлетворить потребности разработки статистики населения. В сотрудничестве со специалистами Управления регистра работники статистической службы, отвечающие за статистику населения, предприняли ряд мер для создания временных файлов с данными, охватывающими последние месяцы календарного года, который должна была отражать статистика. Эти меры предпринимались в рамках эксплуатации ЦРН, и никакой специальной системы вне ЦРН для этого не создавалось. Таким образом, нельзя сказать, что передача данных Центрального регистра специалистам, разрабатывающим статистику населения, являлась в то время проблемой. Всеми, кто имел отношение к этому процессу, статистическая служба Норвегии воспринималась как единое целое, включавшее в себя все необходимые элементы для производства статистики населения, основанной на данных регистра.

Период первой базы данных (1985-1995 гг.). Когда в 1985 г. ЦРН был трансформирован из набора последовательных файлов в (реляционную) базу данных, ситуация с производством статистики населения радикально изменилась. Статистика населения больше не была главной задачей регистра, и она, фактически став в свое время основательницей ЦРН, теперь оказалась «выброшенной» из системы. Несмотря на то, что Центральное статистическое бюро по-прежнему оставалось владельцем регистра, в техническом отношении он находился в руках внешней организации - Государственного вычислительного центра.

Из-за этих перемен возникла необходимость в выработке новых схем организации передачи данных из ЦРН в отдел статистики населения⁵. Предполагалось, что файлы с данными о ежегодном населении, включающие постоянное население, будут разрабатываться Государственным вычислительным центром в соответствии с алгоритмом, полученным из отдела статистики населения. Имя и полный адрес в текстовом формате не были включены в файл с данными о населении, поскольку подразумевалось, что файлы предназначены только для целей статистики. В дополнение к файлу с данными о населении каждый месяц высылались сведения о происшедших изменениях. Все данные пересылались на магнитной ленте.

Отдел статистики населения имел возможность получать массив с данными о постоянном населении с последними изменениями, но система была не очень точной. В результате этого файл с данными о постоянном населении, обновлявшийся в течение года таким образом, отличался от нового базового файла, который передавался из вычислительного центра. Было очевидно, что транзакции были пригодны только для производства статистики по демографическим событиям и для обновления базового файла в течение нескольких месяцев. Такое положение закончилось, когда был введен в действие новый Центральный регистр населения.

В течение рассмотренного периода Отделу статистики населения была доступна функция поиска в ЦРН. Это было полезно, но связь с данными, полученными на магнитной ленте, не всегда была хорошей.

Описание современной системы

С 1995 г. кардинальных изменений в системе Центрального регистра населения не происходило. Безусловно, осуществлялось общее управление, и проводилась адаптация регистра к новым задачам, но в отношении передачи данных общая схема остается точно такой же, как прежде.

Тем не менее получатели данных после 1995 г. прошли фазу адаптации. К примеру, Центральное статистическое бюро Норвегии продолжало работать со старой системой обновления (используя транзакции с введенными сведениями) до момента создания новой базы данных. Кроме того, в течение этого периода к списку получателей данных были добавлены новые организации. Что в настоящее время действительно имеет большое значение, так это появление в 2004 г. «системы прямого получателя». Общее описание системы приводится ниже.

Основные принципы. Основным принципом, который был заложен при построении системы нового ЦРН, было четкое разделение функций ввода и получения результатов. Этот принцип означал, что база данных ЦРН должна быть только инструментом для обновления, в то время как обособленные регистры, предназначенные для распространения и поддерживаемые коммерческими дистрибьюторами, должны служить интересам норвежского общества. Предполагалось, что передача функций распространения данных сторонним организациям (аутсорсинг) будет более выгодной с технологической точки зрения и в то же время позволит вывести коммерческую деятельность из системы налогового администрирования.

Благодаря этому решению только налоговая служба получила прямой доступ к ЦРН. Все прочие пользователи имеют доступ к информации баз данных (или через них), являющихся копиями ЦРН.

Дистрибьюторам поставляется копия ЦРН в качестве основы, и с этого момента они получают точную копию всех данных, которые использовались при обновлении ЦРН. Эти данные назвали транзакциями⁶. Они содержали переменные в строгом хронологическом порядке, что давало возможность каждому дистрибьютору поддерживать свою базу данных о населении, точно отражающую первоисточник. На основе своих баз данных дистрибьюторы могли производить разработку данных по широкому кругу запросов для самых разных пользователей.

Позднее было принято решение о том, что некоторые крупные пользователи также должны получить статус прямых получателей по той же схеме, что и дистрибьюторы.

Прямые адресаты получают почти все доступные первичные данные, и, если им нужны какие-то дополнительные, с точки зрения разработки, сведения, то они сами должны выполнять необходимую работу.

Прямые получатели. Термин «прямой получатель» для непосвященных мало что значит. «Владелец зеркальной базы данных» - это альтернативный термин, который вызывает более разнообразные ассоциации и отражает то, что имеется в виду. Тем не менее только получение данных непосредственно из первоисточника выступает в качестве объективного критерия, который (в Норвегии) может быть использован для идентификации компаний и агентств, являющихся прямыми получателями.

Способны ли эти организации на следующем этапе реально создать и поддерживать работу базы данных, которая может быть названа копией (дословно - отражением, прим. перев.) Центрального регистра населения, в большей степени является вопросом дефиниций и поводом для дискуссии.

Дистрибьюторы. К 2004 г. в Норвегии существовали два коммерческих дистрибьютора данных о регистрации населения: Эрго Групп (Ergo Group) и ШМ. Эрго Групп была создана на базе прежнего Государственного вычи­слительного центра - главного владельца Центрального ре­гистра населения с 1985 по 1995 г. Эрго Групп является третьей по величине среди компаний, работающих в области информационных технологий в Норвегии, и находится в ведении Почтовой службы Норвегии. В 2000 г. Эрго Групп приобрела компанию Эформа (Ephorma), являвшуюся одним из первых прямых получателей. Копия базы данных, находившаяся в распоряжении Эрго Групп, сохранила норвежское название ЦРН, которое применялось в то время в Государственном вычислительном центре, и общий объем транзакций, выполненных компанией, исчисляется с начала 1980-х годов. К 2004 г. руководство Директората по налогам пришло к выводу, что наличие нескольких дистрибьюторов и конкуренция между ними неэффективны.

Под влиянием опыта работы регистра в Дании было принято решение провести тендер и выбрать единственного дистрибьютора. В 2004 г. в результате конкурса функции основного дистрибьютора были переданы компании EDB Business Partner, являющейся лидером в области информационных технологий в скандинавских странах. Такое решение кардинально понизило затраты пользовате­лей на приобретение данных.

К числу основных пользователей данными, предоставляемыми дистрибьютором, в настоящее время относятся:

• Полиция
• Больницы
• Органы, отвечающие за набор учащихся в школы
• Офисы службы общественной безопасности
• Банки
• Страховые компании
• Работодатели
• Altlnn (система представления отчетности предприятий)
• Центр регистров г. Броннойсунд⁷
• Агентства коммерческой справки
• Ведомство, формирующее списки избирателей
• Руководители муниципальных казначейств
• Национальный фонд кредитования образования
• Службы занятости
• Отдел лицензирования теле- и радиовещания Норвегии
• Управление общественных дорог: Регистр водительских удостоверений
• Агентства по взиманию долгов
• Медицинский регистр рождений
• Ученые
• Службы изучения общественного мнения и др.

Прочие получатели. Сначала предполагалось, что все пользователи данными регистра населения Норвегии должны будут покупать нужную информацию у дистрибьюторов. Тем не менее, Центральное статистическое бюро Норвегии было против такого решения и выступило с требованием предоставить ему право также быть прямым получателем. Для статистической службы это было вопросом не только затрат, но и «маневренности». Дистрибьюторы не могли предоставить статистической службе возможность обновлять копию базы данных, имевшуюся в ее распоряжении. В конце концов Директорат по налогам разрешил, помимо названных коммерческих структур, Центральному статистическому бюро Норвегии, Управлению государственного страхования⁸ и Директорату по таможенным и акцизным сборам без посредников получать базовый файл (со всеми или некоторыми переменными Центрального регистра населения). К числу прочих прямых получателей относятся Директорат иммиграции Норвегии и Управление государственной службы, которые каждую ночь получают те же транзакции, но они (по крайней мере, Директорат по иммиграции) не используют их для систематического обновления базового файла, поскольку просто не могут позволить себе расходовать на это время и ресурсы, так как главной их заботой являются собственные базы данных.

Налоговое ведомство отсутствует в данном перечне прямых получателей. Причина в том, что налоговые регистры, принадлежащие Директорату по налогам, являются частью базы данных Центрального регистра населения или, по меньшей мере, имеют прямой доступ к ЦРН. Следовательно, копия базы данных этому ведомству не нужна.

Какие данные из Центрального регистра населения передаются прямым получателям.

Подробнее о базовом массиве данных. Базовый файл (массив) высылается прямым получателям из Директората по налогам. «Выгружаемый регистр» («Load register»), как его называют, является практически полной копией базы данных Центрального регистра населения⁹.

Вспомогательный файл с данными о ПИН-кодах содержит абсолютно все коды, присвоенные с момента создания ЦРН в 1960-х годах; на 1 апреля 2007 г. он насчитывал 7286800 записей. В это число входят 212800 ПИН-кодов, которые уже не используются, большая часть (из них) была заменена в течение первого периода создания регистра. Длина одной записи составляет почти 900 позиций.

Существующая в настоящее время База данных о населении, имеющаяся в Центральном статистическом бюро Норвегии, впервые была получена в январе 1999 г. Этот «выгруженный регистр» стал отправной точкой для обновления и известен как «Исходный (базовый) файл», на основе которого производится дальнейшая разработка данных. В Базе данных о населении этот файл был создан в виде таблицы, названной «Popstock» и предназначенной для операционной платформы Oracle.

Все переменные, полученные из ЦРН, включены в Popstock (по крайней мере, в настоящее время). Прочим некоммерческим прямым получателям не нужны все переменные и поэтому они исключили некоторые их них.

Более подробно о транзакциях. Когда сотруднику местного бюро регистрации населения требуется внести информацию о новом событии, он или она делает запрос о выводе на экран компьютера сведений о текущем состоянии записи по данному лицу. На экран выводится существующая информация по интересующему человеку. Вводимая информация проверяется различными способами. После того как поля на экране заполнены, сотрудник нажимает клавишу Enter, и производится транзакция. В транзакции указывается точное (до секунды) время этой операции. Транзакции накапливаются и хранятся до конца рабочего дня и в 9 часов вечера в электронном виде отсылаются прямым получателям.

Первая транзакция после 1 января 1999 г. была произведена в понедельник 4 января в 07:17:27 и касалась переезда в муниципалитет г. Тенсберг. С того момента и до конца 2006 г. было выполнено и отправлено прямым получателям 17570709 транзакций. Более миллиона из них были связаны с кампанией по массовому изменению почтовых индексов, произведенному в течение одного дня в мае 1999 г. В среднем за день производится от 5 до 6 тыс. транзакций.

Предполагается, что всем прямым получателям передаются результаты всех произведенных транзакций, включая неправильные и неполные записи. Иногда можно проследить, как работники, отвечающие за регистрацию, несколько раз предпринимали неудачные попытки прежде чем получили результат, который их устроил. Иными словами, данные «не вычищаются» перед отправкой.

Имелись определенные проблемы с пересылкой транзакций. Так называемая «параметрическая запись» служит для проверки того, правильное ли число транзакций дошло до прямых получателей / дистрибьюторов.

В Базе данных по населению транзакции из ЦРН накапливаются и хранятся точно в таком же виде, как они были получены в таблице, имеющей название «Trans-receive» и установленной в системе управления реляционными базами данных Oracle. Эта таблица используется для обновления данных. Когда таблица достигает определенного размера, данные переводятся в последовательные файлы.

Свойства. Транзакции имеют один стандартный формат записи (с полями для всех переменных в системе), но для каждого типа транзакции заполняются только соответствующие, заранее заданные переменные. Существует 80 типов транзакций, определяемых по переменной, которая называется «причина транзакции». Два вида транзакций, связанных с рождением и иммиграцией, требуют большого количества введенных переменных, так как они включают в регистр новых людей. Прочие типы транзакций касаются лиц, уже представленных в регистре, и содержат только те переменные, которые могут изменяться при обновлении базового файла.

Для транзакций, проводящихся с уже существующими ПИНами, не представляется возможным определить, какая переменная, которая, в конечном счете, окажет влияние на базовый файл, была обновлена (то есть каковы различия между предыдущим и новым значением). За исключением трех случаев, в базе не отражаются предыдущие значения переменных. Некоторые транзакции отражают реальные (демографические) события, тогда как другие только вносят изменения в записи о предыдущих событиях или значения, введенные при регистрации событий, происшедших ранее (коррективы, аннулирования). Тем не менее решение о том, что нужно считать «реальным событием», а что нет, в определенной степени зависит от точки зрения пользователя.

В транзакциях имеются некоторые дополнительные переменные, нужные только Центральному статистическому бюро Норвегии, в основном они касаются разводов. Предполагается, что эти переменные не влияют на данные базового файла.

«Дата регистрации». Одной из важнейших переменных в транзакциях является «дата регистрации» - официальная дата наступления события. В большинстве случаев официальная дата реального события - фактическая, реальная дата, но, например, миграция регистрируется официально по дате записи в местном регистре населения (в отдельных случаях дата устанавливается в административном порядке).

При производстве всех транзакций, связанных с аннулированием записей, а также многих транзакций, связанных с внесением исправлений, применяется дата ре­гистрации исходного события. Это означает, что данные транзакции будут иметь «обратную силу», определяемую по значениям, которые приобретут соответствующие переменные в исходной базе данных. «Реконструкция действительности» является подходящим девизом для таких транзакций. Остальные транзакции, связанные с внесением исправлений, не имеют обратной силы (не относятся к прошлому), но изменяют значения переменных, начиная с момента обновления (по меньшей мере, в некоторых случаях или в отношении некоторых переменных в транзакции).

Обновление адресных данных. Некоторая информация, которая изменяется в ходе транзакций, не относится к персональным данным индивидов, а включает в себя такие единицы (переменные), как адреса (например, если границы географических районов меняются). Однако и в этом случае приходится производить и отправлять получателям транзакции на каждого человека. Вследствие этого в подобных ситуациях число транзакций оказывается значительно большим, чем оно могло быть, если бы все эти транзакции можно было непосредственно «привязать» к конкретным адресам.

Обновление базы данных. В процессе обновления базы данных (в Центральном статистическом бюро Норвегии - базы данных о населении) транзакции в отношении родившихся и иммигрантов, впервые прибывших в страну (а также некоторые единичные транзакции подобного типа), приводят к созданию новых записей. Прочие транзакции лишь изменяют значение одной или нескольких переменных в уже имеющихся записях. Многие из процедур обновления очень просты и требуют выполнения незначительного количества условий.

Согласно контрактам, дистрибьюторы должны обновить свои базы данных в течение ночи для того, чтобы пользователи, подключенные к этим базам, имели доступ к ежедневно обновляемому регистру; в то же время все остальные прямые получатели решают сами, с какой частотой проводить обновления. Чаще всего прямые некоммерческие получатели обновляют свои базы данных каждую ночь, но Центральное статистическое бюро Норвегии пока что вполне комфортно себя чувствует, производя обновление один раз в месяц (но вопрос о более ча­стых обновлениях обсуждается).

Функция поиска. Иногда бывает нужно найти информацию по отдельным лицам. Центральное статистическое бюро Норвегии разработало функцию прямого поиска для получения основных сведений по индивидам с помощью простых операций (то есть найдя ПИН по его или ее имени). Функция получила дальнейшее развитие для того, чтобы служить инструментом связывания групп имен с их персональными идентификационными номерами. Эта функция нужна в некоторых областях деятельности Центрального статистического бюро Норвегии в случае неполного ввода данных. Что же касается дистрибьюторов, то совершенствование функций поиска для (выполнения заказов) клиентов является частью их бизнеса.

Примеры из опыта Центрального статистического бюро Норвегии

Прошло 10 лет с тех пор, когда работники Центрального статистического бюро Норвегии начали размышлять о новом способе получения данных, основанных на регистрации населения, и о том, что из этого может выйти. База данных о населении находилась в разработке в течение нескольких лет и основывалась на исходном файле Регистра населения, который был загружен 1 января 1999 г.

Пришло время оглянуться назад и подвести итоги в отношении самых важных моментов из опыта применения системы передачи данных. В течение последних 10 лет в Центральном статистическом бюро Норвегии, конечно, происходили изменения, в их числе стремительный процесс технологического развития. Это значит, что некоторые примеры из нашего опыта были обусловлены более чем одним фактором. Однако мы попытаемся выделить и рассмотреть отдельно роль системы передачи данных. Эта работа предназначена в первую очередь и преимущественно для узкого круга людей, которые ежедневно работают с базами данных о населении и информацией, получаемой на их основе.

Система передачи данных.

Необходимость использования реляционной базы данных. Одним из примеров перемен, которые сопровождают создание базы данных о населении, является установка системы управления реляционными базами данных Oracle в отделе статистики населения Центрального статистического бюро. Этот выбор не был случайным, такой инструмент управления базами данных, как Oracle, дает значительные преимущества в тех случаях, когда обновления производятся часто. Верно, что система передачи не требует в качестве условия наличия реляционной базы данных, но для удобного приема и использования этих данных получатель непременно должен иметь реляционную базу данных.

Когда уже введен в действие инструмент управления базами данных, обладающий расширенными возможностями, возникает вопрос: каким образом его можно использовать для обработки данных о населении в дополнение к простому копированию Центрального регистра населения. Тем не менее, для многих задач обработки данных SAS или схожие программы более удобны, чем Oracle, и поэтому трудно представить будущее Базы данных о населении в качестве единственной модели для обработки данных такого рода.

Новые обязанности. Одновременно с созданием новой Базы данных о населении возникли новые задачи и обязанности. Эксплуатация базы данных подразумевает текущее обновление, поддержку, проверку, хранение данных, контакты с поставщиком данных по техническим вопросам, модернизацию работы в случае появления новых переменных, контроль над исправлением обнаруженных ошибок, развитие функции поиска, обслуживание с ее помощью запросов пользователей, администрирование доступа к этой функции и т.д. Эта работа не является всепоглощающей, но определенных затрат избежать не удается. Не стоит делать ошибку и полагать, что если новая база данных создана, то она станет работать сама собой.

Знание и понимание установленных способов дистанционного ввода и обработки данных получили широкое распространение в Центральном статистическом бюро Норвегии. Тем не менее еще не все усвоили суть специальных терминов и проблем, связанных с прямым получением данных. Поэтому одной из задач является информирование сотрудников о работе системы.

Даже Центральному статистическому бюро Норвегии нужно иногда копировать Центральный регистр населения. Верно, что копия базы данных, принадлежащая Центральному статистическому бюро Норвегии, главным образом и в соответствии с законом предназначена для статистических, а не административных целей, и что чисто статистические соображения допускают некоторую степень неточности. Тем не менее База данных о населении иногда используется примерно так же, как это делается в административных целях. Такое происходит, если имена и адреса требуются для организации обследований, проводимых Центральным статистическим бюро Норвегии, и в тех случаях, когда статистическая служба сотрудничает с Директоратом по налогам и другими ведомствами в проектах, связанных с разработкой данных. Кроме того, ошибки, возникающие в ходе обновления базы данных на стороне получателя, вызывают чрезвычайные трудности и непонимание при взаимодействии с поставщиком данных.

По этим и другим очевидным причинам База данных о населении не может отличаться от Центрального регистра. Каждый шаг в сторону их разъединения должен быть пресечен в зародыше во избежание увеличения дистанции между ними в долгосрочной перспективе. В действительности Центральное статистическое бюро Норвегии не отличается от остальных прямых получателей данных в смысле потребности проводить обновление с высоким уровнем качества.

Мысль о том, что качество обновления заслуживает особого внимания, возможно, достаточно нова. Ошибки обновления имеют определенные параметры: с технической точки зрения возможно их идентифицировать и точно подсчитать. Они появляются благодаря действиям узкого круга работников, и по этой причине их можно избежать с большей легкостью, чем проблем качества, происходящих от действий обычных людей. Одиночные ошибки обновления могут быть устранены раз и навсегда. В некоторых (многочисленных) случаях с помощью небольших усилий можно добиться значительных результатов. Если приняты во внимание последствия для всего обще­ственного сектора (потенциальных пользователей данными - прим. перев.), что имеет значение в случае, если ошибка произошла на стороне поставщика данных, то выигрыш оказывается даже еще более весомым.

Иногда ощущалось, что традиционному взгляду статистиков на качество данных свойственна недооценка важности объединения и взаимодействия с внешним административным сообществом и тех выгод, которые это взаимодействие может дать Центральному статистическому бюро Норвегии как в краткосрочной, так и в долгосрочной перспективе.

Являясь прямым получателем данных регистра, статистическая служба имела в некотором смысле свою «сферу влияния» в общей государственной административной системе данных. Все участники этой системы разделяли своего рода коллективную ответственность за ее разработку. Таким образом, можно было считать, что Центральное статистическое бюро Норвегии имеет моральное обязательство внести свой вклад в разработку данных с помощью осуществляемой в разных формах обратной связи с Директоратом по налогам.

Обладание копией базы данных Центрального ре­гистра населения создает определенные проблемы. Таким образом, можно ли в действительности из года в год иметь в своем распоряжении Базу данных о населении или любые другие копии баз данных, идентичные источнику? Нет ли в этом опасности небольших ошибок как на стороне поставщика, так и на стороне получателя, которые ведут к увеличению разрыва между двумя базами данных?

Проверка основных переменных: на зарегированном уровне. Несколько лет назад, совместно с Директоратом по налогам, была создана и установлена простая проверяющая программа. Каждые три месяца Директорат высылает в статистическую службу таблицы с частотами (распределениями) четырех важных переменных в базовом файле ЦРН. Эти таблицы затем сравниваются с нашими собственными результатами по тем же переменным. В проверке такого рода можно использовать ограниченное число переменных. Некоторые незначительные проблемы (связанные с 10 или 30 лицами) были выявлены программой и затем должным образом исправлены.

Проверка всех переменных: на индивидуальном уровне. Тем не менее, при долгосрочном использовании, недостаточно делать проверку только по четырем переменным. По этой причине в 2003 г. мы попросили предоставить в наше распоряжение копию всего базового файла Центрального регистра населения, который тогда насчитывал 7 млн. записей, содержащих все переменные.

Мы ожидали, что будет довольно легко произвести сравнение, применив процедуру «proc compare», предусмотренную в программном пакете SAS. Основываясь на опыте работы проверяющей программы, мы ожидали, что большинство переменных будут хорошо согласовываться. Действительность оказалась совершенно иной. Для получения результатов было необходимо задействовать такие ресурсы времени, которые нами не были предусмотрены, и, следовательно, мы пока еще не решили всех обнаруженных проблем.

Нашей целью было выявление всех непреднамеренных расхождений между «выгруженным файлом» и нашей предполагаемой копией. Это означало, что все «преднамеренные» расхождения должны были быть определены и устранены до того, как мы могли начать процесс сравнения. При проведении технической работы по гармонизации пробелы заменялись нулями, и наоборот, и разные идентификаторы одних и тех же значений были стандартизированы (то же самое делалось применительно к некоторым буквам в полях с названиями).

Затем была предпринята попытка гармонизации охвата переменных. Это было необходимо сделать, так как при обновлении Базы данных о населении некоторые случаи намеренно обрабатывались иным способом, чем это делалось в базовом файле ЦРН. Например, в Базе данных о населении за лицами, эмигрировавшими из Норвегии, сохранялись их норвежские адреса, в то время как в системе Центрального регистра населения эти адреса сохранялись только в таблице «истории». Проблема, однако, состоит в том, что через несколько лет после того, как была выполнена работа по программированию, практически невозможно оценить степень «преднамеренности» в каждом случае.

Кроме того, известно, что инструкции, полученные из Директората по налогам, были нечеткими, и программисты не заботились о том, чтобы следовать им в полном объеме, к примеру из-за того, что категория и/или переменная не представляли особого интереса для Центрального статистического бюро Норвегии.

На самом деле, окончательный, объективный ответ на вопрос о качестве системы обновления и передачи данных в статистическую службу не может быть получен. Одно из условий возможного достижения этой цели в будущем состоит в том, что процедуры разработки Базы данных о населении должны быть изменены таким образом, чтобы копирование ЦРН было стопроцентным, или, по меньшей мере, чтобы все «преднамеренные» расхождения сопровождались описанием.

Директорат по налогам уведомил нас, что файл был выгружен из базы данных Центрального регистра населения в субботу 21 ноября 2003 г. Мы обновили Базу данных о населении практически точно на эту дату, и начался процесс сравнения. Результаты нас разочаровали. Почти по всем переменным имелись отклонения, по некоторым из них расхождения достигали нескольких тысяч человек. Спустя некоторое время мы обнаружили, что 1200 транзакций, произведенных утром в воскресенье, не были отражены в «выгруженном регистре». Это незначительное происшествие в процессе взаимодействия с поставщиком данных подтверждает необходимость проявлять аккуратность при работе с таким материалом. Когда наш файл был обновлен посредством упомянутых 1200 транзакций, результат стал несколько лучше.

Из этой работы можно было сделать следующие краткие выводы: общее число записей в обоих файлах полностью совпало. То же самое касается некоторых переменных. Часть этих «переменных высокого качества» являются очень важными для статистической службы и других получателей (например, «регистрационный статус», который различается у резидентов, умерших, эмигрантов и лиц других категорий).

Затем следует длинный перечень довольно важных переменных с незначительным числом различающихся записей. Одним из примеров является адрес резидента, который (на момент сверки - прим. перев.) отличался у 34 человек (из 4,6 млн.). 34 случая - это вовсе не удовлетворительный результат, но такая ошибка не мешает спокойному ночному сну.

Оставшиеся переменные насчитывают десятки тысяч, некоторые - более 200000 записей, отличающихся от ЦРН. К счастью для Центрального статистического бюро Норвегии, они очень редко используются при разработке статистики. В ряде случаев расхождения имелись только в полноте охвата. Тем не менее ситуация в отношении этих переменных считается неудовлетворительной.

Причины несоответствий. Некоторые из найденных расхождений были сопоставлены с нашим массивом транзакций, которые мы получили между 1 января 1999 г. и 22 ноября 2003 г. Эта проверка показала, что в отношении большинства переменных и отдельных случаев транзакции совпадали с Базой данных о населении, а не с «выгруженным регистром», и, таким образом, статистическую службу Норвегии нельзя было винить в появлении несовпадений. По вине сотрудников статистической службы была сделана лишь незначительная доля ошибок.

Существуют три основные причины указанных ошибок, связанные с внешними факторами: одна из них - неполные или недостаточные инструкции, полученные из Директората по налогам. Судя по всему, система регистрации населения обновляет ЦРН в соответствии с правилами, несколько отличающимися от тех, которые были написаны для прямых получателей. Можно привести достаточно известный пример: инструкции не указывают, что дата получения гражданства для новорожденных должна быть скопирована из данных о дате рождения. Строго следующий инструкции программист (оператор), в ведомстве, являющемся прямым получателем, сочтет, что в этом случае значение даты приобретения гражданства равно нулю, и в результате у 300000 человек графа «дата приобретения гражданства» в Базе данных о населении окажется незаполненной, даже если в источнике имеется правильная информация.

Вторая причина ошибок, которые появились вне статистической службы, состоит в том, что транзакции не всегда производятся правильно: когда в местном регистре населения нажимается клавиша «ввод», обновляется ЦРН, но не его копии. Это может произойти, если, к примеру, кто-то случайно нажмет не ту клавишу. В течение ряда лет определенное число операций, вызвавших ошибки, было выявлено и аннулировано, таким образом, некоторые несоответствия, обнаруженные в базовом массиве 1 января 2003 г., являлись всего лишь наследием ошибок, уже устраненных в системе несколько лет назад.

Третья причина ошибок обновления уходит корнями в пакетные задания, обработка которых производится на главном уровне (в Директорате по налогам). В числовом выражении многие серьезные ошибки часто появляются именно таким образом. Например, самое большое расхождение в 320000 человек (в связи с определением «школьного округа») появилось только в 2003 г. из-за одного оператора базы данных, который вводил новую информацию в поле переменной, но забывал произвести соответствующие транзакции.

В 2004 г. в Директорате по налогам было принято решение произвести рассылку обновленных «выгружаемых файлов» всем прямым получателям, и, таким образом, осенью 2004 г. началась новая работа. Вне зависимости от получения этого нового шанса Центральное статистическое бюро Норвегии будет и дальше выявлять несоответствия, связанные с Центральным регистром населения, и высылать образцы соответствующих ПИН-кодов, обнаруженных в каждой категории ошибок. Только таким образом мы сможем исследовать конкретные случаи и привести в соответствие программы обработки данных во избежание будущих расхождений.

Что мы выяснили. Одним из условий (или, по крайней мере - большим преимуществом) возможности контроля является то, что копия базы данных создается с намерением поддерживать ее в состоянии идентичности с источником как в отношении конфигурации, так и содержания.

С точки зрения конфигурации, База данных о населении представляет собой достаточно простую таблицу данных, легко сопоставимую с «выгружаемым файлом». Тем не менее условия обновления Базы данных о населении по некоторым пунктам не соответствовали инструкциям (как было показано выше). Эти особенности затрудняют сравнение Базы данных о населении с массивом Центрального регистра населения.

Другой вывод состоит в том, что основные проблемы возникают на стороне поставщика данных. Их задачи сложнее, и их система требует решения более трудных проблем, чем те, что стоят перед получателями данных. Для того чтобы в будущем разработать надежную систему обмена, поставщик, безусловно, должен учитывать замечания и рекомендации со стороны получателей.

Необходимо знать значения переменных «до» и «после» транзакций. Запутанность и сложность - вот наше основное впечатление о системе транзакций в Центральном регистре населения. Довольно часто производится несколько исправлений и/или аннулирований, относящихся к реальным демографическим событиям, нередко с взаимоисключающей информацией. Таким образом, в некоторых случаях бывает трудно понять, что и когда произошло с данным лицом.

Можно предпринять меры для того, чтобы работать с транзакциями было проще. Полученные транзакции содержат переменные, имеющие такие значения, которые они предположительно должны иметь в базовом массиве после обновления. Однако нам бы хотелось знать, какая переменная (или какие переменные) изменяются при обновлении и каким было значение переменной в массиве до замены этой переменной. По этой причине при обновлении все старое содержимое записей в массиве должно быть скопировано в файл с данными «до транзакции», и точно так же значения всех переменных, отражающие новую ситуацию (после обновления), должны быть введены в ходе этой транзакции. Все усовершенствования, которые здесь описаны, пока еще не применяются при работе с Базой данных о населении.

Отражение источника - одно, улучшение данных для нужд статистики - нечто другое. Работа каждой национальной статистической службы имеет высокую степень конфиденциальности. Сотрудники, пришедшие недавно, с первого момента узнают о той границе, которая разделяет Центральное статистическое бюро Норвегии и остальной мир. В Норвегии¹⁰ образ мышления и Акт о статистике четко определяют различия между «административными регистрами» и «статистическими регистрами». Первые существуют вне статистической службы Норвегии и применяются для работы с ситуациями, относящимися к индивидам, тогда как статистические регистры, находящиеся в Центральном статистическом бюро Норвегии, используются исключительно для производства статистики. Статистические регистры могут и должны разрабатываться для того, чтобы отвечать требованиям статистики.

Эти соображения повлияли на планирование работы Базы данных о населении. Мы видели, что система распространения данных Центрального регистра населения позволила Базе данных о населении быть копией ЦРН, и мы хотели поддерживать и использовать это преимущество. В то же время мы рассматривали Базу данных о населении как первую ступень в производстве статистических данных. Как было показано выше, мы сделали определенный выбор в отношении системы обновления, и этот выбор в большей степени был связан с нашими потребностями в хороших статистических данных, нежели со стремлением к точному копированию ЦРН.

Оглядываясь назад, мы с очевидностью понимаем, что нам следовало бы сделать четкое разграничение между двумя этими целями, или, по крайней мере, в большей степени осознавать различия между ними. Первая цель состоит в копировании ЦРН со всеми его недостатками (недостатками с точки зрения статистики). Затем, вне зависимости от первой цели, возникает проблема обработки данных (проверка, исправления, создание новых переменных, импутация, ввод дополнительных данных и т. д.).

Иными словами, совет очень простой: сначала убедитесь, что вы выполнили задачу точного копирования базы данных из внешнего источника. Затем, как самостоятельный процесс, вы можете начать адаптацию этих данных к вашим нуждам.

Сообщество прямых получателей - польза и стимулы. Центральное статистическое бюро Норвегии на протяжении ряда лет имеет спорадические контакты с другими прямыми получателями данных, но этого не происходило до того, пока в 2002 г. не была организована встреча представителей двух из них (Государственного управления страхования и Управления по таможенным и акцизным сборам).

Для участников впечатление было таким, как если бы взрослый человек, выросший в семье в качестве единственного ребенка, неожиданно обнаружил, что у него есть неизвестные ему братья и сестры. Неожиданно участники открыли для себя, что они не одни в этом мире. Общим было то, что все были прямыми получателями данных из ЦРН и все имели как положительный, так и отрицательный опыт работы с данными ЦРН. Оказалось, что участники совещания имели общие интересы в отношении взаимодействия с Директоратом по налогам, но в то же время имелись и различия в представлениях о том, в каком направлении надо совершенствовать систему Центрального регистра. Стало ясно, что если в ЦРН будут приняты предложения по усовершенствованию от одного из получателей, то это негативно повлияет на интересы других прямых получателей.

На основании этого стало очевидно, что обмен опытом полезен. Таким образом, участники могли бы избежать двойной работы, сэкономить деньги налогоплательщиков, при необходимости объединить усилия в процессе взаимодействия с Директоратом по налогам, а также уточнить расхождения в интересах и точках зрения. Позднее в Директорат по налогам было передано предложение о необходимости создания общего форума для всех прямых некоммерческих получателей данных.

В сентябре 2004 г. было проведено первое собрание, в котором приняли участие также и прямые потенциальные получатели данных. Судя по всему, эта форма взаимодействия (форум) имеет долгосрочную перспективу существования. Ведомство - владелец регистра также может выиграть от контактов с тремя опытными и компетентными пользователями. Неожиданностью на указанном совещании стало то, что некоторых прямых потенциальных получателей услышанное отпугнуло. Задача оказалась более трудной, чем они ее себе представляли.

Некоторые другие результаты наблюдения.

Больше контактов и обратной связи с поставщиком данных. После периода, когда эти контакты были чрезвычайно тесными в 1960-х и 1970-х годах, взаимоотношения между отделом статистики населения статистической службы и Центральным регистром ослабли в 1985 г. Такое положение дел сохранялось в течение нескольких лет, но в последние годы контакты стали интенсивными как никогда прежде. Большая часть из них происходит в связи с выполнением специальных проектов или по другим случайным поводам. Но, по крайней мере, часть контактов происходит по инициативе Центрального статистического бюро Норвегии как прямого получателя и участника системы передачи данных. По сравнению с периодом до 1999 г. в настоящее время стало возможным, необходимым и целесообразным поддерживать отношения по вопросам обновления и качества данных в целом.

Задача информирования о найденных ошибках (как в системе обмена/обновления, так и в отношении значений переменных в ЦРН) является важной, но пока программы для такого рода обратной связи должным образом не разработаны.

С тех пор как Центральное статистическое бюро Норвегии получило базу данных, являющуюся копией ЦРН, появилась возможность разработки «статистики Центрального регистра населения» для Директората по налогам. В ряде случаев отдел статистики населения выступает в роли своего рода «Управления статистики» в системе регистрации населения.

Наблюдая за нынешними взаимоотношениями между статистиками и сотрудниками Центрального регистра населения, можно вспомнить термин «симбиоз».

Больше контактов с другими отделами Центрального статистического бюро Норвегии. Отдел статистики населения сейчас играет роль внутреннего дистрибьютора данных Центрального регистра населения, включая имена и адреса. Часть этой работы реализуется с помощью функции поиска. Новая роль (и задачи) отдела статистики населения привели к тому, что усилились контакты с другими пользователями внутри Центрального статистического бюро Норвегии.

Последствия с точки зрения разработки данных и статистики. Что означает система прямого получателя с точки зрения разработки данных и производства статистики? Это обширная область проблем, частично описанная в других работах¹¹.

В общем совершенно ясно, что цель обеспечения гибкости оказалась достигнутой. Отдел статистики населения разрабатывает данные по более широкому кругу показателей благодаря такой маневренности. Определенно, в настоящее время с данными работать стало проще, чем было раньше.

Среди преимуществ новой системы - возросшая своевременность и большая степень согласованности между данными по численности и событиям. Тем не менее не все возможности востребованы и используются, по крайней мере, пока. В проекте, который имеется в планах, предполагается увеличить масштаб разработки данных, особенно в отношении использования транзакций по жизненному циклу.

Сравнение с другими странами

Представляет интерес сравнение какой-либо системы в одной стране с аналогами в других странах. Но это достаточно рискованное дело, если не знать хорошо всех деталей. Имеется реальная возможность увидеть различия там, где их нет, и наоборот. С этими оговорками, в этом разделе представлена некоторая информация и впечатления от ситуации в других странах.

Скандинавские страны. По многим естественным и институциональным причинам, производители статистики населения в Норвегии лучше осведомлены о ситуации в скандинавских странах, нежели о том, что происходит в других странах.

Швеция

Швеция прошла путь развития, похожий на тот, что был у Норвегии: во второй половине 1990-х годов сначала произошла модернизация системы регистрации населения, а затем система была усовершенствована в рамках национальной статистической службы. Как и Центральное статистическое бюро Норвегии, статистическая служба Швеции до начала третьего тысячелетия перешла от работы с многопользовательским центральным компьютером¹² к новой технологической платформе¹³.

Главный принцип при передаче данных из регистра в национальную статистическую службу в Швеции точно такой же, как и в Норвегии, но на практическом уровне обнаруживаются многочисленные различия. Возможно, наиболее явное из них, с точки зрения норвежских специалистов, - это более сложная структура базы данных, разработанная в статистической службе Швеции для работы с данными о регистрации населения.

В транзакциях, полученных статистикой Швеции, имеется дата записи, но нет часов, минут или секунд, как в Норвегии. Тем не менее поставщик проводит определенную работу по «чистке» перед отправкой данных в статистическую службу, и поэтому точная хронология в таких случаях реже бывает некорректной.

Проблема определения различий между административным и статистическим регистрами не имеет прямого отношения к работе Шведской статистической службы. Шведские статистики не имеют права делать импутацию, тогда как в Норвегии считается некорректным не делать ее, если это нужно и возможно. Это означает, что некоторые проблемы, которые обсуждались в статистической службе Норвегии в отношении Базы данных о населении, не имеют прямых аналогий с ситуацией в Швеции.

Другое интересное различие между двумя странами связано с тем, что статистика Швеции никогда не отвечала за систему регистрации населения. Поэтому с началом компьютерной эры в 1960-х годах статистика Швеции незамедлительно столкнулась с проблемой копирования новой системы сбора данных, учрежденной в рамках налогового ведомства. Система сбора стала децентрализованной, и в связи с этим копия центральной базы данных в статистической службе Швеции (она называется Полный регистр населения - ПРН¹⁴) стала большим, нежели просто копией. В статистических кругах этот регистр известен как «Полный регистр населения», тогда как регистр налогового ведомства имеет более сдержанное название.

Норвежский аналог «Полного регистра населения» - «База данных о населении» была создана только в конце 1990-х годов. Для Норвегии это своего рода внешний регистр, «Центральный регистр населения» - вот «фирменное название», тогда как название и концепция Базы данных о населении (Popbase) применяется в основном для внутреннего пользования в Центральном статистическом бюро Норвегии.

Тем не менее, даже если Норвегия и Швеция представляют свои системы по-разному, в действительности у них имеется много общего, по крайней мере в международном контексте.

В статистической службе Швеции задача эксплуатации копии базы данных выделена на организационной диаграмме в самостоятельное направление, и часть сотрудников постоянно работают с этой системой. Для сравнения: норвежская База данных о населении является всего лишь одной из обязанностей среди прочих в сфере деятельности отдела статистики населения, и не существует специальной структуры, предназначенной для работы только с ней.

Дания

В отличие от статистических служб Норвегии и Швеции, Датская статистическая служба даже после 2000 г. сохранила свой базовый компьютер, и система поставки данных из Центрального регистра населения также оставалась неизменной. Это означает, что для отдела статистики населения стимулы к реформированию системы получения данных были иными, нежели в двух соседних государствах. Можно сделать вывод о том, что с точки зрения Норвегии, система статистики населения Дании имеет очень много общего с ситуацией, которая была в Норвегии до 1995 г. Это означает, помимо прочего, что Датская статистическая служба ежегодно получает массив данных, извлеченный из регистра населения.

Тем не менее Датская статистическая служба в настоящее время начала процесс планирования будущей работы на новой технологической платформе. Пока еще рано с уверенностью говорить, куда приведет это планирование. Но в конце концов, в системе взаимодействия и передачи данных имеются две стороны, и поставщик играет не самую последнюю роль. Датская статистическая служба изучает опыт Норвегии и Швеции.

Характерной чертой Датской статистической службы являются (по сравнению с Норвегией) хорошие традиции работы с базами данных. В будущем это может стать преимуществом.

Финляндия

Ситуация в Финляндии более или менее похожа на ситуацию в Дании. Однако в Финляндии в последние годы произошло больше событий (в области статистики населения). Поставщик данных (Центр регистра населения) несколько лет назад пережил процесс модернизации, и затем внутри Статистической службы Финляндии был осуществлен переход на новую технологию. Планирование новой системы формирования статистики населения в настоящее время находится «в критической стадии» в том смысле, что многие решения будут приняты в ближайшем будущем. Похоже, что новая система формирования статистики населения в Финляндии приближается к норвежской и шведской моделям.

Исландия

Из-за относительно небольшой численности населения Исландии и малого количества ведомств, связанных с регистрацией населения, многие вопросы, которые возникают в такой стране, как Норвегия, практически не имеют отношения к ситуации в Исландии, и наоборот.

Прочие государства

Словения

В международном контексте имеются поразительные сходства между Словенией и скандинавскими странами в области системы регистрации населения. Как и в Норвегии, Центральный регистр населения Словении был создан в Службе статистики, что обеспечивало тесную связь между регистром и разработкой статистики населения. Тем не менее разделения двух функций не произошло до второй половины 1990-х годов. В то же время Центральный ре­гистр населения Словении трансформировался в современную базу данных, а управление регистром перешло к Министерству внутренних дел¹⁵.

Таким образом, в Словении проблема взаимодействия между Центральным регистром населения и Службой статистики появилась в повестке дня только несколько лет назад. Отправку данных планируется делать ежедневно, по всем переменным и по всему населению, но этот проект, являющийся одним из многих в национальном проекте создания «электронного правительства», еще не закончен. Таким образом, традиционные решения, которые предпринимались в последние годы, по-прежнему находят себе применение (ежеквартальная выгрузка общего массива данных, дополнительный файл по иностранцам, проживающим в стране, и файлы по событиям естественного движения и миграциям¹⁶). Система, существующая в Словении, имеет больше общего с датской и финской, нежели с норвежской или шведской. Тем не менее существуют идеи относительно расширения и развития системы взаимодействия в Словении по типу норвежской и шведской систем.

Ведомства, отвечающие за регистрацию населения и налоги, не объединены в Словении, как это сделано в Норвегии и Швеции, и они не применяют одни и те же индивидуальные идентификационные номера. Тем не менее в Словении существует тесная связь между этими двумя сферами деятельности. Центральный регистр населения и Налоговый регистр взаимно обновляются каждую ночь: изменения записей в Налоговом регистре каждый день отправляются для обновления в Центральный регистр населения, а сведения обо всех изменениях в населении ежедневно отправляются в Налоговый регистр.

Нидерланды¹⁷

В соответствии с законодательством, в Нидерландах отсутствует Центральный регистр населения. Статистика голландского населения, которую разрабатывает Служба статистики Нидерландов (StatNeth), основывается на автоматизированных муниципальных регистрах населения. Эта децентрализованная система регистрации населения известна под аббревиатурой GBA.

Статистические данные по демографическим событиям и миграциям ежедневно (в электронном виде) направляются из муниципалитетов в Статистическую службу Нидерландов. Раз в год муниципалитеты высылают в статистическую службу подборку сведений обо всем населении страны. Эта выборка является источником для определения численности и состава населения на 1 января.

На практике не представляется возможным, чтобы все муниципалитеты одновременно сделали эту выборку. Как результат - часть жителей оказываются в выборке более чем в одном муниципалитете, в то время как другие не попадают в нее вообще. Для того чтобы обеспечить полный охват населения и предотвратить повторные записи, статистическая служба Нидерландов реконструирует ситуацию по первому дню года. Это делается с помощью данных о рождениях, смертях и миграции.

Данные о демографических событиях теоретически могут комбинироваться с данными по состоянию всего населения на 1 января. Таким образом, может быть получен современный регистр, содержащий данные о текущем состоянии всего населения Нидерландов. С тех пор как в Парламенте был поставлен вопрос о том, приемлемо ли, с позиций конфиденциальности, чтобы Статистическая служба имела такой «живой» регистр, на практике ничего не было сделано.

Выводы

Проблема передачи данных регистра населения для разработки статистики связана с другим вопросом: каким образом эти данные становятся доступными всему обществу. Тем не менее в истории Норвегии производство статистики населения находилось в чрезвычайно благоприятных условиях в первом электронном веке. Ряд других крупных пользователей, таких, как Директорат по налогам, также процветали. Для прочих пользователей электронными данными о регистрации населения постепенно находились приемлемые решения в отношении передачи данных.

Хорошо продуманная схема обслуживания интересов общества была создана не в связи и не до создания нового Центрального регистра. Эта модель удовлетворяла как производителей статистики населения, так и всех других пользователей. Решение вопроса предполагало, что Центральное статистическое бюро Норвегии получит «стандартную» систему передачи данных, общую для нескольких пользователей.

Наглядно показано, что норвежская система «прямого получателя» - не ложе, усыпанное розами. Некоторые трудности и проблемы существуют как в рамках статистической службы, так и в системе, передающей данные. Тем не менее, по меньшей мере для статистической службы Норвегии, совершенно невозможен возврат к прежней системе. Не может быть и речи даже о ее более современных версиях. Возможно, такой вывод является наилучшей характеристикой существующей системы передачи данных.

¹ Коре Вассенден (Каrе Vassenden) - ведущий аналитик Отдела статистики населения Центрального статистического бюро Норвегии. Доклад «Direct communication of population register data to the National Statistical Institute. Statistics Norway's experiences» подготовлен в сентябре 2004 п для представления на конференции по вопросам регистров в Балтийский странах REGNO-2004. Обновления сделаны автором в апреле 2007 г. Перевод с английского О.С. Чудиновских.
² Система регистрации населения включает в себя местные и центральный регистры и бюро, обмен данными между ними и внешние контакты. По ряду причин «регистрация населения» (и смежные понятия) в среде норвежских ученых в области народонаселения обозначается английским термином. Этот термин означает большее, нежели, например, «регистрация актов гражданского состояния». Тем не менее в норвежском языке «система регистрации населения» («population registration system») образована по образу «гражданской регистрации» (national registration). В практике Центрального статистического бюро Норвегии были случаи, когда некоторые иностранцы неверно понимали термин «national registration», как нечто подобное «регистрации актов гражданского состояния».
³ Здесь и далее «статистическая служба Норвегии» означает Центральное статистическое бюро Норвегии.
⁴ Информация о родившихся или иммигрантах, прибывших в страну после переписи, была получена из местных регистров населения.
⁵ Автор употребляет здесь и в ряде случаев ниже словосочетание «Population Statistics» («Статистика населения»), указывая в сноске, что «Статистика населения» здесь обозначает специалистов, отвечающих за демографические данные и статистику населения в статистической службе. Здесь и далее мы используем выражение «отдел статистики населения».
⁶ По имеющимся определениям, транзакция - это логическая единица работы, состоящая из запроса (например, к базе данных) и получения результатов его обработки (Прим. перев).
⁷ Центр регистров, расположенный в г. Броннойсунде («The Brtfnnpysund registers»), является государственным ведомством, отвечающим за государственную регистрацию и контроль в области промышленности и бизнеса в Норвегии. В ведении Центра в настоящее время находятся 17 государственных электронных регистров, в том числе Регистр движимого имущества, находящегося под залогом, Регистр частных предприятий, Центральный координационный регистр юридических лиц. Регистр банковских счетов компаний. Регистр банкротств, Регистр брачных контрактов, Регистр политических партий (Прим. перев. см. http://www.brreg.no).
⁸ Это управление входит в Организацию по труду и пособиям Норвегии, созданную в 2006 г., после объединения Государственного управления страхования, Государственного управления занятости и муниципальной системы социальных пособий (см.: http://www.nav.no).
⁹ База данных ЦРН организована в виде нескольких таблиц, в то время как «выгружаемый регистр» организован как один последовательный файл. Из этого файла исключены 11 полей с комментариями, два из которых относятся к сертификатам. Кроме того, исключены различные каталоги, таблицы налогового регистра и пара технических переменных, не представляющих интерес для внешнего пользователя. Данные об исторических событиях не включены в выгружаемый файл. Файл со всеми присвоенными D-номерами (номера, присваиваемые иностранцам, которые намерены пребывать в Норвегии менее шести месяцев, и некоторым другим категориям иностранцев; сейчас таких номеров около 850000) поставляется отдельно.
¹⁰ В отличие от Швеции.
¹¹ Vassenden, Kare (2001): The Norwegian population statistics system and its environment. Paper for the 14 Nordic Demographic Symposium - NORDIC 2001, Tjjefme, Norway, 3-5 May 2001. Statistics Norway.
¹² Mainframe - высокоскоростной компьютер, к которому подключены многие рабочие места (пользователи), главный компьютер вычислительного центра.
¹³ Wilen, Anna and Ingvar Johannesson (2002): A new Total population register system. More possibilities and better quality. Bakgrundsfakta til Befolknings- og Valfardstatistik 2002:2. Statistics Sweden.
¹⁴ Английское название этого регистра «Total population register», что точнее может быть переведено как «Регистр всего населения».
¹⁵ Tršinar, Irena (2001): Central Register of Population - a Reference Database for E-government in Slovenia. Ministry of Interior, Slovenia. (Paper for the Baltic Sea Register Conference Regno 2001, 19-23 September 2001, Vilnius, Lithuania.)
¹⁶ Сведения получены при личной консультации автора с I. Tršinar, 2004.
¹⁷ Описание ситуации в Нидерландах основано на работе [Prins, C.J.M. and R. Verhoef (1998): Statistics of the population with a foreign background, based on population register data. (Paper submitted by Statistics Netherlands for the ECE Work session on Migration Statistics, Geneva, 25-27 March 1998.)].