Оцифровка архивных документов в центральных архивах Москвы

1. Оцифровка архивных документов в центральных архивах Москвы Тихонов Владимир Иванович Заместитель директора Информационного центра Главархива Москвы, к.и.н.

2. Задачи презентации: • Поделиться опытом оцифровки архивных аудиовизуальных и бумажных документов в центральных архивах Москвы • Определить круг проблем, возникающих при организации постоянного хранения электронных образов и электронного НСА к документам на бумажном носителе

3. Главное архивное управление города Москвы (Главархива Москвы) • Руководство Главархива Москвы • Центральный аппарат Главархива Москвы • Архивные отделы по административным округам Москвы • Центральные архивы Москвы: • Центральный архив города Москвы • Центральный исторический архив Москвы • Центральный архив общественно-политической истории Москвы • Центральный московский архив-музей личных собраний • Центральный архив научно-технической документации Москвы • Центральный архив электронных и аудиовизуальных документов Москвы • Центральный архив документов о трудовой деятельности граждан города Москвы • Функциональные центры: • Центр научного описания документов • Центр научного использования и публикации архивного фонда • Выставочный центр • Центр документационного обслуживания населения • Информационный центр • Центр микрографии и реставрации документов • Центр производственно-технического обслуживания • Центр по региональным и международным связям • Центр научно-справочной и библиотечной информации

4. Миссия Главархива Москвы • Обеспечение граждан, общества и органов власти архивной информацией Использование в работе архивов информационно-коммуникационных технологий – один из эффективных способов, повышающих оперативность и качество обслуживания пользователей архивными документами

5. Цели оцифровки архивных документов • Получение эффективных средств копирования и распространения архивной информации • Создание фонда пользования архивными материалами • Включение электронных образов документов в информационно-поисковые системы архива Главархив Москвы использует электронные образы в поисковых системах двух архивов: • Центрального архива электронных и аудиовизуальных документов Москвы (ЦАЭ и АДМ) • Центрального архива города Москвы (ЦАГМ)

6. Оцифровка документов ЦАЭ и АДМ • Оцифровка фонодокументов на магнитной ленте с 2004 г. • Оцифровка фотодокументов (негативов, позитивов и слайдов) с 2005 г. • Оцифровка видеодокументов с 2009 г.

7. Оцифровка документов ЦАЭ и АДМ Оцифровка фонодокументов на магнитной ленте Технические характеристики: • Кодек – PCM (Pulse Code Modulation), преобразующий звуковые сигналы в цифровой формат несжатого (т.е. без потери качества) звука • Частота дискретизации – 44,1 КГц • Разрядность – 16 бит Объем оцифрованного ресурса: • 1004 ед. хр. (бобин с лентой) из общего фонда в 4629 ед. хр. (22 %) Хранение: • диски DVD-R (в двух экземплярах)

8. Оцифровка документов ЦАЭ и АДМ Оцифровка фотодокументов Разрешение: • 2000 точек на дюйм Форматы хранения: • TIFF – копия страхового формата • JPEG – копия пользовательского формата Объем оцифрованного ресурса: • более 11 тыс. фотодокументов (4 % всего фонда) Хранение: • TIFF-файлы на дисках DVD-R (в двух экземплярах) и на файл-сервере АИПС архива (один экземпляр) • JPEG-файлы на дисках CD-R (в двух экземплярах) и в СУБД АИПС архива (один экземпляр)

11. Оцифровка документов ЦАЭ и АДМ Оцифровка видеодокументов в Видеоархивном комплексе Главархива Москвы Вместимость основной ленточной библиотеки: • 1927 картриджей LTO-3 совокупной емкостью в 750 Тбайт • более 10 тыс. часов видеодокументов Территориально разнесенное однотипное оборудование: • по 2 видеомонтажных станции • по 2 станции нелинейного видеомонтажа Avid Liquid Chrome HD • сервера с дисковыми системами хранения видеоконтента • ленточные библиотеки (одна основная и две удаленные по 30 картриджей LTO-3 для создания резервных копий) • сетевое оборудование (Cisco, SAN и т.п.) • выделенный канал связи в 100 Мбит/сек • 14 рабочих станций для работников и посетителей архива

12. Оцифровка документов ЦАЭ и АДМ Оцифровка видеодокументов в Видеоархивном комплексе Главархива Москвы Входные форматы для оцифровки: • Betacam, VHS • DV, DVcam, DV, DVCpro • DVD Видеокодеки и форматы хранения в ленточной библиотеке: • MPEG-2 (с битрейтом до 50 Мбит/с) • DV, DIF (до 50,3 Мбит/с) • Rawvideo, uyvy422i, некомпрессионный (176 Мбит/сек) Объем оцифрованного ресурса: • около 180 часов архивных видеодокументов (12,5% от фонда)

13. Оцифровка документов ЦАЭ и АДМ Оцифровка видеодокументов в Видеоархивном комплексе Главархива Москвы Запись и хранение копий на внешних носителях: • на лентах DVcam – страховой фонд видеодокументов • на дисках DVD-R (в двух экземплярах) – резервный фонд пользования видеодокументами Количество цифровых копий видеодокументов: • две копии в страховом формате в основной библиотеке • одна копия на картридже резервного хранения • две копии низкого разрешения (битрейт 1 Мбит/с) на серверах АИПС архива • одна копия страхового фонда • две копии резервного фонда пользования

14. Оцифровка документов ЦАЭ и АДМ Задачи Видеоархивного комплекса Главархива Москвы: • создание страховых копий видеодокументов в цифровых форматах • создание автоматизированного фонда пользования видеодокументами (интегрированного с АИПС архива) • создание копий видеодокументов по запросам пользователей без дополнительного использования оригиналов • использование в качестве временного хранилища при поступлении в архив на хранение видеодокументов в цифровых форматах

20. Оцифровка документов ЦАЭ и АДМ Оцифровка видеодокументов в Видеоархивном комплексе Главархива Москвы Перспективы развития Видеоархивного комплекса: • преобразование оцифрованных видеодокументов в формат файлового контейнера MXF OP1A • приобретение и внедрение видеокодека MPEG-4 • приобретение для архива технологий оцифровки кинодокументов и фонодокументов на виниловой основе и их интеграция с Видеоархивным комплексом

21. Оцифровка документов ЦАГМ Работы по оцифровке проводились в соответствии с п. 3.5.1 «Плана мероприятий по проектированию, разработке и внедрению информационных систем на 2008 год» утв. распоряжением Правительства Москвы от 11.04.2008 № 753-РП: • Создание единой системы электронных архивов документов Правительства Москвы Цель оцифровки документов: • создание автоматизированного фонда пользования архивными документами органов исполнительной власти Москвы через включение электронных образов документов и индексной информации в Интегрированную автоматизированную информационную систему (ИАИС) Главархива Москвы

22. Оцифровка документов ЦАГМ Решение предварительных задач: Выбор документального массива: • распорядительные документы райисполкомов Москвы, использование которых имеет беспрецедентное социальное значение, главным образом в сфере имущественных отношений граждан Выбор объекта индексирования (описания): • индексирование на уровне отдельного документа Интеграция с ИАИС Главархива Москвы: • проведение модернизации структуры и модулей АИС «Научно-справочный аппарат по документам на бумажной основе»

23. Оцифровка документов ЦАГМ Решение предварительных задач: Реквизиты индексирования электронных копий документов райисполкомов Москвы: • номера фонда, описи и единицы хранения (архивного дела), номер листа дела, с которого начинается документ • вид документа райисполкома (решение, протокол и т.д.) • номер, дата, заголовок документа • фамилии и инициалы персоналий, встречающиеся в документе • адреса зданий, встречающиеся в документе • комментарий • путь к папке с электронными копиями документа на передаваемом носителе

24. Оцифровка документов ЦАГМ Решение предварительных задач: Правила индексирования определялись в соответствии с нормативным документов Главархива Москвы по описанию распорядительных документов органов исполнительной власти Москвы: • Методические рекомендации по описанию и классификации документной информации для создания АИПС «Организационно-распорядительные документы Московского городского совета и Исполнительного совета народных депутатов за 1931–1991 гг.». (Мосгорархив, 2003)

25. Оцифровка документов ЦАГМ Решение предварительных задач: Оцифровка документов проводилась на территории Главархива Москвы, но на оборудовании и специалистами Исполнителя по государственному контракту. Были оборудованы рабочие места: • 10 рабочих мест с планетарными сканерами (9 сканеров для оцифровки документов форматом до A2, один сканер – для формата A1) • 6 рабочих мест для расшивки и последующей сбрюшеровки оцифрованных дел • промышленные сканеры с автоматической протяжкой листов не применялись, в связи с ветхим состоянием некоторых документов

26. Оцифровка документов ЦАГМ Работы по сканированию документов: Разрешение: • 300 точек на дюйм Режим сканирования: • «бинарный» – для документов в хорошем состоянии • «градации серого» – для документов с нечетким текстом (пожелтевшая бумага, нечеткость машинописи и т.п.) Формат сохранения файлов: • TIFF Объем получаемых файлов: • от 50 Кбайт до 60 Мбайт (в зависимости от режима сканирования и формата документа) • средний объем файла – 3-4 Мбайта Выборочный контроль качества электронных образов

27. Оцифровка документов ЦАГМ • Индексирование электронных копий архивных документов ЦАГМ проводилось специалистами Исполнителя по государственному контракту и на его территории • Готовый информационный ресурс передавался Главархиву Москвы • электронные копии документов записывались на диски DVD-R в двух экземплярах (в среднем на каждый диск помещались копии документов двух дел) • база данных с индексной информацией (в формате MS Access) – на диски CD-R в двух экземплярах • Передача осуществлялась по актам и описям дисков с электронными копиями архивных документов

30. Оцифровка документов ЦАГМ Завершающий этап: Прием информационного ресурса оформлялся только после проверки технического состояния поступивших дисков с помощью специализированного ПО в Информационном центре Главархива Москвы Трудозатраты на проверку дисков: • 30-40 мин. на проверку одного диска DVD • задействовались один-два работника на 2-3 ПК Объем выявленного брака: • 2% (около 200 дисков) Рабочая рекомендация: Записывать экземпляры электронных документов на носители разных фирм-производителей

31. Оцифровка документов ЦАГМ Завершающий этап: Импорт электронных копий документов и индексной информации в ИАИС Главархива Москвы Исправление ошибок индексации (не более 0,01%): • в составлении пути к электронным образам на переданных носителях • в привязке электронных образов к идентификации документа • в фамилиях персоналий, названиях улиц

35. Оцифровка документов ЦАГМ Затраты времени на реализацию проекта: Оцифровка документов: • около 4 месяцев (3921 архивное дело, 802956 образов) Индексация документов: • около 6 месяцев (420800 документов райисполкомов) Проверка дисков: • более 9 месяцев (1812 дисков) Экспорт информационного ресурса в ИАИС: • две недели

36. Оцифровка документов ЦАГМ В 2011–2012 гг. работы по оцифровке архивных документов ЦАГМ были продолжены: Состав документов: • распорядительные документы райисполкомов Москвы • распорядительные документы Мосгорисполкома (Моссовета) Формат хранения: • JPEG Электронные носители: • DVD-R • внешние жесткие диски емкостью 1-1,5 Тбайт (с 2012 г.) Наличие в составе ИАИС Главархива Москвы электронной картотеки «Решения и распоряжения Мосгорисполкома» сократило объемы работ по индексации документов Мосгорисполкома

37. Оцифровка документов ЦАГМ Промежуточные итоги проекта: Объем электронных копий фонда пользования: • 8126 дел по фондам 6 райисполкомов Москвы (из 30), более 1,6 млн листов • 8712 дел по фонду Мосгорисполкома, более 2,5 млн листов • Всего: 16838 дел, около 4,2 млн листов Формы хранения информационного ресурса: • в двух экземплярах на 2792 дисках DVD (райисполкомы) • в двух экземплярах на 24 внешних жестких дисках (Мосгорисполком и райисполкомы) • один экземпляр на 238 дисках BD-R в роботизированном дисковом накопителе, интегрированном с ИАИС • Совокупный объем хранения – около 25 Тбайт

38. Оцифровка документов ЦАГМ Перспективы развития проекта в 2014–2016 гг.: • Планируется оцифровать более 100 тыс. дел, в том числе дела с научно-технической документацией Центрального архива научно-технической документации Москвы (ЦАНТДМ) При сохранении существующих темпов оцифровки потребуется не менее сотни лет на то, чтобы перевести в электронную среду лишь наиболее востребуемую часть фондов центральных архивов Москвы

39. Спасибо за внимание!Вопросы?