Импорт и экспорт данных в PostgreSQL, гайд для начинающих

В процессе обучения аналитике данных у человека неизбежно возникает вопрос о миграции данных из одной среды в другую. Поскольку одним из необходимых навыков для аналитика данных является знание SQL, а одной из наиболее популярных СУБД является PostgreSQL, предлагаю рассмотреть импорт и экспорт данных на примере этой СУБД.

В своё время, столкнувшись с импортом и экспортом данных, обнаружилось, что какой-то более-менее структурированной инфы мало: этот момент обходят на всяких там курсах по аналитике, подразумевая, что это очень простые моменты, которым не следует уделять внимание.

В данной статье приведены примеры импорта в PostgreSQL непосредственно самой базы данных в формате sql, а также импорта и экспорта данных в наиболее простом и распространенном формате .csv, в котором в настоящее время хранятся множество существующих датасетов. Формат .json хоть и является также очень распространенным, рассмотрен не будет, поскольку, по моему скромному мнению, с ним все-таки лучше работать на Python, чем в SQL.

1. Импорт базы данных в формате в PostgreSQL

Скачиваем (получаем из внутреннего корпоративного источника) файл с базой данных в выбранную папку. В данном случае путь:

Имя файла: demo-big-20170815

Далее понадобиться командная строка windows или SQL shell (psql). Для примера воспользуемся cmd. Переходим в каталог, где находится скачанная БД, командой cd C:\Users\User-N\Desktop\БД :

Далее выполняем команду для загрузки БД из sql-файла:

«C:\Program Files\PostgreSQL\10\bin\psql» -U postgres -f demo-big-20170815.sql

Где сначала указывается путь, по которому установлен PostgreSQL на компьютере, -U – имя пользователя, -f — название файла БД.

Отметим, что в зависимости от размера базы данных загрузка может занимать до нескольких десятков минут. Конец загрузки будет отмечен следующим видом:

Заходим в pgAdmin и наблюдаем там импортированную БД:

2. Импорт данных из csv-файла

Предполагается, что у вас уже есть необходимый .csv-файл, и первое, что нужно сделать, это перейти pgAdmin и создать там новую базу данных. Ну или воспользоваться уже существующей, в зависимости от текущих нужд. В данном случае была создана БД airtickets.

Читайте также: Программа mi fit что это

В выбранной БД создается таблица с полями, типы которых должны соответствовать «колонкам» в выбранном .csv-файле.

Далее воспользуемся SQL shell (psql) для подключения к нужной БД и для подачи команд на импорт данных. При открытии SQL shell (psql) она стандартно спросит про имя сервера, имя подключаемой БД, порт и пользователя. Ввести нужно только имя БД и пароль пользователя, всё остальное проходим нажатием ентра. Создается подключение к нужной БД – airtickets.

Ну и вводим команды на импорт данных из файла:

\COPY tickets FROM ‘C:\Users\User-N\Desktop\CSV\ticket_dataset_MOW.csv’ DELIMITER ‘,’ CSV HEADER;

Где tickets – название созданной в БД таблицы, из – путь, где хранится .csv-файл, DELIMITER ‘,’ – разделитель, используемый в импортируемом .csv-файле, сам формат файла и HEADER , указывающий на заголовки «колонок».

Один интересный момент. Написание команды COPY строчными (маленькими) буквами привело к тому, что psql ругнулся, выдал ошибку и предложил написать команду прописными буквами.

Заходим в pgAdmin и удостоверяемся, что данные были загружены.

3. Экспорт данных в .csv-файл

Предположим, нам надо сохранить таблицу airports_data из уже упоминаемой выше БД demo.

Для этого подключимся к БД demo через SQL shell (psql) и наберем команду, указав уже знакомые параметры разделителя, типа файла и заголовка:

\COPY airports_data TO ‘C:\Users\User-N\Desktop\CSV\airports.csv’ DELIMITER ‘,’ CSV HEADER;

Существует и другой способ экспорта через pgAdmin: правой кнопкой мыши по нужной таблице – экспорт – указание параметров экспорта в открывшемся окне.

4. Экспорт данных выборки в .csv-файл

Иногда возникает необходимость сохранить в .csv-файл не полностью всю таблицу, а лишь некоторые данные, соответствующие некоторому условию. Например, нам нужно из БД demo таблицы flights выбрать поля flight_id, flight_no, departure_airport, arrival_airport, где departure_airport = ‘SVO’. Данный запрос можно вставить сразу в команду psql:

\COPY (SELECT flight_id, flight_no, departure_airport, arrival_airport FROM flights WHERE departure_airport = ‘SVO’) TO ‘C:\Users\User-N\Desktop\CSV\flights_SVO.csv’ CSV HEADER DELIMITER ‘,’;

Вот такой небольшой гайд получился.

Импорт экспорт данных в PostgreSQL
импорт и экспорт в csv
psql команда copy

Импорт и экспорт

Импорт и экспорт информации – это две стороны одной медали.

Импорт – это копирование в открытый файл другого файла, созданного в том же или ином приложении. Данные становятся неотъемлемой частью открытого файла, словно находились в нем с момента создания, хотя, например, форматирование и формулы при импорте могут потеряться. Вся связь с файлом источником и с приложением, в котором он был создан, при импорте утрачивается.

При экспорте копия открытого файла преобразуется в файл другой программы. Т.е. открытый документ сохраняется в новом формате, чтобы его можно было открыть в другом приложении. Например, Вы можете сохранить документ Word в формате Web – страницы.

Если необходимо поместить в документ только часть файла – источника, то необходимо скопировать информацию, подлежащую вставке, а затем вставить в нужное место документа.

Другими словами, импорт – это внесение дополнительной информации в открытый документ, а экспорт – это перенос информации из открытого документа в файл другой программы.

Внедрение

При внедрении (embedding) копия файла, созданного одним приложением, вставляется в файл, созданный другим приложением. В отличии от импортированных внедренные данные можно редактировать средствами меню и панелей инструментов приложения, в котором был создан файл – оригинал.

Файл – оригинал называется документом сервера, или файлом – источником (source file), а файл, в который он внедрен, — документом клиента (destination file). Обратите внимание, что в документе клиента хранится только копия файла – источника. Все изменения, внесенные во внедрённый объект, появятся в документе клиента, но не затронут файл источник.

Понравилась статья? Добавь ее в закладку (CTRL+D) и не забудь поделиться с друзьями:

Что значит импортировать и экспортировать?

У нас есть 21 ответов на вопрос Что значит импортировать и экспортировать? Скорее всего, этого будет достаточно, чтобы вы получили ответ на ваш вопрос.

Содержание

Чем отличается импорт от экспорта в телефоне?
Что значит импортировать и экспортировать? Ответы пользователей
Что значит импортировать и экспортировать? Видео-ответы

Отвечает Юрий Рудаков

В случае импорта производится закупка и ввоз товаров, технологий, услуг и капитала из-за границы для их реализации на внутреннем рынке страны-им-портера. В случае экспорта — вывоз за границу товаров, технологий и т. д. страны-экспортера.

Чем отличается импорт от экспорта в телефоне?

В чем ключевые отличия импорта от экспорта Импорт и экспорт контактов в телефоне отличаются тем, что в первом происходит добавление информации в список номеров, а во втором сведения, наоборот, изымаются оттуда.

Что значит импортировать и экспортировать? Ответы пользователей

Отвечает Парвис Матченко

Говоря простым языком, импорт — это добавление, а экспорт — изъятие. Что такое импорт и зачем он нужен. Импорт — добавление контактных данных в приложение на .

Отвечает Семён Каграманов

Экспорт контактов — перенос контактов на носитель или сохранение их в смартфоне отдельным документом. Импорт контактов — добавление контактов с внутренней .

Отвечает Виктор Беляков

Импорт — это контакты из другого телефона переносят в Ваш. Экспорт — наоборот — из Вашего на другой. 11. 11. Нравится. Комментировать. Ответить на вопрос.

Отвечает Сергей Рыжиков

Импортом контактов называют добавление контактов с другого устройства или внутренней памяти смартфона, а экспортом перенос имеющихся контактов в память .

Отвечает Виолетта Шувалова

Импорт контактов – это добавление информации с внутреннего хранилища в приложение, которое может находиться на устройстве. Операция необходима в .

Отвечает Владимир Малинин

Оба этих понятия связаны с мировой экономикой. Импорт — покупка товаров в других странах для дальнейшей эксплуатации в своей стране. Экспорт .

Отвечает Ольга Ханиева

Если контакт выделен красным, значит поле было неправильно заполнено в Excel-файле. Заполните поле правильно и загрузите файл заново или проигнорируйте. Нажмите .

Отвечает Дмитрий Полюхов

Импортом и экспортом называют товары , которые различаются своим происхождением и местом продажи. Импорт – Это товары, произведенные за .

Отвечает Олег Пленков

Импортирование (Экспортирование) контактов

При подготовке материала использовались источники:
https://habr.com/ru/articles/658153/
https://studopedia.ru/9_8071_import-i-eksport.html
https://querybase.ru/chto-znachit-importirovat-i-eksportirovat/

Импорт и экспорт что это такое в программе