Введение в QlikView. Способы загрузки данных

QlikView (далее — QV)– это BI-платформа, разработанная шведской компанией QlikTech, в настоящее время расположенной в штате Пенсильвания, США. Включена в группу лидеров магического квадранта Gartner поставщиков платформ Business Intelligence. В моей организации QV используется более пяти лет и на его базе разработано 100+ дэшбордов.

1.9K открытий

QV представляет из себя инструмент BI-аналитики, содержит широкий набор способов визуализации данных, имеет возможность создания собственных объектов-расширений, гибок в использовании. В данной и последующих статьях я постараюсь осветить основные принципы разработки проекта в QV, предоставить описание большинства объектов визуализации, а, так же, рассказать о некоторых tip and tricks, которые применял на практике в рамках своей деятельности. Надеюсь данная информация окажется полезной как для новичков, так и для опытных разработчиков.

Начнем с описания способа организации проекта и основных методов загрузки данных в QV.

Существует множество способов организации разработки и ведения проектов. Для примера будем рассматривать структуру из двух слоев данных и четырех слоев разработки. Такой метод позволяет четко разграничить этапы формирования конечного продукта, что обеспечивает благоприятные условия для хорошего понимания структуры проекта, мониторинга ошибок и совместного сопровождения несколькими разработчиками.

AppsTier1 – содержит файл-экстрактор формата *.qvw, который извлекает информацию из внешних источников, сохраняет ее в файлы *.qvd в папку DataTier1 по принципу один источник – один *.qvd, то есть, без их объединения.

DataTier1 – содержит *.qvd файлы – результат работы экстрактора. Так же могу быть созданы подкаталоги для локальных источников данных, например, *.csv, *.xslx, *.jpeg и другие.

В этом случае файл-экстрактор будет обрабатывать информацию из этих подкаталогов и сохранять *.qvd непосредственно в папку DataTier1.

Примечание. Вся информация в DataTier1 выгружается в неизменном виде, чтобы в случае ошибок можно было оценить корректность первоначальных данных.

AppsTier2 – содержит файл-трансформатор формата *.qvw, который осуществляет все необходимые преобразования в первоначальных данных, результат работы сохраняется в папку DataTier2 в формате *.qvd

AppsTier3 – слой для формирования модели данных, объединяет содержащиеся в папке *.qvd файлы, сохраняется в формате *.qwv. В самом файле можно создавать объекты для проверки созданной модели.

AppsTier4 – итоговая визуализация, именно этот файл выкладывается в публичный доступ на сервер. Грузится модель данных из AppsTier3, создаются объекты, если предполагается использование картинок, то они так же грузятся на этом слое.

Далее рассмотрим способы выгрузки данных из различных источников – в основном используются в AppsTier1.

Скрипт, как ни странно, пишется в редакторе скриптов — CTRL+E или:

Данные в QV загружаются в виде таблиц и хранятся в самом файле *.qvw. Общий синтаксис по логике в большинстве случаев такой же как в SQL, но некоторые операторы отличаются:

Для начала попробуем способ загрузки Load Inline, фактически является аналогом SQL выражения:

Выбираем пункт меню Insert->Load Statement->Load inline:

Появится таблица, в которую внесем свои данные:

В редакторе скрипта автоматически сформируется код:

Попробуем его запустить – CTRL+R или:

Полезные инструменты разработчика Qlik: обновление QV Document Analyzer

Достаточно давно я уже писал здесь о полезных инструментах разработчика QlikView. Сегодня продолжу эту тему и расскажу о новой версии QV Document Analyzer 3.6. Автором данной утилиты является широко известный Роб Вандерлич (Rob Wunderlich).

Что такое QV Document Analyzer

QV Document Analyzer применяется для аналитики структуры QVW-файлов и определяет, какие поля и, где используются в Qlik-приложении. Такую аналитику документа полезно выполнять при поиске методов повышения производительности приложения или для формирования понимания, как повлияло изменение в данных на работу приложения.

Примеры экранов приложения вы можете посмотреть ниже:

Последняя вкладка в интерфейсе утилиты – как раз самое полезное и интересное для нас – именно здесь мы узнаем, какие поля, измерения и выражения, а также переменные самые прожорливые в плане потребления памяти системы.

Какие основные изменения в QV Document Analyzer 3.6

Основные изменения утилиты коснулись следующих аспектов:

• Определение использования полей в уведомлениях
• Внутренние изменения для поддержки пакетного анализа.
• На итоговом листе добавлена диаграмма по использованию памяти и отдельная таблица с указанием тех элементов, которые затормаживают RAM.

Так, теперь доступен пакетный интерфейс, который позволяет анализировать сразу несколько файлов QVW при помощи выполнения всего одной команды.

ВАЖНО! Поскольку многие браузеры блокируют скачивание таких файлов, в архиве файл назван с расширением txt. После скачивания архива на локальный диск, его нужно распаковать, а файл переименовать в формате “DABatch.cmd”.

Функция анализа приложений QlikView реализована как типичный cmd-файл Windows.

Для того чтобы запустить программу через командную строку, нужно написать следующую команду:

где “somedir” – директория анализируемых QVW. Каждый qvw-файл в этой папке будет отдельно проанализирован, а результат сохранен для последующего анализа полученных данных.

QV Document Analyzer 3.6: конфигурация утилиты

Прежде чем запустить процесс аналитики файлов, предлагаю посмотреть настройки конфигурации программы:

QlikView®

Modern analytics started right here and that was just the beginning. Ride the next wave with Qlik Sense®.

Already a QlikView Customer?

From QlikView to Qlik Sense – the rise of modern analytics

The modern analytics era truly began with the launch of QlikView, our classic analytics solution, and the game-changing Associative analytics engine it is built on. It revolutionized the way organizations use data with intuitive visual discovery that put business intelligence in the hands of more people than ever. And we continue to lead the way with Qlik Sense, which augments and enhances human intuition with AI powered insights, and helps people move from passive to active analytics for real-time collaboration and action. This is all delivered within a hybrid cloud solution, supporting all users and use cases across your organization at enterprise scale.

При подготовке материала использовались источники:
https://vc.ru/newtechaudit/372997-vvedenie-v-qlikview-sposoby-zagruzki-dannyh

Полезные инструменты разработчика Qlik: обновление QV Document Analyzer

https://www.qlik.com/us/products/qlikview