Loki

Loki is a horizontally-scalable, highly-available, multi-tenant log aggregation system, created by Grafana Labs inspired by the learnings from Prometheus. Loki is commonly referred as ‘Prometheus, but for logs’, which makes total sense. Both tools follow the same architecture, which is an agent collecting metrics in each of the components of the software system, a server which stores the logs and also the Grafana dashboard, which access the loki server to build its visualizations and queries. That being said, Loki has three main components:

Promtail

It is the agent portion of Loki. It can be used to grab logs from several places, like var/log/ for example. The configuration of the Promtail is a yaml file called config-promtail.yml . In this file, its described all the paths and log sources that will be aggregated on Loki Server.

Loki Server

Loki Server is responsible for receiving and storing all the logs received from all the different systems. The Loki Server is also responsible for the queries done on Grafana, for example.

Grafana Dashboards

Grafana Dashboards are responsible for creating the visualizations and performing queries. After all, it will be a web page that people with the right access can log into to see, query and create alerts for the aggregated logs.

Why use Loki

The main reason to use Loki instead of other log aggregation tools, is that Loki optimizes the necessary storage. It does that by following the same pattern as prometheus, which index the labels and make chunks of the log itself, using less space than just storing the raw logs.

References

• Loki Official Site
• Inserting logs into Loki
• Adding Loki Source to Grafana
• Loki Best Practices

Why Loki is the Ultimate Solution for Modern Logging Needs

Modern applications and microservices generate vast amounts of log data, which can be difficult to manage and analyze without the right tools. This is where Loki comes in. Loki is an open-source logging platform created by Grafana Labs that is designed to be highly scalable and efficient for handling large volumes of log data. With its unique architecture, real-time streaming capabilities, and powerful querying language, Loki has become a popular choice for modern, cloud-native environments.

Promtail: The Lightweight and Efficient Log Collector

One of the key features of Loki is its lightweight and efficient log collector, Promtail. Promtail is responsible for collecting log data from various sources and forwarding it to the Loki backend for storage and analysis. Unlike traditional log collectors that require logs to be pushed to a central location, Promtail is able to pull logs from remote sources, such as Kubernetes pods, Docker containers, or remote servers. This makes it particularly useful in dynamic environments where services are constantly being created and destroyed.

Real-Time Streaming and Querying

Loki supports real-time streaming of log data, which allows users to monitor and analyze log data as it’s generated, enabling faster detection and resolution of issues. With its powerful query language, users can search and filter log data using a variety of metrics and labels, enabling them to pinpoint issues quickly and easily.

Cost-Effectiviness and Integrations

Loki is a cost-effective logging solution that stores log data more efficiently than traditional logging solutions, reducing storage costs. It also integrates with a wide range of third-party tools and services, including Kubernetes, Grafana, and other monitoring and logging solutions. With its comprehensive logging solution, Loki provides organizations with a scalable, cost-effective, and efficient way to manage and analyze their log data.

Conclusion

In conclusion, Loki is the ultimate solution for modern logging needs. With its unique architecture, real-time streaming capabilities, and powerful querying language, Loki provides organizations with a scalable, cost-effective, and efficient way to manage and analyze their log data. With Promtail as its lightweight and efficient log collector, Loki is the perfect logging solution for modern, cloud-native environments. Whether you’re a developer, a DevOps engineer, or a business owner, Loki can help you get the insights you need to keep your applications and services running smoothly.

Инструменты Kali Linux

Список инструментов для тестирования на проникновение и их описание

Loki

Описание Loki

Loki — это сканер для обнаружения признаков взлома.

Выявление взлома основано на четырех методах обнаружения:

1. Имена файлов (соответствие регулярному выражению полного пути файла);
2. Проверка правилами Yara (поиск на соответствие сигнатурам Yara по содержимому файлов и памяти процессов);
3. Проверка хешей (сравнение просканированных файлов с хешами (MD5, SHA1, SHA256) известных вредоносных файлов);
4. Проверка обратной связи C2 (сравнивает конечные точки технологического соединения с C2 IOC).

1. Проверка файловой системы Regin (через —reginfs)
2. Проверка аномалии процесса
3. Сканирование распакованных SWF
4. Проверка дампа SAM
5. Проверка DoublePulsar — пытается выявить бэкдор DoublePulsar oна порту 445/tcp и 3389/tcp

Автор: Florian Roth

Справка по Loki

loki.py [-h] [-p path] [-s kilobyte] [-l log-file] [-a alert-level] [-w warning-level] [-n notice-level] [--printAll] [--allreasons] [--noprocscan] [--nofilescan] [--norootkit] [--noindicator] [--reginfs] [--dontwait] [--intense] [--csv] [--onlyrelevant] [--nolog] [--update] [--debug]

-h, --help показать справку и выйти -p path Путь для сканирования -s kilobyte Максимальный размер файла в KB для проверки (по умолчанию 4096 KB) -l log-file Файл журнала -a alert-level Показатель тревоги -w warning-level Показатель предупреждения -n notice-level Показатель уведомления --printAll Вывести все просканированные файлы --allreasons Вывести все причины, по которым был посчитан показатель опасности --noprocscan Пропустить сканирование процессов --nofilescan Пропустить сканирование файлов --norootkit Пропустить сканирование руткитов --noindicator Не показывать индикатор прогресса --reginfs Делать проверку виртуальной файловой системы Regin --dontwait Не ждать перед выходом --intense Режим интенсивного сканирования (также сканировать файлы неизвестных типов и всех расширений) --csv Записать лог в формате CSV в STDOUT (для машинной обработки) --onlyrelevant Печатать только сообщения предупреждения и тревоги --nolog Не записывать локальный файл журнала --update Обновить сигнатуры из под-репозитория "signature-base" --debug Отладочный вывод

Руководство по Loki

Страница man отсутствует.

Обновление

В пакет включён отдельный инструмент для обновления, который называется loki-upgrader.exe или loki-upgrader.py.

loki-upgrader.py [-h] [-l log-file] [--sigsonly] [--progonly] [--nolog] [--debug]

-h, --help показать справку и выйти -l log-file Файл журнала --sigsonly Обновить только сигнатуры --progonly Обновить только файлы программы --nolog Не записывать в локальный лог файл --debug Отладочный вывод

Эта программа позволяет обновлять скомпилированный loki.exe для Windows и источники сигнатур.

При запуске loki.exe —update будет создан новый процесс upgrader и завершение основной программы LOKI, чтобы заменить loki.exe на более новый файл, который в противном случае был бы заблокирован.

Определённые пользователем исключения

LOKI поддерживает заданные пользователем исключения, указанные в файле «excludes.cfg» из папки «./config«. Каждая строка представляет регулярное выражение, которое во время обхода директорий применяется к полному пути файла. Таким образом вы можете исключить конкретные директории независимо от имени диска, где они размещены, расширения файлов в конкретных папках и все файлы и директории, которые принадлежат продуктам, чувствительным к антивирусным сканированиям.

Файл ‘exclude.cfg‘ выглядит примерно так:

# Директории для исключения # # - добавьте директории, которые вы хотите исключить из сканирования # - экранируйте обратные слэши # - значения не чувствительны к регистру # - помните, что нужно использовать обратные слеши в Windows и слеши в Linux / Unix / OSX # - каждая строка содержит регулярное выражение, которое соответствует чему-либо в полном пути (не чувствительно к регистру) # пример: # Регулярное выражение: \\System32\\ # Соответствует C:\Windows\System32\cmd.exe # # Регулярное выражение: /var/log/[^/]+\.log # Соответствует: /var/log/test.log # Не соответствует: /var/log/test.gz # # Полезные примеры \\Ntfrs\\ \\Ntds\\ \\EDB[^\.]+\.log Sysvol\\Staging\\Nntfrs_cmp \\System Volume Information\\DFSR

Примеры запуска Loki

Просканировать всю систему на наличие признаков взлома, результаты сканирования сохранить в файл (-l loki-report.txt):

sudo python2 loki.py -l loki-report.txt

Установка Loki

Установка в Kali Linux

Должна быть установлена YARA, которая по умолчанию уже имеется в Kali Linux.

sudo pip2 install psutil netaddr pylzma colorama git clone https://github.com/Neo23x0/Loki cd Loki/ python2 loki-upgrader.py python2 loki.py -h

Установка в Linux Mint, Ubuntu

sudo apt-get install yara python-yara python-pip python-setuptools python-dev git sudo pip2 install --upgrade pip sudo pip2 install -U setuptools sudo pip2 install psutil netaddr pylzma colorama git clone https://github.com/Neo23x0/Loki cd Loki/ python2 loki-upgrader.py python2 loki.py -h

Установка в BlackArch

sudo pacman -S yara python2-pip python2-yara sudo pip2 install psutil netaddr pylzma colorama git clone https://github.com/Neo23x0/Loki cd Loki/ python2 loki-upgrader.py python2 loki.py -h

Установка Loki в Windows

Скачайте последний выпуск программы с официальной страницы релизов. Распакуйте архив. Программа не требует установки, достаточно распаковать скаченный архив. Для запуска откройте командную строку: нажмите Win+x и выберите «Командная строка (администратор)». Начните с обновления программы и сигнатур, для этого перетащите в открывшееся окно командной строки файл loki-upgrader.exe, нажмите ENTER и дождитесь завершения процесса.

После этого перетащите в командную строку файл loki.exe и нажмите ENTER — начнётся сканирование всего компьютера.

Информация об установке в другие операционные системы будет добавлена позже.

Скриншоты Loki

Инструкции по Loki

Антивирус — ложные срабатывания

Скомпилированный сканер может определяться антивирусными программами как вредоносное программное обеспечение. Это вызвано тем фактом, что сканер представляет собой скомпилированный скрипт Python, реализующий некоторые функции сканирования файловой системы и процессов, которые также используются в скомпилированном вредоносном коде.

Если вы не доверяете скомпилированному исполняемому файлу, скомпилируйте его самостоятельно.

При подготовке материала использовались источники:
https://microsoft.github.io/code-with-engineering-playbook/observability/tools/loki/
https://blog-3ak.pages.dev/posts/loki-introduction/

Loki