Подходит ли платформа для начинающих без опыта работы?

Да, курсы разбиты по уровням: Junior, Middle, Senior. Начинающие могут стартовать с базовых тем Python, Docker и алгоритмов и постепенно двигаться к более сложным темам.

Как быстро можно подготовиться к собеседованию на позицию Junior разработчика?

При занятиях 1–2 часа в день — от 2 до 4 недель на основные темы. Платформа анализирует слабые места по результатам квизов и строит персональный план подготовки.

Какие технологии охватывает платформа?

Python, FastAPI, Django, Docker, алгоритмы и структуры данных, Agile/Scrum, SQL, CI/CD, системный дизайн, код-ревью и более 50 других тем для разработчиков.

Платформа бесплатная?

Большинство учебных материалов и квизов доступны бесплатно после регистрации. Регистрация занимает менее минуты.

Как платформа помогает найти работу программистом?

Платформа даёт фундаментальные знания, которые проверяют на технических собеседованиях: алгоритмы, архитектура, фреймворки. Мок-интервью имитирует реальное собеседование. Система прогресса показывает, какие темы нужно подтянуть перед собеседованием.

monitoring

Мониторинг и отладка

System-таблицы, логи, метрики, трассировка запросов, профилирование, alerting

Мониторинг и отладка

System-таблицы, логи, метрики, трассировка запросов, профилирование, alerting

System-таблицы для мониторинга

system.query_log — логи запросов

-- Последние выполненные запросы
SELECT 
    query_id,
    query,
    event_date,
    event_time,
    elapsed,
    read_rows,
    read_bytes,
    result_rows,
    result_bytes,
    memory_usage,
    user
FROM system.query_log
WHERE event_date = today()
ORDER BY event_time DESC
LIMIT 20;

-- Медленные запросы (> 1 секунды)
SELECT 
    query,
    elapsed,
    read_rows,
    read_bytes,
    memory_usage,
    user
FROM system.query_log
WHERE event_date = today()
  AND elapsed > 1.0
ORDER BY elapsed DESC;

-- Ошибки выполнения
SELECT 
    query,
    exception_code,
    exception_text,
    event_time
FROM system.query_log
WHERE event_date = today()
  AND type = 'Exception'
ORDER BY event_time DESC;

Типы записей:

QueryStart — начало выполнения
QueryFinish — успешное завершение
Exception — ошибка выполнения

system.processes — текущие запросы

-- Активные запросы
SELECT 
    query_id,
    query,
    elapsed,
    read_rows,
    read_bytes,
    memory_usage,
    user,
    host
FROM system.processes
ORDER BY elapsed DESC;

-- Запросы с большим потреблением памяти
SELECT 
    query,
    memory_usage,
    elapsed,
    user
FROM system.processes
WHERE memory_usage > 1000000000  -- 1 GB
ORDER BY memory_usage DESC;

-- Убийство запроса
KILL QUERY WHERE query_id = 'query_id';

system.metrics — метрики сервера

-- Все метрики
SELECT 
    metric,
    value,
    description
FROM system.metrics
ORDER BY metric;

-- Ключевые метрики
SELECT 
    metric,
    value
FROM system.metrics
WHERE metric IN (
    'Query',
    'Merge',
    'HTTPConnection',
    'TCPConnection',
    'MemoryTracking'
);

Важные метрики:

Метрика	Описание
Query	Количество выполненных запросов
Merge	Количество слияний частей
HTTPConnection	Активные HTTP подключения
TCPConnection	Активные TCP подключения
MemoryTracking	Используемая память

system.events — события сервера

-- События с момента запуска
SELECT 
    event,
    value,
    description
FROM system.events
ORDER BY event;

-- События за период (через query_log)
SELECT 
    'Queries' AS event,
    count() AS value
FROM system.query_log
WHERE event_date = today();

system.asynchronous_metrics — асинхронные метрики

-- Метрики, обновляемые периодически
SELECT 
    metric,
    value
FROM system.asynchronous_metrics
WHERE metric LIKE '%Memory%' 
   OR metric LIKE '%Disk%';

Примеры:

TotalMemoryAllocated — выделенная память
FilesystemFree — свободное место на диске

system.disks — информация о дисках

SELECT 
    name,
    path,
    free_space,
    total_space,
    keep_free_space,
    type
FROM system.disks;

system.parts — части таблиц

-- Статус частей таблиц
SELECT 
    database,
    table,
    partition,
    name,
    active,
    level,
    rows,
    bytes_on_disk,
    modification_time
FROM system.parts
WHERE database = 'default'
  AND active = 1
ORDER BY modification_time DESC;

-- Неактивные части (ожидают удаления)
SELECT 
    database,
    table,
    name,
    bytes_on_disk
FROM system.parts
WHERE active = 0
ORDER BY bytes_on_disk DESC;

-- Части с большим количеством уровней (проблемы с merge)
SELECT 
    database,
    table,
    name,
    level,
    rows
FROM system.parts
WHERE active = 1
  AND level > 10
ORDER BY level DESC;

system.replicas — статус репликации

-- Статус реплик
SELECT 
    database,
    table,
    total_replicas,
    active_replicas,
    is_readonly,
    is_session_expired,
    absolute_delay,
    last_queue_update
FROM system.replicas;

-- Проблемы с репликацией
SELECT 
    database,
    table,
    is_readonly,
    is_session_expired,
    absolute_delay
FROM system.replicas
WHERE is_readonly = 1 
   OR is_session_expired = 1 
   OR absolute_delay > 60;

system.replication_queue — очередь репликации

-- Очередь репликации
SELECT 
    database,
    table,
    position,
    node_name,
    type,
    required_quorum,
    is_currently_executing,
    create_time
FROM system.replication_queue
ORDER BY create_time;

-- Зависшие операции репликации
SELECT 
    database,
    table,
    position,
    type,
    is_currently_executing,
    create_time
FROM system.replication_queue
WHERE create_time < now() - INTERVAL 1 HOUR;

system.merges — текущие слияния

-- Активные слияния
SELECT 
    database,
    table,
    elapsed,
    progress,
    num_parts,
    result_part_name,
    bytes_read_uncompressed,
    bytes_written_uncompressed
FROM system.merges
ORDER BY elapsed DESC;

-- Мутации (UPDATE/DELETE)
SELECT 
    database,
    table,
    mutation_id,
    command,
    create_time,
    is_done,
    latest_fail_reason
FROM system.mutations
WHERE is_done = 0;

system.clusters — информация о кластерах

-- Узлы кластера
SELECT 
    cluster,
    shard_num,
    replica_num,
    host_name,
    host_address,
    port,
    is_local
FROM system.clusters
WHERE cluster = 'cluster_default';

system.distributed_ddl_queue — очередь DDL

-- Статус выполнения DDL на кластере
SELECT 
    query,
    host,
    shard_num,
    replica_num,
    status,
    exception_code,
    exception_text,
    query_finish_time
FROM system.distributed_ddl_queue
ORDER BY entry DESC
LIMIT 20;

Трассировка запросов

query_log с деталями

-- Детальная информация о запросе
SELECT 
    query_id,
    query,
    event_type,
    elapsed,
    read_rows,
    read_bytes,
    written_rows,
    written_bytes,
    result_rows,
    result_bytes,
    memory_usage,
    peak_memory_usage,
    read_latency_ms,
    ProfileEvents,
    Settings
FROM system.query_log
WHERE query_id = 'specific_query_id'
ORDER BY event_time;

ProfileEvents — события выполнения

-- События для конкретного запроса
SELECT 
    ProfileEvents['ReadBufferFromFileDescriptorRead'] AS file_reads,
    ProfileEvents['ReadBufferFromFileDescriptorReadBytes'] AS file_read_bytes,
    ProfileEvents['OSReadChars'] AS os_read_chars,
    ProfileEvents['OSWriteChars'] AS os_write_chars
FROM system.query_log
WHERE query_id = 'specific_query_id'
  AND type = 'QueryFinish';

Важные ProfileEvents:

ReadBufferFromFileDescriptorRead — чтения с диска
SelectedRows — отобранные строки
SelectedBytes — отобранные байты
MergedRows — строки после merge
MergedColumns — колонки после merge

trace_log — трассировка выполнения

-- Включить трассировку (в конфигурации)
-- <query_log>
--     <collect_query_traces>1</collect_query_traces>
-- </query_log>

-- Просмотр трассировки
SELECT 
    query_id,
    event_time,
    trace,
    arrayMap(x -> demangle(x), trace) AS trace_demangled
FROM system.trace_log
WHERE query_id = 'specific_query_id'
ORDER BY event_time;

Метрики производительности

Информация о запросах

-- Статистика по запросам за период
SELECT 
    toDate(event_time) AS date,
    count() AS total_queries,
    avg(elapsed) AS avg_elapsed,
    max(elapsed) AS max_elapsed,
    avg(read_rows) AS avg_read_rows,
    avg(memory_usage) AS avg_memory
FROM system.query_log
WHERE event_date >= today() - INTERVAL 7 DAY
  AND type = 'QueryFinish'
GROUP BY date
ORDER BY date;

-- Топ запросов по потреблению памяти
SELECT 
    query,
    avg(memory_usage) AS avg_memory,
    max(memory_usage) AS max_memory,
    count() AS executions
FROM system.query_log
WHERE event_date = today()
GROUP BY query
ORDER BY avg_memory DESC
LIMIT 20;

-- Топ запросов по времени выполнения
SELECT 
    query,
    avg(elapsed) AS avg_elapsed,
    max(elapsed) AS max_elapsed,
    count() AS executions
FROM system.query_log
WHERE event_date = today()
GROUP BY query
ORDER BY avg_elapsed DESC
LIMIT 20;

Информация о таблицах

-- Размер таблиц
SELECT 
    database,
    table,
    sum(rows) AS total_rows,
    sum(bytes_on_disk) AS total_bytes,
    sum(bytes_on_disk) / sum(rows) AS bytes_per_row
FROM system.parts
WHERE active = 1
GROUP BY database, table
ORDER BY total_bytes DESC;

-- Статистика по партициям
SELECT 
    database,
    table,
    partition,
    sum(rows) AS rows,
    sum(bytes_on_disk) AS bytes,
    min(modification_time) AS oldest_part,
    max(modification_time) AS newest_part
FROM system.parts
WHERE active = 1
GROUP BY database, table, partition
ORDER BY modification_time DESC;

Alerting

Проверка свободного места

-- Предупреждение о низком месте на диске
SELECT 
    name,
    free_space,
    total_space,
    round(free_space * 100.0 / total_space, 2) AS free_pct
FROM system.disks
WHERE free_space < 10000000000  -- 10 GB
   OR free_space * 100.0 / total_space < 10;

Проверка отставания реплик

-- Предупреждение об отставании реплик
SELECT 
    database,
    table,
    total_replicas,
    active_replicas,
    absolute_delay
FROM system.replicas
WHERE absolute_delay > 60  -- 1 минута
   OR active_replicas < total_replicas;

Проверка зависших мутаций

-- Предупреждение о зависших мутациях
SELECT 
    database,
    table,
    mutation_id,
    command,
    create_time,
    latest_fail_reason
FROM system.mutations
WHERE is_done = 0
  AND create_time < now() - INTERVAL 1 HOUR;

Проверка активных слияний

-- Предупреждение о долгих слияниях
SELECT 
    database,
    table,
    elapsed,
    num_parts,
    bytes_read_uncompressed
FROM system.merges
WHERE elapsed > 3600;  -- 1 час

Инструменты мониторинга

Prometheus + Grafana

ClickHouse экспортирует метрики в формате Prometheus:

<!-- config.xml -->
<clickhouse>
    <prometheus>
        <endpoint>/metrics</endpoint>
        <port>9363</port>
        <metrics>true</metrics>
        <events>true</events>
        <asynchronous_metrics>true</asynchronous_metrics>
    </prometheus>
</clickhouse>

URL метрик:

http://clickhouse:9363/metrics — все метрики

ClickHouse Exporter для Prometheus

# prometheus.yml
scrape_configs:
  - job_name: 'clickhouse'
    static_configs:
      - targets: ['clickhouse:9363']

Grafana дашборды

Отладка проблем

Медленные запросы

-- Найти медленные запросы
SELECT 
    query,
    avg(elapsed) AS avg_elapsed,
    count() AS executions
FROM system.query_log
WHERE event_date = today()
GROUP BY query
HAVING avg_elapsed > 1.0
ORDER BY avg_elapsed DESC;

-- Анализ плана выполнения
EXPLAIN PIPELINE 
SELECT ...;

-- Проверка использования индексов
EXPLAIN indexes = 1 
SELECT ...;

Проблемы с памятью

-- Запросы с большим потреблением памяти
SELECT 
    query,
    max(memory_usage) AS max_memory,
    event_time
FROM system.query_log
WHERE event_date = today()
  AND memory_usage > 1000000000
ORDER BY max_memory DESC;

-- Лимиты памяти
SELECT 
    name,
    value
FROM system.settings
WHERE name LIKE '%memory%';

Проблемы с репликацией

-- Проверка статуса реплик
SELECT 
    database,
    table,
    is_readonly,
    is_session_expired,
    absolute_delay,
    last_queue_update_exception
FROM system.replicas;

-- Ошибки в очереди репликации
SELECT 
    database,
    table,
    position,
    type,
    create_time,
    latest_fail_reason
FROM system.replication_queue
WHERE latest_fail_reason != '';

Резюме

system.query_log — логи выполненных запросов
system.processes — текущие активные запросы
system.metrics — метрики сервера
system.parts — части таблиц и их статус
system.replicas — статус репликации
system.merges — активные слияния и мутации
ProfileEvents — детальные события выполнения
Prometheus — экспорт метрик для мониторинга
Grafana — визуализация метрик

Что дальше

Изучим безопасность: пользователи, роли, права доступа, квоты, SSL/TLS.

Проверьте свои знания

Вопросы ещё не добавлены

Вопросы для этой подтемы ещё не добавлены.

Метрика

Описание

Query

Количество выполненных запросов

Merge

Количество слияний частей

HTTPConnection

Активные HTTP подключения

TCPConnection

Активные TCP подключения

MemoryTracking

Используемая память