АСНА, Сеть аптек
Москва
Ботанический сад
Удаленная работа, От 1 года до 3 лет, Полная занятость, Стандарт

Ключевые навыки

Python
Linux
Java
SCALA
Bash

- **Вакансия**: Data Engineer
- Ищем дата-инженеров для расширения команды DataLake. Текущая наша команда: тимлид и 3 дата-инженера с богатым прошлым в software engineering, DS, DevOps и SRE. Основа нашего подхода - писать так, чтобы был zero-maintenance и максимальная автоматизация.
- **Что мы делаем**
- строим Data Lake как платформу для работы с данными self-service в любом подразделении бизнеса
- переосмысливаем работу с данными и продвигаем современные инструменты для аналитиков
- доводим модели до production-ready
- **Обязанности**
- Писать код на python/golang/rust
- Разрабатывать stream-processing.
- Выводить модели аналитиков в продакшн
- Создавать CI/CD процессы
- Решать ETL задачи
- Настраивать Hadoop, Apache Airflow, NiFi
- Исследовать и интегрировать новые источники данных в DataLake
- **Требования**
- Уверенное владение Python. Плюсом будет знание Java/Scala/Golang/Rust
- Linux/bash
- Понимание форматов хранения данных
- Понимание основ SRE, health checks, SLA
- Понимание построения инфраструктуры (AWS/GCE). Плюсом будет знание provisioners (ansible/terraform)
- **Наш стэк**
- NiFi, Hadoop, Airflow
- Kafka, gRPC
- Scipy/Numpy/Pandas/Spark
- MinIO
- Kubernetes