Инжиниринг Данных

Если вы не знали, то Индия это не про дешевый outsource, а world class tech talent! Databricks дает добро. Возможно будут увольнения в North America/Europe перед IPO, чтобы заменит на недорогой world class tech talent. Про глобализацию tech компаний и их планы по открытию офисов в индии мы уже знакомы.

Чуваки классно сделали маркетинг. Теперь их любят упоминать рядом с новостями про увольнения.

Вот кратко про компанию Artisan (США): Что делает: Artisan разрабатывает платформу автоматизации исходящего B2B-продаж с помощью ИИ-сотрудников (они называют их “Artisans”). Платформа позволяет создавать целевые кампании, находить потенциальных клиентов, собирать сигналы намерения (intent data), автоматически запускать серии сообщений по e-mail и LinkedIn, отслеживать посетителей сайта. Цель — убрать рутинные задачи (исследование, отправка, напоминания) и освободить людей для «большой работы».

Эти билборды с надписью «Прекратите нанимать людей» — настоящие. Они размещены в Нью-Йорке, Сан-Франциско и многих других городах. Дистопичная «AI-революция» правящего класса уже здесь, и их цель — заменить людей искусственным интеллектом, роботами и сочетанием более дешёвой офшорной рабочей силы с ИИ и автоматизацией. Ниже приведён лишь небольшой список недавних увольнений, где в качестве причины упоминались ИИ и сокращение затрат: UPS — 48 000 Amazon — 30 000 Intel — 24 000 Nestle — 16 000 Accenture — 11 000 Ford — 11 000 Novo Nordisk — 9 000 Microsoft — 7 000 PwC — 5 600 Salesforce — 4 000 Paramount — 2 000 Target — 1 800 Kroger — 1 000 Applied Materials — 1 444 Meta — 600 Что можно сделать? Во-первых, тебе нужно научиться упаковывать свои навыки так, чтобы работодатели понимали твою ценность. Нужно научиться быть убедительным и приятным в общении. Это может показаться неприятным или даже вызвать отвращение, но альтернатива — это подработка (Uber, DoorDash) и жалобы с надеждой, что власти когда-нибудь вмешаются и введут регулирование. Даже если это случится — на это уйдут годы. Всё развивается слишком быстро. Нужно научиться либо продавать продукт или услугу компании, либо продавать самого себя лучше. Во-вторых, нужно включаться в действия на местном уровне — в городе, округе, штате — чтобы остановить офшоринг. Искусственный интеллект пока не способен заменить большинство офисных специалистов. Сейчас используется смешанная схема: ИИ + дешёвая зарубежная рабочая сила (в 5–8 раз дешевле). Оставаться в стороне нельзя. Офшоринг должен быть жёстко регулируем и обложен налогами. В-третьих, нужно поддерживать малый бизнес, который конкурирует с корпорациями, заменяющими людей. Здесь есть две категории: — компании до 150 сотрудников; — компании до 50 сотрудников. Обе категории должны быть освобождены от избыточных регуляций и налогов на зарплату, чтобы могли нанимать местных работников и конкурировать с гигантами, выводящими рабочие места за границу. Все бизнесы должны быть максимально стимулированы нанимать локально — включая крупные налоговые льготы за каждого сотрудника на полной ставке, нанятого в стране. Другого пути нет. Корпорации всегда будут стремиться максимизировать прибыль — нравится это или нет. Сейчас они используют лазейку офшоринга и ИИ, чтобы массово увольнять офисных работников. Зачем крупной компании нанимать постоянного сотрудника со всеми налогами и регуляциями, если можно через офшорное агентство нанять десятерых по той же цене и без бюрократии? То, что сейчас происходит с «переизбыточно квалифицированными» белыми воротничками, сопоставимо с разрушением производственного класса в 1998–2010 годах, только намного быстрее. И хотя тренд только набирает силу и продлится ещё несколько лет, остановить его можно только сейчас. Сначала найди работу — пока это возможно. Потом начинай действовать локально. Неважно насколько хорошо или плохо AI работает, но реально факт, что из-за него будут увольнять людей. Все подхватили волну повышения эффективности и прибыли и самое простое решение этого добиться - через увольнения. Даже если по факту это принесет больше вреда 🔥

avito.tech.conf, первая конфа от AvitoTech для менеджеров и лидов — как это было? ☄️ Проверьте сами! Смотрите видео выше и обязательно переходите на плейлист с записями докладов: 📺 Youtube 🔵 VK Видео Почему важно послушать доклады, если не успели подключиться онлайн или прийти офлайн? Во время конференции участники успели обсудить огромный спектр важных в индустрии тем: от внедрения в разработку и управления AI и LLM до барьеров, которые мешают инженерам вырасти в менеджера. И, на секундочку, ивент от ребят собрал 1000+ лидов, менеджеров и C-level. А в онлайне к трансляции подключилось 10 000+ человек. Можете поздравить коллег и открывайте плейлист 💻

МТС True Tech Champ — зрелищный шоу-чемпионат с ИИ-спецэффектами! 21 ноября МТС объединяет ИТ-конференцию и ИТ-чемпионат на одной площадке. Тебя ждет настоящий фестиваль технологий. Более 250 ИТ-талантов со всей России сразятся в лайв-кодинге и программировании роботов на скоростное прохождение лабиринтов со спецэффектами. Между наблюдением за заездами и поединками ты сможешь: ▫️ послушать конференцию с международными спикерами в области ИИ; ▫️ поучаствовать в воркшопах и юмористических батлах в ИТ-качалке; ▫️ испытать себя в кодерских челленджах и других айтивностях; ▫️ перезагрузить карьеру в HR-Хабе вместе с командой МТС. День завершится ярким афтепати со звездными хедлайнерами. 👉🏻 Участие бесплатно, количество мест ограничено. Успей зарегистрироваться

Онлайн Analytics Open Source conference https://osacon.io/about/ 4-5 Ноября. А еще будет PyData в Сиэтле 7-9 ноября офлайн https://pydata.org/seattle2025, хочу на нее попасть и отдохнуть от работу поковырять AI на их воркшопах.

Я подписан на вакансии от GetMatch уже довольно давно. Интересно следить за рынком. Самую большую зарплату я видел на дата инженера в Сбербанк за 750т в в месяц. Второе место получает Алиса и 680т в год. Кстати вчера с коллегами из Америки обсуждали вопрос про DW и DWH - как правильно? Я узнал у ChatGPT, оказывается: Используй DW, когда пишешь на английском или готовишь официальную документацию, особенно если аудитория — международная. Используй DWH, если работаешь в команде или регионе (например, в России, Восточной Европе или Германии), где принято именно такое обозначение. Так что если работает за границей, ударьте лицом в грязь, используйте правильную терминологию. PS Сервис GetMatch и их бот просто 🟢. PPS Кто нибудь учился в Сколково MBA? Или какой самый топ MBA в РФ (ради хорошего нетворкинга)

Red Panda дарит вам книгу Fundamentals of Data Engineering

Вернемся к нашим “баранам”. Мы все знаем Apache Kafka. Стандартное решение по стримингу. Redpanda — это event-streaming платформа, аналог Apache Kafka, но с другой архитектурой (C++ вместо Java, без ZooKeeper, без JVM). Продукт хочет заменить Kafka, обеспечив совместимость с Kafka API и клиентами, но при этом дать в 5–10 раз меньше latency и в разы проще эксплуатацию. Я использовал Red Panda Community Edition когда мы строили решение для API трейдинга в AlpacaMarkets на GCP и k8s. Red Panda не open-source, она source available. Проблем в эксплуатации не было. Но и объемы были не очень большие. Компания уже единорог и они решили двигаться в сторону платформу, поэтому купили Oxla - Redpanda acquires Oxla, a distributed SQL Engine, launches new Agentic Data Plane for governing AI Agents for enterprise data. То есть теперь у них будет свой SQL движок и они могут уже давать Stream/Batch на входе и трансформацию данных. (data in motion and at rest) Red Panda Docker Image.

Вчера закончил слушать книгу “Homo Deus (Человек Божественный) - Краткая история будущего”, автора Юваля Ноя Харари. Книга была издана 2015-2016 года и многое о чем говорит автор, как будто уже происходит сейчас. Особенно посли новостей про mass layoffs. В книге автор рассмотрел возможные направления человечества когда голод, болезни и войны уже не главная проблема человечества. Один из тезисов был про датаизм (dataism), то есть данные становятся центром мира. Алгоритмы и ИИ могут лучше, чем человек, принимать решения. Автор пишет, что будущее будет принадлежать системам, которые умеют обрабатывать и использовать информацию, а не людям с «душой» или «сознанием». И еще была интересная теория про развитие неравенства между элитами и “остальными”. Немного summary от бездушной машины: ⚙️ От социального неравенства — к биологическому кастовому обществу Если в XX веке разделение шло по уровню доходов или образованию, то в XXI оно может стать непреодолимым: бедные просто не смогут конкурировать с «улучшенными» в скорости мышления, памяти, выносливости; даже рынок труда изменится — «обычные» люди будут ненужны, заменены ИИ и роботами. 🧠 Новая элита управляет не только экономикой, но и алгоритмами Харари отмечает, что в будущем власть будет у тех, кто контролирует данные и алгоритмы. Это не просто богатые — это владельцы информации (Google, Amazon, Meta, правительства). Они смогут предсказывать и управлять поведением масс, формируя желания и решения людей. ⚖️ Главная опасность — "бесполезный класс" Он вводит понятие "useless class" — людей, которых не нужно ни экономике, ни армии, ни политике. Они не смогут найти работу, потому что ИИ будет эффективнее. Их участие в обществе будет сведено к потреблению и цифровым развлечениям.

«Проблема будущего — не эксплуатация, а бесполезность миллионов людей.»

Амазон сократил 30т человек, среди них много инженеров и менеджеров. При этом финансовые показатели очень хорошие. Цитаты с reddit:

Amazon treats workers like shit. It doesn't matter if you're a highly educated developer or just a delivery driver. You're basically just a sacrificable pawn.

Amazon относится к сотрудникам как к мусору. Неважно, ты высококвалифицированный разработчик или просто курьер — ты всего лишь пешка, которой можно пожертвовать.

I would happily be sacrificed if it means more share holder value generated. If billionaires get richer then it will eventually trickle down to me. Ronald Reagan said so and he was the POTUS and no POTUS has ever lied before

Я с радостью пожертвую собой, если это увеличит доходы акционеров. Если миллиардеры станут богаче — в итоге что-то «перепадёт» и мне. Так сказал Рональд Рейган, а он был президентом США, и ведь ни один президент США никогда не врал. (сарказм)

Layoffs will continue until morale improves. Thank you for your attention on the matter.

Сокращения будут продолжаться, пока моральный дух не повысится. Спасибо за внимание к этому вопросу. (саркастическая фраза, игра слов)

compensate for overhiring during the peak demand of the pandemic My dudes it is Q4 2025. How much longer is this excuse going to hold water?

«Компенсируем избыточный найм во время пика пандемии». Ребята, уже четвёртый квартал 2025 года. Как долго ещё это оправдание будет звучать убедительно?

This period of economic history will be explained as the moment when companies profitability became completely detached from employees job security. You have companies making record profits and yet laying off employees without thinking twice. Profitable and growing companies used to share their fortune with their workforce, it has now dramatically changed.

Этот период экономической истории будут описывать как момент, когда прибыль компаний окончательно отделилась от стабильности рабочих мест. Компании получают рекордные прибыли, но всё равно без колебаний увольняют сотрудников. Раньше успешные и растущие компании делились своим успехом с работниками — теперь всё кардинально изменилось. В наше время вообще нельзя просто спокойно работать, все время нужно ходить по собеседованиям, качать скилы, создавать side business, делать нетворкинг, посещать конференции и вести свой блог. Но не факт, что это поможет

Регистрация на Yandex Cup 2025 закроется 29 октября Восьмой международный чемпионат по программированию с призовым фондом 12 млн рублей пройдет в Стамбуле. Попробовать свои силы в чемпионате смогут опытные программисты со всего мира и юниоры из России. Для участников доступно 6 направлений: аналитика, фронтенд, бэкенд, мобильная разработка, машинное обучение и спортивное программирование. Последние два международные, их можно будет проходить на русском и английском языках. До 29 октября открыта регистрация и пробный тур, где можно познакомиться с платформой и решить задачи прошлых лет. 2 ноября состоится квалификация по большинству направлений, а квал по машинному обучению продлится до 5 ноября. Очный финал состоится в Стамбуле. Его концепция будет вдохновлена объединением традиций турецкого крафта и IT: участники смогут почувствовать себя мастерами кода. Торопитесь : зарегистрироваться на чемпионат можно на сайте.

Два мужичка обсуждаю, что они создали успешные компании и работали в среднем 50 часов в неделю. Никаких вам 996. С другой стороны работа должна приносить удовольствие. Если вам по кайфу 12-14 часов в день работать, и вас прёт, то почему бы и нет. Хотя такой режим вас убивает в прямом и переносном смысле. А можно работать 4-6 часов в день, а остальное время тратить на обучение, развитие, спорт и любимые занятия. Правда вас вряд ли возьмут в YC или другой инкубатор, и вряд ли вам дадут seed раунд. У кого какой режим?

Хвалят курс CS336: Language Modeling from Scratch от Стенфорда. Модельные языки (language models) — это основа современных приложений обработки естественного языка (NLP) и открывают новую парадигму, в которой одна универсальная система может решать широкий спектр задач. По мере развития искусственного интеллекта (AI), машинного обучения (ML) и NLP, глубокое понимание языковых моделей становится необходимым для учёных и инженеров. Этот курс предназначен для того, чтобы дать студентам всестороннее понимание языковых моделей, проведя их через весь процесс разработки собственной модели. По аналогии с курсами по операционным системам, где студенты создают ОС с нуля, в этом курсе обучающиеся шаг за шагом изучат все этапы создания языковой модели — от сбора и очистки данных для предобучения до построения трансформер-модели, обучения, оценки и подготовки к развёртыванию.

AIJ Deep Dive: специальный очный трек для AI-профи в рамках международной конференции AI Journey! Среда для профессионального роста, общение с экспертами мировой AI-индустрии и другими AI-профи — всё это ждёт вас на треке AIJ Deep Dive. В программе — только главные аспекты работы с AI: Это событие точно нельзя пропустить 1️⃣19 ноября — день Науки: проведём глубокий анализ IT-решений, прорывных научных исследований, R&D-разработок и передовых методик. 2️⃣ 20 ноября — день Бизнеса: разберём успешные кейсы внедрения, оценим эффективность и практические результаты. На треке вас ждут выступления ведущих экспертов в AI, постер-сессия, специальные форматы для нетворкинга и выставка R’n’D решений. Это уникальная возможность обсудить сложные вопросы с теми, кто действительно понимает ваши вызовы. Где? Офис Сбера, Кутузовский проспект, д. 32, к. 1 (Е) Когда? 19–20 ноября 2025 года По ссылке — форма регистрации на очное участие. Присоединяйтесь к профессиональному AI-сообществу!