Как одна из самых мощных сред программирования с открытым исходным кодом, Hadoop - важный инструмент для всех, кто надеется найти работу по работе с большими данными. Если вы хотите освежить свои навыки работы с Hadoop или научиться этому совершенствоваться, лучший вариант - пройти онлайн-курс. Если вам это недоступно, просмотрите бесплатные онлайн-руководства и используйте справочные материалы для устранения конкретных проблем. Когда вы освоите основы, потренируйтесь на небольших наборах реальных данных, чтобы улучшить свои навыки.
Шаги
Метод 1 из 2: посещение курсов и использование учебных пособий
Шаг 1. Зарегистрируйтесь в Cloudera, чтобы пройти курс из 6 частей и интерактивные обучающие программы
Cloudera дает вам реальные примеры для практики в среде только для чтения, поэтому вам не нужно беспокоиться о серьезных ошибках. Они также предлагают аналитические инструменты, которые помогут вам экспериментировать с запросами данных, а также бесплатную живую демонстрацию под названием Cloudera Live, которая поможет вам изучить среду Hadoop.
Хотя полный углубленный курс с сертификацией обойдется вам в 295 долларов, он определенно того стоит, если вы используете эти навыки в своей работе. Курс Cloudera поможет вам выявить ошибки и сэкономить время, а значит, он быстро окупится
Шаг 2. Попробуйте бесплатные онлайн-курсы через Cloudera, если вы уже знаете основы
Если у вас есть опыт работы с Hadoop и вы просто хотите освежиться, возможно, вам не придется тратить деньги на курс из 6 частей. Вместо этого посетите бесплатные онлайн-курсы на веб-сайте Cloudera University.
Существуют ресурсы для администраторов, разработчиков и аналитиков данных, поэтому независимо от вашей роли вы сможете найти подходящий курс
Шаг 3. Пройдите университетский курс на Coursera, если хотите больше теории
Coursera - известный и уважаемый источник курсов программирования. Хотя инструкции, как правило, носят более теоретический характер и не включают так много рабочих примеров, вы можете практиковаться вместе с учебником и использовать проекты курса для получения практического опыта.
- Вы можете найти этот курс в Интернете по адресу
- Стоимость варьируется в зависимости от курса, но Coursera также предлагает вариант финансовой помощи тем, кто соответствует требованиям.
Шаг 4. Пройдите бесплатный курс в Университете больших данных, чтобы получить доступный по цене вариант
Если вы не хотите платить за онлайн-курс, вам подойдет Big Data University. У них есть курс из двух частей, который фокусируется сначала на основах Hadoop, а затем на программировании с помощью Hadoop, а онлайн-формат позволяет легко двигаться в своем собственном темпе.
- Вы можете найти эти курсы на
- Они предлагают множество обучающих программ на английском, а также на японском, испанском, португальском и русском языках.
Шаг 5. Поищите пошаговые инструкции на YouTube, если вам нужно бесплатное специальное обучение
Существуют тысячи видеороликов, объясняющих Hadoop и способы его использования. Широкий выбор видео дает вам гибкость, к тому же это бесплатно. Если вы столкнулись с конкретной проблемой, поищите на YouTube видео, которое проведет вас через этот процесс.
Учебные пособия по Hadoop также должно быть довольно легко найти, поскольку «hadoop» - это уникальный поисковый запрос
Шаг 6. Используйте бесплатные руководства Yahoo, если хотите попрактиковаться на виртуальном примере
Эти руководства разбиты на 7 модулей, и в них с самого начала рассказывается, как установить и использовать Hadoop. Это отличный вариант для освежения определенных навыков, если они немного заржавели.
Шаг 7. См. Бесплатные подробные инструкции в документе IBM Open Source
Это невероятно подробный PDF-документ с открытым исходным кодом, созданный в рамках учебной программы IBM. В нем подробно рассказывается о Hadoop, шаг за шагом и даются четкие письменные инструкции.
Эти инструкции также хорошо работают в сочетании с живой демонстрацией, такой как Cloudera
Метод 2 из 2: переход на реальное приложение
Шаг 1. Спросите, можете ли вы реализовать Hadoop на работе, чтобы попрактиковаться в реальных данных
Отправьте запрос своему боссу или руководителю или поговорите с ними один на один о применении этих новых навыков на рабочем месте. Это особенно важно, если ваша компания оплатила обучение или онлайн-курсы.
Чем раньше вы начнете применять полученные навыки, тем скорее вы сможете их освоить
Шаг 2. Ищите простые проекты, над которыми можно попрактиковаться
Выбирайте относительно простые проекты с низким уровнем риска, такие как подсчет и ранжирование количества взаимодействий на одного агента клиента, таких как электронные письма и сеансы чата.
- Некоторые другие приложения для работы с реальными данными включают сканирование веб-журналов на предмет ошибок или мониторинг каналов социальных сетей на предмет настроений бренда.
- Вы также можете попрактиковаться с образцами данных с таких сайтов, как https://www.kaggle.com/datasets или
Шаг 3. Регулярно проверяйте свой код с небольшими подмножествами, чтобы исправлять любые ошибки
Перед запуском всего набора данных возьмите меньший тестовый набор данных на локальный компьютер и запустите его в нескольких различных режимах. Например, вы можете запускать его итеративно через локальный режим Jobrunner, затем псевдораспределенный режим, а затем полностью распределенный режим.
- Это позволит вам распознать любые недостатки или ошибки до того, как они будут отражены в полном наборе данных.
- Локальный режим Jobrunner позволяет вам локально тестировать и отлаживать свой код Map and Reduce, псевдораспределенный режим имитирует производственную среду, а полностью распределенный режим просматривает ваш реальный производственный кластер.
Шаг 4. Воспользуйтесь годовой бесплатной пробной версией, чтобы попрактиковаться в среде виртуальной машины
Такие компании, как Amazon и Microsoft, предлагают платные подписки на свои практические услуги Hadoop. Виртуальная машина Amazon называется Amazon Web Service (AWS), а служба Microsoft - Microsoft Azure. Для обеих услуг ваш первый год бесплатен, если вы введете данные своей кредитной карты.
Не забудьте отменить подписку через год, чтобы избежать списания средств
подсказки
- Имейте в виду, что Hadoop - более специализированный язык программирования для узкого использования. Это, безусловно, даст вам преимущество в мире больших данных, но не всегда нужно становиться программистом.
- Вы также можете прочитать книги и статьи о Hadoop, такие как Hadoop: The Definitive Guide, 3rd Edition, Том Уайт.
