About the technology
Programming techniques that work well on laptop-sized data can slow to a crawl—or fail altogether—when applied to massive files or distributed datasets. By mastering the powerful map and reduce paradigm, along with the Python-based tools that support it, you can write data-centric applications that scale efficiently without requiring codebase rewrites as your requirements change.
About the book
Mastering Large Datasets with Python teaches you to write code that can handle datasets of any size. You’ll start with laptop-sized datasets that teach you to parallelize data analysis by breaking large tasks into smaller ones that can run simultaneously. You’ll then scale those same programs to industrial-sized datasets on a cluster of cloud servers. With the map and reduce paradigm firmly in place, you’ll explore tools like Hadoop and PySpark to efficiently process massive distributed datasets, speed up decision-making with machine learning, and simplify your data storage with AWS S3.
What’s inside
• An introduction to the map and reduce paradigm
• Parallelization with the multiprocessing module and pathos framework
• Hadoop and Spark for distributed computing
• Running AWS jobs to process large datasets
About the reader
For Python programmers who need to work faster with more data.
About the author
J. T. Wolohan is a lead data scientist at Booz Allen Hamilton, and a PhD researcher at Indiana University, Bloomington.
ترجمه فارسی (ترجمه ماشینی)
راه حل های علوم داده مدرن باید تمیز، آسان برای خواندن و مقیاس پذیر باشند. در تسلط بر مجموعه داده های بزرگ با پایتون، نویسنده J.T. Wolohan به شما می آموزد که چگونه یک پروژه کوچک را انجام دهید و آن را با استفاده از یک رویکرد تحت تأثیر عملکردی برای کدنویسی پایتون، مقیاس بندی کنید. شما روشها و ابزارهای داخلی پایتون را که به وضوح و مقیاسپذیری کمک میکنند، مانند روش موازیسازی با عملکرد بالا، و همچنین فناوریهای توزیعشدهای که امکان خروجی داده بالا را فراهم میکنند، کاوش خواهید کرد. تمرینهای عملی فراوان در این آموزش عملی، این مهارتهای ضروری را برای هر پروژه علمی داده در مقیاس بزرگ قفل میکند.
درباره فناوری
تکنیکهای برنامهنویسی که به خوبی روی دادههای اندازه لپتاپ کار میکنند، زمانی که روی فایلهای عظیم یا مجموعههای داده توزیعشده اعمال میشوند، میتوانند تا حد خزیدن کند شوند – یا به طور کلی شکست بخورند. با تسلط بر نقشه قدرتمند و پارادایم کاهش، همراه با ابزارهای مبتنی بر پایتون که از آن پشتیبانی میکنند، میتوانید برنامههای مبتنی بر داده را بنویسید که با تغییر نیازمندیهای شما، بدون نیاز به بازنویسی پایگاه کد، مقیاس کارآمدی داشته باشند.
درباره کتاب
تسلط بر مجموعه داده های بزرگ با پایتون به شما می آموزد که کدی بنویسید که بتواند مجموعه داده ها را با هر اندازه ای مدیریت کند. شما با مجموعه داده هایی در اندازه لپ تاپ شروع می کنید که به شما می آموزند تجزیه و تحلیل داده ها را با تقسیم کارهای بزرگ به کارهای کوچکتر که می توانند همزمان اجرا شوند، موازی سازی کنید. سپس همان برنامهها را به مجموعه دادههایی با اندازه صنعتی در خوشهای از سرورهای ابری مقیاس میدهید. با نصب نقشه و کاهش پارادایم، ابزارهایی مانند Hadoop و PySpark را برای پردازش کارآمد مجموعه داده های توزیع شده گسترده، سرعت بخشیدن به تصمیم گیری با یادگیری ماشینی و ساده سازی ذخیره سازی داده های خود با AWS S3 کاوش خواهید کرد.
آنچه در داخل است
• مقدمه ای بر نقشه و کاهش پارادایم
• موازی سازی با ماژول چند پردازشی و چارچوب پاتوس
• Hadoop و Spark برای محاسبات توزیع شده
• اجرای کارهای AWS برای پردازش مجموعه داده های بزرگ
درباره خواننده
برای برنامه نویسان پایتون که باید سریعتر با داده های بیشتری کار کنند.
درباره نویسنده
J. T. Wolohan دانشمند ارشد داده در Booz Allen Hamilton و محقق دکترا در دانشگاه ایندیانا، Bloomington است.
نقد و بررسیها
هنوز بررسیای ثبت نشده است.