Pandas vs Polars vs Dask v živých grafech

Chtěl jsem jednu stránku, která skutečně ukazuje rozdíl mezi pandas, Polars a Dask, místo toho, abych vám jen řekl, že Polars je „rychlé“. Tři výše uvedené grafy jsou Chart.js, běžící na straně klienta, proti pevné datové sadě, kterou jsem vybral ručně – ne šablona akcií se zástupnými čísly. Ekosystémové statistiky jako bublinový graf. Srovnávací test ve formě skriptovatelného bublinového grafu, kde se barva vypočítává z hodnoty namísto připnutí do knihovny. Křivka přijetí, která se postupně vtahuje zleva doprava, stejným způsobem, jakým se rok od roku odvíjel skutečný růst.

Tři knihovny, jedna úloha – tabulková data v Python – a tři velmi odlišné kompromisy mezi propustností, pamětí a tím, kolik z vašeho stávajícího kódu pandas přežije přechod. Níže uvedená čísla jsou zaokrouhlená, datovaná září 2026 a benchmark je spíše ilustrativní než běh, který jsem přesně reprodukoval na této stránce. Raději bych to opakoval jednou příliš často, než aby graf naznačoval větší přesnost, než má.

1. Proč jen tři knihovny sdílejí bubliny

Bublinové a bodové grafy jsou jedinou formou grafu, kde každá značka může skončit hned vedle každé druhé značky, takže kategorická barevná paleta musí přežít každý možný pár, nejen sousedy v legendě. Spusťte kontrolu všech párů proti mé obvyklé sadě osmi odstínů a pouze první tři barvy ji vyčistí, ve světlém i tmavém režimu, pro barvoslepého čtenáře. To není názor na design – to je skutečný důvod, proč výše uvedený ekosystémový graf porovnává přesně pandas, Polars a Dask namísto pěti knihoven v pěti bahnitých barvách. PySpark a Modin dostanou odstavec v dolní části této stránky místo bubliny.

pandas stále řádově vítězí na stahování, což je přesně to, co byste očekávali od patnáct let starého standardu s tisíci integracemi. Zajímavější čtení je, jak blízko se Polars přiblížilo Dask GitHub hvězdám, zatímco běží na zhruba desetině přispěvatelů – malý, soustředěný tým přepisující motor od nuly namísto rozšiřování stávajícího API může zjevně předběhnout mnohem větší.

2. Skriptovatelná barva, nikoli barva identity

V grafu výkonu běží groupby-and-aggregate na CSV ve dvou velikostech – 2 GB, které se pohodlně vejdou do paměti, a 20 GB, které jsou na okraji typického notebooku. Chart.js umožňuje nastavit elementy.point.radius a backgroundColor jako funkce namísto pevných hodnot, což je přesně to, co demonstruje vlastní ukázka skriptovatelných možností Chart.js. Použil jsem to zde pro něco, co má skutečný význam: barva se počítá přímo z běhu v sekundách – rychlá, střední, pomalá – není připnutá do knihovny, takže stejná zelená může patřit Polars při 2 GB nebo Dask při 20 GB. Poloměr bublin pochází z maximální paměti RAM, na stupnici odmocniny, takže plocha, nikoli hrubý poloměr, sleduje paměť zhruba lineárně.

Při 2 GB Dask ve skutečnosti ztrácí na prostých pandas – vytvoření grafu úkolů má režii, která se vyplatí pouze tehdy, když je dostatek práce na jeho rozložení. Při 20 GB se obraz překlápí: jednovláknový pandas, kopírování dat v paměti, degraduje nejhůře; Polars, běžící na Rustu se SIMD a streamováním, zůstává v „umírněném“ pásmu; Dask, rozdělení souboru na části, udržuje paměť pod kontrolou a včas uzavírá většinu mezery na Polars.

3. Progresivní linky, a po čem bych vlastně sáhla

Růstový graf sleduje odhadované týdenní PyPI stažení od roku 2019 do roku 2026 pro stejné tři knihovny a oživuje způsob, jakým to dělá vzorek progresivní čáry Chart.js: každý bod má své vlastní zpoždění na základě svého indexu, takže se čára kreslí zleva doprava, místo aby se jen prolínala. To je záměrné přijetí v jednom roce, také ne ozvěna předmětu – ozvěna předmětu. pandas se vyrovnává, jak vypadá vyspělý, patnáct let starý standard, nikoli knihovna ztrácí půdu pod nohama. Polars, vydaný v roce 2020, ukazuje učebnicovou křivku pozdního startu: zpočátku sotva viditelnou, pak ostrý ohyb, jakmile lidé mimo bublinu nadšenců pro rezavost začali psát o rychlosti.

Takže, po čem bych vlastně sáhl? pandas kdy na ekosystému a svalové paměti týmu záleží více než syrové sekundy. Polars pro nový pipeline na jednom silném stroji, kde paměť a CPU stojí skutečné peníze. Dask když se data na jeden stroj vůbec přestanou vejít a raději si ponecháte kód ve tvaru pandas, než jej přepíšete v PySparku. PySpark a Modin sedí o krok dále – PySpark, jakmile jste pevně v teritoriu clusteru nebo Spark již provozuje vaši infrastrukturu, Modin, když je čestným cílem paralelní zrychlení s jednořádkovou změnou importu a nulovou chutí na přepisování.

• pandas – data do pár GB, maximální ekosystém, tým, který již zná API chlad.
• Polars – jediný výkonný stroj, nový kanál bez staršího kódu, který by se dal přetahovat, paměť a CPU, které skutečně stojí peníze.
• Dask – data, která se již nevejdou na jeden stroj, pandas tvar API, kterého se nechcete vzdát, shluk, který existuje nebo přichází.
• PySpark nebo Modin – o krok dále: PySpark, jakmile jste přímo v teritoriu clusteru, Modin pro jednořádkovou výměnu importu, když je přepis mimo stůl.

O číslech

GitHub hvězdiček a týdenní PyPI stažení jsou zaokrouhlené odhady k září 2026, pocházejí z veřejných trackerů, jako je pepy.tech, a z vlastního úložiště každého projektu. Čísla benchmarků reprodukují typický tvar veřejných skupinových porovnání spíše než běh, který jsem provedl pro tuto přesnou stránku – skutečné sekundy závisí na hardwaru, verzích a tvaru vašich dat. Všechny tři grafy jsou postaveny na Chart.js: bublinový graf, skriptovatelný bublinový graf a progresivní čárová animace, stejné tři vzorové vzory, které Chart.js dodává ve svých vlastních dokumentech.