Pandas vs Polars vs Dask, grafic în direct

Am vrut o pagină care să arate de fapt diferența dintre pandas, Polars și Dask în loc să vă spun că Polars este „rapid”. Cele trei diagrame de mai sus sunt Chart.js, care rulează pe partea clientului, pe un set de date fix pe care l-am ales manual – nu un șablon de stoc cu numere de substituent. Statisticile ecosistemului ca un grafic cu bule. Un punct de referință ca diagramă cu bule scriptabile, în care culoarea este calculată din valoare în loc să fie fixată într-o bibliotecă. O curbă de adopție care se trage progresiv, de la stânga la dreapta, în același mod în care creșterea reală s-a desfășurat de la an la an.

Trei biblioteci, o sarcină – date tabulare în Python – și trei compromisuri foarte diferite între debit, memorie și cât de mult din codul pandas existent supraviețuiește comutării. Cifrele de mai jos sunt rotunjite, datate septembrie 2026, iar benchmark-ul este mai degrabă ilustrativ decât o serie pe care am reprodus-o exact pe această pagină. Prefer să repet asta o dată de prea multe ori decât să las o diagramă să implice mai multă precizie decât are.

1. De ce doar trei biblioteci împart bulele

Diagramele cu bule și împrăștiere sunt singura formă de diagramă în care fiecare semn poate ajunge chiar lângă fiecare alt semn, așa că o paletă de culori categorică trebuie să supraviețuiască fiecărei perechi posibile, nu doar vecinilor dintr-o legendă. Verificați toate perechile cu setul meu obișnuit de opt nuanțe și numai primele trei culori îl șterg, atât în ​​modul deschis, cât și în cel întunecat, pentru un cititor daltonist. Aceasta nu este o opinie de design – este motivul real pentru care diagrama ecosistemului de mai sus compară exact pandas, Polars și Dask în loc de cinci biblioteci în cinci culori noroioase. PySpark și Modin primesc un paragraf în partea de jos a acestei pagini în loc de un balon.

pandas câștigă în continuare la descărcări cu un ordin de mărime, care este exact ceea ce v-ați aștepta de la un standard vechi de cincisprezece ani, cu mii de integrări. Cea mai interesantă lectură este cât de aproape s-a apropiat Polars de Dask pe GitHub stele în timp ce rulează cu aproximativ o zecime dintre contribuitori – o echipă mică, concentrată, care rescrie motorul de la zero, în loc să extindă un API existent, poate depăși aparent unul mult mai mare.

2. Culoare scriptabilă, nu culoarea identităţii

Diagrama de performanță rulează un grup și agregat pe un CSV la două dimensiuni – 2 GB, care se potrivește confortabil în memorie și 20 GB, care se află la marginea unui laptop obișnuit. Chart.js vă permite să setați elements.point.radius și backgroundColor ca funcții în loc de valori fixe, ceea ce demonstrează propriul eșantion de opțiuni scriptabile din Chart.js. L-am folosit aici pentru ceva cu semnificație reală: culoarea este calculată direct din timpul de execuție în secunde – rapid, moderat, lent – ​​nu fixat într-o bibliotecă, așa că același verde poate aparține lui Polars la 2 GB sau Dask la 20 GB. Raza bulei provine de la vârful RAM, pe o scară cu rădăcină pătrată, astfel încât zona, nu raza brută, urmărește memoria aproximativ liniar.

La 2 GB, Dask pierde de fapt în fața pandas – construirea unui grafic al sarcinii are o suprasarcină care se plătește numai odată ce există suficientă muncă pentru a se răspândi peste el. La 20 GB imaginea se răstoarnă: pandas cu un singur fir, copierea datelor în memorie, degradează cel mai greu; Polars, rulând pe Rust cu execuție SIMD și streaming, rămâne în banda „moderată”; Dask, împărțirea fișierului în bucăți, păstrează memoria sub control și închide cea mai mare parte a decalajului la Polars la timp.

3. Linii progresive și la ce aș ajunge de fapt

Graficul de creștere urmărește descărcări săptămânale estimate de PyPI din 2019 până în 2026 pentru aceleași trei biblioteci și animă modul în care eșantionul de linie progresivă a lui Chart.js: fiecare punct primește propria întârziere pe baza indexului său, astfel încât linia se trage de la stânga la dreapta în loc să se estompeze. timp. pandas se stabilizează, ceea ce arată un standard matur, vechi de cincisprezece ani, nu o bibliotecă care pierde teren. Polars, lansat în 2020, arată curba de pornire târzie a manualului: abia vizibilă la început, apoi o îndoire bruscă odată ce oamenii din afara bulei pasionaților de Rust au început să scrie despre viteză.

Deci, la ce aș ajunge de fapt? pandas când ecosistemul și memoria musculară a echipei contează mai mult decât secundele brute. Polars pentru o nouă conductă pe o singură mașină puternică, unde memoria și procesorul costă bani reali. Dask când datele nu se mai potrivesc pe o singură mașină și preferați să păstrați codul în formă de pandas decât să-l rescrieți în PySpark. PySpark și Modin stau cu un pas mai departe – PySpark odată ce vă aflați ferm pe teritoriul clusterului sau Spark vă gestionează deja infrastructura, Modin când obiectivul sincer este o accelerare paralelă cu o schimbare de import pe o singură linie și zero apetit pentru o rescrie.

• pandas – date de până la câțiva GB, ecosistem maxim, o echipă care știe deja API frig.
• Polars – o singură mașină puternică, o conductă nouă, fără cod moștenit de trasat, memorie și procesor care costă de fapt bani.
• Dask – date care nu mai încap pe o singură mașină, un API în formă de pandas la care nu vrei să renunți, un cluster care există sau urmează.
• PySpark sau Modin – un pas mai departe: PySpark odată ce vă aflați direct în teritoriul clusterului, Modin pentru o schimbare de import pe o linie atunci când o rescrire este în afara tabelului.

Despre numere

GitHub stele și PyPI descărcări săptămânale sunt estimări rotunjite din septembrie 2026, provenite din trackere publice precum pepy.tech și din depozitul propriu al fiecărui proiect. Numerele de referință reproduc mai degrabă forma obișnuită a comparațiilor publice de grup, decât o rulare pe care am executat-o ​​pentru această pagină exactă - secundele reale depind de hardware, versiuni și forma datelor dvs. Toate cele trei diagrame sunt construite pe Chart.js: o diagramă cu bule, o diagramă cu bule scriptabile și o animație cu linie progresivă, aceleași trei modele eșantion pe care Chart.js este livrat în propriile documente.