Pandas modülü, Python programlama dilinde veri analizi işlemlerinde kullanılan bir kütüphanedir Dataframe ve seri gibi veri yapılarını oluşturma ve yönetme işlemlerini kolaylaştırır Detaylı bilgi için makalemize göz atın!
Translation: Pandas module is a library used for data analysis in Python programming language It facilitates operations such as creating and managing data structures like dataframe and series Check out our article for detailed information
Numpy Modülü, Python dilinin bilimsel hesaplama, veri analizi ve matematiksel işlemler için önde gelen bir modülüdür. Numpy kullanarak, Python dilindeki standart veri tiplerinde bulunmayan hızlı ve performanslı bir dizi veri tipi kullanabilirsiniz. Numpy modülü ile birlikte, matematiksel fonksiyonların yanı sıra, doğrusal cebir, Fourier analizi ve rastgele sayı işlemleri gibi birçok hızlı işlem de kullanılabilir.
Numpy, bir dizi veri işlemi için çok kullanışlıdır. Bu modül, ana veri tipleri olan Listelerden veya Python Dizilerinden daha hızlı ve performanslı olduğu için, büyük ve karmaşık veri setlerinin işlenmesi için idealdir. Numpy ile yapılabilecek işlemler arasında; vektörel işlemler, matris çarpımı, transpozisyon, toplama, çıkarma, çarpma, bölme, karekök alma ve türev alma gibi matematiksel işlemler yer alır.
| Numpy Modülü ile Kullanılabilecek Veri Tipleri | Özellikler |
|---|---|
| ndarray | Içerisinde homojen verilerin depolanabilmesine olanak sağlayan bir çok boyutlu dizidir. |
| matrix | Iki boyutlu homojen verilerin depolanabilmesine olanak sağlayan bir dizi türüdür. Matrislerde matematiksel işlem yapmak için kullanılır. |
| recarray | Içerisinde farklı veri tiplerinin depolanması için kullanılır. |
- Numpy Modülü kullanarak matematiksel işlemler çok daha hızlı bir şekilde yapılabilir.
- Verilerin geniş bir yelpazesi için çok boyutlu diziler kullanılabilir.
- Numpy Modülü, farklı veritabanlarından verilerle çalışabilen özelleştirilmiş veri tipleri sağlar.
- Birçok Python Modülü Numpy'da özellikle dizi veri tipleri kullanır.
Pandas modülü, Python programlama dilinde kullanılan bir veri işleme aracıdır. Pandas modülüyle, verilerin yüklenmesi, temizlenmesi, işlenmesi ve analiz edilmesi işlemleri kolaylıkla gerçekleştirilebilir.
Bu modül, özellikle DataFrame adı verilen veri yapıları üzerine odaklanmıştır. DataFrame, tablo benzeri bir yapıdadır ve içerisinde farklı veri tipleri ve etiketlenmiş aksisler bulunmaktadır. Bu yapıya sahip olması, verilerin sıralanması, filtrelenmesi, hesaplanması ve gruplanması işlemlerinin daha kolay gerçekleştirilmesine olanak sağlar. Ayrıca Pandas modülü, verilerin grafik olarak gösterilmesi işlemlerinde de kullanılabilir.
Pandas modülü ile oluşturulan DataFrame'ler, veri analizi işlemlerini kolaylaştırır. Bu işlemler arasında verilerin gruplanması, birleştirilmesi, özetlenmesi ve dönüştürülmesi işlemleri yer almaktadır. Pandas modülü, ayrıca veri eksikliği ve tekrar eden verilerin temizlenmesi işlemlerinde de kullanışlıdır.
Bunların yanı sıra, Pandas modülü verilerin kaydedilmesi ve yüklenmesi işlemlerinde de kullanılabilmektedir. Veriler, CSV, Excel, SQL ve diğer birçok veri formatında kaydedilebilir ve yüklenebilir.
Özetle Pandas modülü, data analizi için oldukça kullanışlı bir araçtır ve özellikle oluşturulmuş DataFrame veri yapısı sayesinde verilerin hızlı, kolay ve doğru bir şekilde işlenmesine olanak sağlar.
DataFrame Oluşturma
Python programlama dilinde, Pandas modülü kullanarak DataFrames oluşturmak oldukça kolaydır. DataFrame, Pandas modülünde kullanılan en önemli veri yapısıdır ve birkaç farklı yöntemle oluşturulabilir. DataFrame oluşturmanın en yaygın yöntemi, bir sözlük kullanarak oluşturmaktır.
Örneğin, birçok hava durumu uygulaması gibi bir veri kümesi oluşturmak istediğinizi düşünün. Pandas modülü, hava durumu verilerini DataFrame olarak saklamak için oldukça kullanışlıdır. DataFrame, hava durumu verilerinin çeşitli özelliklerini (örneğin, sıcaklık, nem, rüzgar hızı vb.) içerebilir.
| Şehir | Sıcaklık | Nem | Rüzgar Hızı |
|---|---|---|---|
| İstanbul | 25 | 70% | 20 |
| Ankara | 30 | 60% | 15 |
Bu örnekte, birinci sütun "Şehir", ikinci sütun "Sıcaklık", üçüncü sütun "Nem" ve dördüncü sütun "Rüzgar Hızı" olarak adlandırılır. Bir DataFrame oluşturmak için, önce bir sözlük oluşturmanız gerekir. Sözlük, sütun adlarını ve sütunlara ait verileri içerecektir.
Örnek olarak:
- df = pd.DataFrame({'Şehir': ['İstanbul', 'Ankara'], 'Sıcaklık': [25, 30], 'Nem': ['70%', '60%'], 'Rüzgar Hızı': [20, 15]})
Yukarıdaki kod, "Şehir", "Sıcaklık", "Nem" ve "Rüzgar Hızı" sütunlarını içeren bir DataFrame oluşturur. Sütunlara ait veriler, köşeli parantezler içine yerleştirilir. Örneğin, "Şehir" sütununa ait veriler "['İstanbul', 'Ankara']" olarak tanımlanır.
Bu, Pandas modülü ile DataFrame oluşturmanın en basit yöntemlerinden sadece bir tanesidir. Ayrıca, CSV veya Excel dosyaları gibi diğer veri kaynaklarından da DataFrame oluşturabilirsiniz. Bu, büyük veri kümeleri için oldukça kullanışlıdır ve veri analizinde büyük bir rol oynar.
Veri Temizleme
Pandas modülü ile oluşturulan DataFrame'ler içerisinde eksik veriler veya tekrarlanan veriler olabilir. Bu durumda, veri analizi işlemleri doğru sonuçlar vermez ve yanıltıcı olabilir. Bu sebeple, veri temizleme işlemi oldukça önemlidir.
Eksik verilerin temizlenmesi için, DataFrame içerisindeki NaN (Not a Number) değerleri doldurmak veya silebilmek mümkündür. Pandas modülü ile NaN değerleri fillna() fonksiyonu ile doldurabilir ve dropna() fonksiyonu ile de DataFrame'den silebilirsiniz.
Aynı zamanda, tekrarlanan verilerin de temizlenmesi gerekmektedir. Bu işlemde, DataFrame içerisindeki duplicated() fonksiyonu yardımcı olmaktadır. Bu fonksiyon, DataFrame içerisindeki tekrarlanan verileri belirler ve drop_duplicates() fonksiyonu ile bu verilerin silinmesi sağlanabilir.
Veri temizleme işlemleri, verilerin analizinde doğru sonuçlara ulaşmak için oldukça önemlidir. Oluşturulan DataFrame içerisindeki eksik veya tekrarlanan verilerin temizlenmesi gerekmektedir. Pandas modülü ile NaN değerlerinin doldurulması veya silinmesi işlemleri kolaylıkla yapılabilmektedir. Aynı zamanda, tekrarlanan verilerin belirlenmesi ve silinmesi de duplicated() ve drop_duplicates() fonksiyonları ile gerçekleştirilebilir.
Veri Analizi ve İşlemleri
Veri analizi ve işlemleri, günümüz veri bilimi çalışmalarının önemli bir kısmını oluşturuyor. Pandas modülü de veri analizi işlemlerinde sıklıkla kullanılan bir araçtır. Pandas modülü ile veri tiplerinin dönüşümü, veri temizleme, özetleme istatistikleri, gruplama, birleştirme ve veri dönüştürme işlemleri kolayca yapılabiliyor.
Pandas modülü ile özetleme istatistikleri, veri setinde yer alan sayısal özellikleri tanımlamak için kullanılır. Bu istatistikler arasında ortalama (mean), medyan (median), mod (mode), standart sapma (std), minimum (min) ve maksimum (max) gibi bazı özellikler vardır. Bu özellikler veri setinde yer alan sayısal verilerin merkezi eğilimi, verilerin varyansı ve yayılımı hakkında bilgi verir.
Gruplama işlemi Pandas modülünün en önemli özelliklerinden biridir. Gruplama, benzer niteliklere sahip verileri bir araya getirerek analiz etmek için kullanılır. Veriler çeşitli kategorilere ayrılarak benzer niteliklere sahip olan veriler bir araya toplanır. Gruplama işlemi, sayısal verilerin kategorilere ayrılması, filtrelenmesi ve sınıflandırılmasına olanak sağlar.
Birleştirme işlemi ise farklı veri setlerinin birleştirilmesi ve tek veri seti haline getirilmesini ifade eder. Bu işlem, iki veya daha fazla veri setinin aynı veya farklı kolonlarına göre birleştirilmesi ile yapılabilir. Bu işlem Pandas modülü ile kolayca yapılabilir.
Veri dönüştürme işlemi, farklı veri tipleri arasında dönüşüm yapmak için kullanılır. Pandas modülü ile veriler arasında dönüşüm işlemleri kolayca yapılabiliyor. Örneğin, veri setinde yer alan tarih bilgileri Pandas modülü ile tarih tipinde tutulabilir.
Sonuç olarak, Pandas modülü ile veri analizi işlemlerinin büyük ölçüde kolaylaştığı açıktır. Pandas modülü ile özetleme istatistikleri, gruplama, birleştirme ve veri dönüştürme işlemleri gibi pek çok veri analizi işlemi kolayca yapılabiliyor. Bu nedenle, veri bilimi alanında çalışanların Pandas modülünü öğrenmesi ve kullanması oldukça faydalı olacaktır.
Özetleme İstatistikleri
Pandas modülü ile özetleme istatistikleri, veri analizi işlemlerinde sıklıkla kullanılan ve birçok veri tipi için temel nitelikleri özetleyen istatistiklerdir. Bu istatistikler, veri setlerindeki özellikler hakkında önemli ipuçları sağlar ve verilerin anlaşılmasında ve karar verme sürecinde büyük bir yardımcıdır.
Özetleme istatistikleri arasında, ortalama (mean), medyan (median), standart sapma (std), minimum (min) ve maksimum (max) gibi veriler bulunur. Mean, bir serideki verilerin ortalamasını, median ise veri setindeki verilerin ortanca değerini ifade eder. Standart sapma, veri seti içindeki değişkenliği ölçer. Min ve max, veri kümesindeki en düşük ve en yüksek değerleri ifade eder.
Bu istatistiklerin kullanımı, veri setinin dağılımı, merkezi eğilimi ve değişkenliği hakkında fikir sahibi olmamızı sağlar. Örneğin, ortalama ve median arasındaki fark, veri setinin çarpıklığı hakkında bize önemli bilgiler sağlayabilir. Değerlerin ne kadar dağıldığını da standart sapma ile görebiliriz. Ayrıca, min ve max değerleri, veri setindeki aykırı değerleri belirlememize yardımcı olabilir.
| İstatistikler | Açıklama |
|---|---|
| mean() | Veri setindeki ortalama değeri hesaplar. |
| median() | Veri setindeki medyan (orta değer) değeri hesaplar. |
| std() | Veri setinin standart sapmasını hesaplar. |
| min() | Veri setindeki en küçük değeri hesaplar. |
| max() | Veri setindeki en büyük değeri hesaplar. |
Özetleme istatistikleri, veri setinin temel özelliklerini anlamak ve analiz etmek için önemlidir. Pandas modülüyle bu istatistikler kolayca hesaplanabilir ve çeşitli veri analizi işlemleri için kullanılabilir.
Gruplama ve Birleştirme
Pandas modülü, sadece veri analizi işlemlerini yürütmekle kalmaz, aynı zamanda birleştirme, biriktirme, eşleştirme ve gruplama işlemlerini de gerçekleştirir. Bu işlemler veri yönetimi açısından oldukça önemlidir.
Pandas ile gruplama işlemleri, anahtar kelime olan 'groupBy' fonksiyonu kullanılarak gerçekleştirilir. Bu fonksiyon, gruplama işlemi için belirli bir sütunu seçer ve aynı değerlere sahip tüm satırları tek bir grupta birleştirir.
Örneğin, bir müşteri veri tabanımız var ve satın alınan ürünlere göre satışları analiz etmek istiyoruz. Bu durumda DataFrame'i ürün kategorilerine göre gruplama yapabiliriz. Bu işlem, aynı kategoriye sahip olan tüm ürünlerin bir araya getirilmesini sağlayarak bir kategori tablosu oluşturmamıza izin verecektir.
Birleştirme işlemleri, iki veya daha fazla DataFrame'i tek bir DataFrame'de birleştirmeyi içerir. Bu işlem, genellikle birden çok DataFrame'in şemasına ve verilerine sahip olduğumuz zamanlarda kullanılır.
Bir DataFrame'i başka bir DataFrame'e birleştirmek için 'merge()' fonksiyonunu kullanabiliriz. Bu fonksiyon, tüm kayıtların birleştiği tek bir DataFrame döndürür.
Ayrıca, 'join()' fonksiyonu da DataFrame'leri birleştirmek için kullanılabilir. Ancak, bu fonksiyon sadece index'e dayalı birleştirmeleri yapmak için uygundur.
Sonuç olarak, Pandas modülü gruplama ve birleştirme işlemlerini gerçekleştirerek veri yönetimini daha kolay hale getirir. Bu sayede verilerimizi daha etkili bir şekilde analiz edebiliriz.
Veri Dönüştürme
Veri dönüştürme, verileri farklı biçimlere dönüştürme işlemidir. Pandas modülü, kullanıcıların veri dönüştürme işlemlerini kolayca yapabilmesine olanak tanır.
Bir DataFrame'deki bazı sütunlar veri analizi için gereksiz olabilir. Bu sütunları çıkarmak veya sadece ihtiyaç duyulan sütunları almak için "iloc" veya "loc" fonksiyonları kullanılır. Örneğin, aşağıdaki kod bloğunda, "Salary" sütununu veri setinden çıkarabiliriz.
```pythonimport pandas as pddf = pd.read_csv("employee.csv")
df = df.drop("Salary", axis=1)```
Aynı şekilde, verileri birleştirerek yeni bir sütun oluşturabiliriz. Örneğin, "Age" ve "Experience" sütunlarını birleştirerek "AgeExperience" sütunu oluşturabiliriz.
```pythondf["AgeExperience"] = df["Age"] + df["Experience"]```
Veri setimizde belirli bir şarta göre değerleri güncellemek için "apply" fonksiyonunu kullanabiliriz. Örneğin, aşağıdaki kod bloğunda, her bir çalışanın yaşını 5 arttırabiliriz.
```pythondef add_5(x): return x + 5
df["Age"] = df["Age"].apply(add_5)```
Pandas modülü ayrıca, verilerin analizi için kategorilere ayırma işlemlerini de destekler. Örneğin, bir veri setindeki çalışanların bölümlerine göre gruplama yapabiliriz ve her bölümden kaç çalışan olduğunu görebiliriz.
```pythondf_grouped = df.groupby("Department")["Employee"].count()```
Son olarak, verileri farklı biçimlerde kaydedebiliriz. Pandas modülü, CSV, Excel veya SQL veritabanlarına kaydetmek için kullanılabilir. Örneğin, bir veri setini CSV olarak kaydetmek için aşağıdaki kod bloğunu kullanabiliriz.
```pythondf.to_csv("employee_updated.csv", index=False)```
Pandas modülü ile daha fazla veri dönüştürme işlemi yapmak için belgelemeyi ve örneklerini inceleyebilirsiniz.
Grafik Çizme
Grafik çizme, veri analizi işlemlerinde oldukça önemli bir rol oynar. Pandas modülü, veri analizinde kullanılan çok sayıda grafik tipini destekler. Bu nedenle, verileri görselleştirmek, veri analizi işlemlerinde daha iyi bir anlayış sağlar.
Grafik çizmek için kullanabileceğiniz birçok grafik tipi vardır. Bazı yaygın grafik türleri şunlardır:
- Scatter plot: Bu grafik tipi, iki değişken arasındaki ilişkiyi görselleştirmek için kullanılır.
- Line plot: Bu grafik tipi, zaman serileri gibi sürekli verilerin görselleştirilmesinde kullanılır.
- Bar chart: Bu grafik tipi, kategorik verilerin görselleştirilmesinde kullanılır.
- Histogram: Bu grafik tipi, bir değişkenin dağılımının görselleştirilmesinde kullanılır.
Bunların yanı sıra, Pandas modülü bar plot, pie chart ve box plot gibi grafik türlerini de destekler. Grafik çizmek için Pandas modülünün sağladığı .plot() metodu kullanılabilir. Bu yöntem, birçok grafik türü oluşturmak için kullanışlı parametreler sağlar.
Grafiklerin veri analizi işlemlerindeki katkısı, veriler arasındaki ilişkiyi ve dağılımı daha iyi anlamamızı sağlamasıdır. Ayrıca, grafikler sayesinde verilerin anlamlı hikayelerini dışarı çıkarmak daha kolay hale gelir. Grafikler, verilerin daha iyi anlaşılmasına ve daha iyi kararlar alınmasına katkıda bulunur.
Veri Kaydetme ve Yükleme
Pandas modülü, veri kaydetme ve yükleme işlemlerini kolay ve kullanışlı hale getirmektedir. Veriler, farklı kaynaklardan gelerek, bir DataFrame üzerinde birleştirilebilir veya çeşitli veri türleri arasında dönüştürülebilir. Pandas, veri kaydetme ve yükleme işlemlerinde de oldukça başarılıdır. Bu işlemler için genellikle csv, excel, json, html, h5, stata, sql vb. veri formatları kullanılmaktadır.
Verilerin bir dosyada kaydedilmesi veya yüklendiğinde kullanılan en temel fonksiyonlar, read_csv() ve to_csv() fonksiyonlarıdır. Bu fonksiyonlar yardımıyla, csv dosyaları oluşturabilir veya csv dosyalarındaki verileri yükleyebilirsiniz. Ayrıca, Excel dosyaları için read_excel() ve to_excel() gibi fonksiyonlar da mevcuttur. Verilerin h5, stata, sql formatlarından okunması ve bu formatlara kaydedilmesi de mümkündür.
Bu işlemleri gerçekleştirmek için yapmanız gereken tek şey, dosya yolunu doğru bir şekilde belirtmektir. Dosya yolu belirtilirken, dosyanın tam konumu, adı ve uzantısı yazılmalıdır. Ayrıca, ilgili dosya formatına göre uygun argümanlar da kullanılmalıdır.
Örneğin, csv dosyalarını okumak için şu şekilde bir kod yazabilirsiniz:
import pandas as pddata = pd.read_csv("example.csv")Yukarıdaki kod, örnek bir csv dosyasını okumaktadır. Veriler, data adlı bir DataFrame üzerinde saklanır. Eğer bu veriyi bir csv dosyasına kaydetmek isterseniz, şöyle bir kod yazabilirsiniz:
import pandas as pddata = pd.read_csv("example.csv")data.to_csv("example_output.csv", index=False)Bu kodda, index=False argümanı, indeks sütununu csv dosyasına dahil etmemizi engeller. Verileri farklı bir formatında kaydetmek isterseniz, o formatın ilgili fonksiyonunu kullanabilirsiniz.
Pandas modülü, veri kaydetme ve yükleme işlemlerini oldukça basit hale getirerek kullanıcıların zamandan tasarruf etmesini sağlar. Bu sayede, veri analizi işlemlerinde harcanan zaman azaltılır ve daha iyi sonuçlar elde edilir.