Pengertian Regresi

Istilah ‘regresi’ pertama kali diperkenalkan oleh sir Francis Galton pada tahun 1886. Galton menemukan adanya tendensi bahwa orang tua yang memiliki tubuh tinggi memiliki anak-anak yang tinggi, orang tua yang pendek memiliki anak-anak yang pendek pula. Kendati demikian, ia mengamati bahwa ada kecenderungan tinggi anak cenderung bergerak menuju rata-rata tinggi populasi secara keseluruhan. Dengan kata lain, ketinggian anak yang amat tinggi atau orang tua yang amat pendek cenderung bergerak ke arah rata-rata tinggi populasi. Inilah yang disebut hukum Galton mengenai regresi universal. Dalam bahasa Galton ia menyebutnya sebagai regresi menuju Medikritas (Maddala, 1992:60)

Interpretrasi modern mengenai regresi agak berlainan dengan regresi versi Galton. Secara umum, analisis regresi pada dasarnya adalah studi mengenai ketergantungan variabel dependen (terikat) dengan satu atau lebih variabel independen (variabel penjelas/bebas), dengan tujuan untuk mengestimasi dan/atau memprediksi rata-rata populasi atau nilai rata-rata variabel dependen berdasarkan nilai variabel nilai variabel independen yang diketahui (Gujarati, 2015). Pusat perhatian adalah pada upaya menjelaskan dan mengevaluasi hubungan antara suatu variabel dengan satu atau lebih variabel independen.

Hasil analisis regresi adalah berupa koefisisen untuk masing-masing variabel independen. Koefisien ini diperoleh dengan cara memprediksi nilai variabel dependen dengan suatu persamaan. Koefisien regresi dihitung dengan tujuan yaitu meminimumkan penyimpangan antara nilai aktual dan nilai estimasi variabel dependen berdasarkan data yang ada (Tabachnick, 1996: 128). Dalam analisis regresi, selain mengukur kekuatan hubungan antara dua hubungan atau lebih, juga menunjukan arah hubungan antara variabel dependen dengan variabel independen. Variabel dependen diasumsikan random/stokastik, yang berarti mempunyai distribusi probabilistik. Variabel independen/bebas diasumsikan memiliki nilai tetap (dalam pengambilan sampel yang berulang).

Istilah dan Notasi dalam Regresi

Notasi Y

• Varaibel tergantung (Dependent Variable)
• Variabel yang dijelaskan (Explained Variable)
• Variabel yang diramalkan (Predictand)
• Variabel yang diregresi (Regressand)
• Variabel Tanggapan (Response)

Notasi X

• Varaibel bebas (Independent Variable)
• Variabel yang menjelaskan (Explanatory Variable)
• Variabel peramal (Predictor)
• Variabel yang meregresi (Regressor)
• Variabel perangsang atau kendali (Stimulus or control variable)

Model Regresi

Analisis Regresi Linier

    Analisis Regresi Linier digunakan untuk menganalisis atau mengauji pengaruh variabel bebas terhadap variabel terikat. Analisis regresi linier hanya dapat dilakukan untuk skala data interval dan rasio. Secara garis besar regresi linier dibedan menjadi regresi linier sederhana dan regresi linier berganda, yang dijelaskan sebagai berikut:

Regresi Linier Sederhana (Simple Linier Regresssion)

    Analisis Regresi linier sederhana  atau Simple Linier Regression  adalah analisis regresi yang menguji pengaruh variabel bebas dengan hanya menggunakan satu variabel bebas (X) terhadap satu variabel terikat (Y). Hubungan tersebut secara matematis dapat dituliskan sebagai berikut:

                Y = a + b X + e

dimana Y adalah variabel terikat dan X variabel bebas. Koefisien  a  adalah konstanta (merupakan nilai rata-rata dari Y pada saat nilai X nya nol atau konstan). b adalah koefisien regresi yang akan diestimasi (dicari nilainya). sedangkan e merupakan nilai residual atau selisih antaran nilai prediksi dengan nilai yang sesungguhnya.

Contoh:

•  Menganalisis pengaruh motivasi kerja terhadap kinerja karyawan. Berarti sebagai variabel bebas (X) adalah motivasi kerja dan variabel terikatnya (Y) adalah motivasi kerja
• Menganalisis pengaruh promosi terhadap penjualatan prduk. 
• Menganalisis pengaruh tingkat pengangguran terhadap pertumbuhan Ekonomi

Regresi Linier Berganda (Multiple Linier Regression) 

    Analisis regresi linier berganda atau Multiple Linier Regression adalah analisis regresi yang digunakan untuk menguji pengaruh lebih dari satu variabel bebas (X) terhadap variabel terikat (Y). Hubungan tersebut dapat dituliskan sebagai berikut:

            Y = b₀ + b₁X₁ + b₂X₂ + …… b_nX_k + e

dimana Y adalah variabel terikat dan X variabel bebas. Koefisien  b₀   adalah konstanta (merupakan nilai rata-rata dari Y pada saat nilai X nya nol atau konstan). b_1,2..n  adalah koefisien regresi yang akan diestimasi (dicari nilainya), sedangkan e merupakan nilai residual atau selisih antaran nilai prediksi dengan nilai yang sesungguhnya.

Contoh

• Menganalisis pengaruh lingkungan kerja, budaya organisasi dan motivasi kerja terhadap kinerja karyawan
• Menganalisis pengaruh biaya promosi dan jumlah cabang terhadap penjualan
• Menganalisis pengaruh harga PER dan ROI terhadap harga saham
• Menganalisis pengaruh ROA, NPM dan Size terhadap Return Saham di Bursa Efek Indonesia
• pengaruh ROA, NPM dan Size Terhadap Return Saham
• Menganalisis Pengaruh  kemudahan, kepercayaan, keamanan, dan biaya terhadap minat menggunakan mobile banking

Teknik Estimasi

Salah satu teknik estimasi regresi adalah dengan Ordinariy Least Squares (pangkat kuadrat terkecil). Metode pangkat kuadrat terkecil (OLS) diperkenalkan pertama kali oleh Carl Friederich Gauss, seorang ahli matematika dari Jerman. Inti dari metode OLS adalah mengestimasi suatu garis regresi dengan jalan meminimalkan jumlah dari kuadrat kesalaan setiap observasi terhadap garis tersebut. Missal persamaan reg populasi

E (Y | Xi ) = b₀ + b₁X₁  + e

Karena populasi sering tidak dapat diperoleh secara langsung maka digunakan fungsi regresi sample (FRS)

         Yi = b₀ + b₁X₁ + b₂X₂ + ……… b_nX_k+ e

Dimana yi dibaca “y topi atau y estimate, karena yi = penduga E (Y|xi). Metode OLS bertujuan untuk meminimalkah jumlah kesalahan (SSE = sum of square Error)

SEE = S (Yi – Yi)²

Dengan demikian,

Yi = Yi + ui atau ui = Y1 – Yi

  

Dimana diasumsikan kesalahan random(ui) memiliki probabilitas yang normal dengan rata-rata = 0 dan varians sama dengan s²