Bias menjadi perhatian yang berkembang dalam ilmu data. Tapi apa yang bisa kita lakukan untuk memperbaikinya? Seperti orang, algoritma dapat memiliki titik buta yang signifikan, dan ketika mereka melakukan kesalahan, mereka dapat memiliki dampak signifikan pada masyarakat.
Dan ketika algoritma menjadi semakin ada di mana-mana, pilihan yang mereka buat untuk kita akan memiliki implikasi yang luas, menurut Aron Culotta, associate professor Ilmu Komputer di Illinois Institute of Technology.
“Ketika algoritma membuat kesalahan yang entah bagaimana tidak adil atau secara sistematis bias terhadap kelompok orang tertentu, mereka memperkuat dan memperburuk setiap ketidakadilan yang ada.”
“Dalam aplikasi seperti hukuman pidana, aplikasi pinjaman dan mobil self-driving, kita membutuhkan algoritma yang tidak hanya akurat, tetapi juga bebas dari kesalahan,” kata Culotta. “Ketika algoritma membuat kesalahan yang entah bagaimana tidak adil atau secara sistematis bias terhadap kelompok orang tertentu, mereka memperkuat dan memperburuk setiap ketidakadilan yang ada.”
Bias Algoritma, Pembelajaran Mesin
Aron Culotta, associate professor Ilmu Komputer di Illinois Institute of Technology.
Data pelatihan yang bias mengarah pada algoritma yang bias
Bias algoritma sering berasal dari data yang digunakan untuk melatih algoritma. Dan karena bias berjalan dalam pada manusia pada banyak tingkatan, melatih algoritma untuk sepenuhnya bebas dari bias itu adalah tugas yang hampir mustahil, kata Culotta.
Bahkan jika Anda ingin melawan bias, mengetahui di mana mencarinya bisa lebih sulit daripada kedengarannya.
“Para ilmuwan data tidak perlu tahu kapan mereka membuat algoritma bahwa itu akan membuat prediksi yang salah atau bias.”
Bias algoritmik seringkali berasal dari teks dan gambar yang digunakan para ilmuwan data untuk melatih model mereka. Misalnya, jika Anda mencari gambar-gambar seorang “petugas polisi” atau “bos” di internet, sebagian besar gambar yang muncul kemungkinan adalah orang kulit putih. Jika Anda memasukkan data ini ke dalam algoritme Anda, model Anda kemungkinan akan menyimpulkan bahwa bos dan polisi biasanya berkulit putih dan laki-laki, mengabadikan stereotip terhadap wanita, minoritas, dan kelompok lain.
Segala sesuatu mulai dari alat dan peralatan yang digunakan untuk mengumpulkan data hingga faktor-faktor yang dipilih para ilmuwan untuk dianalisis dan bagaimana mereka melatih model mereka, dapat menyebabkan bias masuk ke dalam algoritma. Tetapi ada beberapa langkah yang dapat diambil oleh para ilmuwan, pembuat kebijakan, dan pemangku kepentingan lainnya untuk meminimalkan bias.
Mesin Algoritma Bias Aequitas mempelajari ilmu data
Gambar melalui Shutterstock.
MEMBANGUN ALGORITMA FAIRER
Salah satu cara untuk membangun algoritma yang lebih baik adalah dengan menggunakan alat audit untuk mendeteksi bias dalam model pelatihan sebelum menyebarkannya di dunia nyata. Aequitas adalah salah satu toolkit open-source yang dikembangkan di University of Chicago. Untuk mendapatkan kejelasan tentang cara kerja Aequitas, kami bertemu dengan salah satu pencipta utama perangkat lunak, Rayid Ghani, profesor karir terkemuka di Sekolah Tinggi Sistem Informasi dan Kebijakan Publik Heinz, dan Sekolah Ilmu Komputer di Universitas Carnegie Mellon.
Ghani juga kepala ilmuwan untuk Kampanye Pemilihan Obama untuk Amerika 2012 dan mantan direktur Pusat Ilmu Data & Kebijakan Publik di University of Chicago.
Gagasan keadilan berbeda untuk setiap pengguna atau aplikasi, kata Ghani karena setiap pemerintah, masyarakat atau organisasi akan memiliki definisi keadilan mereka sendiri.
Misalnya, satu pembuat kebijakan dapat mendefinisikan keadilan sebagai tidak ada yang tertinggal, sementara pemangku kepentingan lain mungkin menginginkan algoritma untuk secara proaktif mengurangi ketidaksetaraan di semua sub-kelompok dari waktu ke waktu.
Sebelum kita menyelami bagaimana Aequitas bekerja, mari kita mundur selangkah untuk memahami bagaimana data ilmuwan memutuskan apakah model mereka akurat.
Dalam ilmu data, ada empat jenis temuan:
Benar positif: ketika suatu algoritma melihat pola dunia nyata.
Positif palsu: ketika suatu algoritma mengidentifikasi suatu pola tetapi tidak ada satu pun.
Negatif sejati: bila tidak ada pola, dan algoritme tidak mengidentifikasi satu pun.
Negatif palsu: ketika algoritme gagal menemukan pola yang ada di dunia nyata.
Sederhananya, model Anda bias jika tingkat false positive atau false negative secara signifikan lebih tinggi atau lebih rendah untuk subkelompok orang daripada populasi secara keseluruhan, atau bila dibandingkan dengan subkelompok lain.
Bagian rumit tentang menghindari bias, kata Ghani, adalah bahwa model prediktif pasti bergantung pada beberapa tingkat generalisasi.
“Untuk mendapatkan jumlah orang sebanyak mungkin yang benar, algoritme akan menjadi bias atau salah tentang beberapa subkelompok orang yang lebih kecil,” kata Ghani, menambahkan ini adalah mengapa kita sering melihat algoritma gagal memprediksi hasil yang akurat untuk sub-kelompok tersebut. kelompok-kelompok seperti wanita, minoritas, dan lainnya.
Memutuskan jenis bias mana yang menjadi fokus
Sebagian besar ilmuwan data berfokus pada pembuatan model yang memprediksi dengan benar untuk skenario sebanyak mungkin – konsep ini disebut “akurasi.” Tetapi bagi sebagian orang, bisa jadi mudah terseret dalam mengoptimalkan keakuratan sehingga mereka melupakan gagasan keadilan.
Bagian dari masalah di industri saat ini, kata Ghani, adalah bahwa akurasi dan keadilan dipandang sebagai saling eksklusif.
“Anda seharusnya tidak peduli tentang semua jenis kesenjangan secara merata.”
โToo Terlalu sulit. Ini saling eksklusif sehingga saya harus menyerah saja. “Itu adalah jenis cerita yang kami dengar dari pembuat kebijakan,” kata Ghani.
Ghani dan timnya mulai berpikir tentang keadilan dan kesetaraan seluruh sistem. Apa yang mereka temukan adalah bahwa, berdasarkan hasil yang diinginkan, beberapa variabel kesalahan lebih penting daripada yang lain.
“Anda seharusnya tidak peduli tentang semua jenis kesenjangan secara merata,” kata Ghani. โDalam model pembelajaran mesin, ada banyak data. Pada akhirnya, yang paling penting adalah bahwa keseluruhan sistem itu adil. ”
Bias Algoritma, Ilmu Data, Pembelajaran Mesin, Aequitas
Keterangan Gambar: Aequitas Fairness Tree milik Aequitas
POHON KEADILAN
Tim Ghani memutuskan untuk merancang Pohon Keadilan: cara sistematis bagi ilmuwan data dan pemangku kepentingan untuk menavigasi jalan mereka langsung ke kesalahan yang paling berdampak pada hasil yang mereka coba capai. Salah satu pertimbangan utama dalam pohon keadilan adalah apakah intervensi yang diusulkan bersifat hukuman atau membantu.
Misalnya, jika algoritme diisi dengan intervensi hukuman, seperti memutuskan apakah seseorang harus masuk penjara, maka tingkat positif palsu yang tinggi untuk setiap subkelompok (mengirim terlalu banyak orang ke penjara) menjadi jauh lebih penting daripada tingkat negatif palsu (mengirim terlalu sedikit), kata Ghani, karena prediksi yang salah dapat berdampak besar pada kehidupan individu dan melanggengkan ketimpangan sosial.
Atau, jika Anda bekerja pada model yang fungsinya membantu – suatu algoritma yang membantu menemukan opsi asuransi kesehatan terbaik, misalnya – merekomendasikan rencana asuransi satu kali terlalu banyak terlalu jauh jauh lebih buruk.
Ini adalah jenis pertimbangan yang menjadi alat bantu Aequitas dan pohon keadilan membantu ilmuwan data dan pembuat kebijakan menguraikan.
MENILAI BIAS MENGGUNAKAN POSITIF SALAH dan NEGATIF
Aequitas bekerja dengan membandingkan tingkat positif dan negatif palsu antara kelompok “keseluruhan referensi” terhadap kelompok “dilindungi atau dipilih”. Jika perbedaan untuk kelompok “dilindungi atau dipilih” adalah dalam 80 dan 125 persen dari nilai kelompok referensi, audit lolos – jika tidak, ia gagal.
Alat ini menilai berbagai jenis metrik, seperti paritas tingkat negatif palsu, paritas laju positif palsu, dan paritas tingkat penemuan positif palsu – kriteria yang mempertimbangkan apakah laju atau kesalahan Anda sama di semua subkelompok. Lalu, ia membuat laporan yang menunjukkan metrik mana yang bias.
Bias Algoritma, Pohon Keadilan, Aequitas, Pembelajaran Mesin
Hasil audit bias Aequitas menggunakan data dari dataset COMPAS.
Pekerjaan Ghani dan timnya telah menghasilkan beberapa penemuan penting tentang apa yang dapat dilakukan praktisi untuk membuat algoritma yang lebih baik:
Definisikan “keadilan” dalam konteks apa yang ingin Anda capai. Apakah itu berarti tidak meninggalkan siapa pun, atau apakah itu berarti mengurangi tingkat kesalahan secara bertahap dari waktu ke waktu? Jawabannya mungkin tergantung pada konsekuensi kesalahan.
Mengoptimalkan akurasi tidak selalu merupakan solusi terbaik. Untuk sebagian besar masalah, model yang paling akurat untuk memprediksi perilaku sekelompok besar orang mungkin mengarah pada hasil yang tidak adil bagi anggota subset yang lebih kecil. Untuk menghindarinya, para ilmuwan data dapat menggunakan alat audit untuk membangun model yang akurat dan adil. Meskipun itu mungkin berdampak sedikit keakuratan angka pada awalnya, seiring waktu, itu mungkin hanya pendekatan yang lebih baik.
Gunakan alat audit dari awal. Memiliki percakapan tentang metrik bias dimuka akan membantu para ilmuwan data untuk menyandikan sistem lebih efektif. Berbicara tentang keadilan sebagai metrik berbasis hasil memberi para ilmuwan data kursi di meja sejak awal, kata Ghani. Ini juga menawarkan kesempatan untuk berbicara terus terang tentang jenis bias apa yang paling penting untuk dihindari.
Bersikaplah terbuka tentang kekurangan teknologi Anda. Stakeholder harus mengumumkan hasil auditnya kepada publik. “Jika algoritme tidak lolos audit, pemangku kepentingan dapat memutuskan untuk tidak menggunakannya atau menggunakannya, tetapi beri tahu publik bahwa kami telah memeriksa masalahnya dan ini adalah yang terbaik yang bisa kami lakukan,” kata Ghani. Ini membantu menghilangkan reaksi publik.