Cara moderasi kandungan AI berfungsi — dan di mana ia gagal

Jawapan ringkas. Moderasi automatik tidak menapis kandungan; ia memberi skor. Pengelas memberi nombor tentang serapat mana sesuatu teks atau imej menyerupai contoh bagi sesuatu kategori, dan model bahasa memberi pendapat berdasarkan arahan bertulis. Kedua-duanya tidak tahu sama ada sesuatu kenyataan itu benar, atau sama ada seseorang boleh dikenal pasti oleh khalayak anda. Maka sistem yang berguna mengisih giliran dan meninggalkan bahagian tengah yang tidak pasti kepada manusia.

Moderasi automatik sering digambarkan seolah-olah ia penapis: kandungan masuk, yang buruk ditangkap, yang baik lulus. Sesiapa yang pernah mengurus giliran tahu ia langsung tidak begitu. Alat-alat ini menghasilkan skor dan pendapat, ia tersilap dengan cara yang boleh diramal, dan sejauh mana ia berguna bergantung hampir sepenuhnya pada apa yang anda lakukan dengan outputnya.

Kami membina dan mengendalikan saluran moderasi, jadi panduan ini ditulis dari dalam. Ia menerangkan apa yang dilakukan oleh alat-alat itu, mengapa ia gagal, dan cara menggunakannya tanpa memperdaya diri sendiri.

Dua jenis mesin

Hampir setiap sistem moderasi hari ini dibina daripada dua jenis model, yang sering digunakan bersama.

Pengelas (classifier) dilatih untuk satu kerja yang sempit: diberi sepotong teks atau imej, hasilkan nombor antara 0 dan 1 bagi setiap satu daripada senarai kategori yang tetap — kandungan seksual, gangguan, kebencian, keganasan, mencederakan diri dan seterusnya. Ia pantas dan murah, dan memberi jawapan yang sama setiap kali bagi input yang sama. Yang tidak mampu dilakukannya ialah menjelaskan dirinya atau mengendalikan kategori yang tiada siapa melatihnya.

Model bahasa besar — teknologi yang sama seperti pembantu sembang — boleh diberi arahan bertulis: "Adakah teks ini menuduh orang yang boleh dikenal pasti melakukan salah laku? Jawab ya atau tidak dan nyatakan sebabnya." Ia mengendalikan nuansa, konteks dan arahan yang tiada pengelas dibina untuknya. Ia lebih perlahan dan lebih mahal, boleh tidak konsisten antara satu larian dengan yang lain, dan kadangkala menyatakan kesimpulan yang salah dengan penuh yakin.

Pengelas memberitahu anda sebanyak mana sesuatu teks menyerupai contoh kesat yang digunakan untuk melatihnya. Model bahasa memberitahu apa yang ia fikir tentang teks itu. Kedua-duanya tidak tahu sama ada teks itu benar.

Skor bukan keputusan

Pengelas yang memulangkan 0.83 bagi "gangguan" belum menemui gangguan. Ia melaporkan bahawa teks itu kelihatan, secara statistik, seperti perkara yang dilabel gangguan dalam data latihannya. Seseorang perlu memutuskan nombor berapa yang dikira terlalu tinggi. Nombor itu ialah ambang, dan memilihnya ialah tolak ansur tanpa jawapan yang betul.

Tetapkan ambang rendah dan anda menangkap lebih banyak kandungan yang benar-benar memudaratkan, tetapi anda juga menanda lebih banyak kandungan yang tidak bersalah — positif palsu. Tetapkan tinggi dan lebih sedikit hantaran tidak bersalah ditanda, tetapi lebih banyak yang memudaratkan terlepas — negatif palsu.

Kesilapan mana yang lebih buruk bergantung pada apa yang berlaku seterusnya. Jika tanda hanya menghantar hantaran kepada manusia untuk dilihat lebih teliti, positif palsu menelan tiga puluh saat masa seseorang, dan ambang rendah itu wajar. Jika tanda memadam hantaran secara automatik, positif palsu membisukan seseorang yang tidak bersalah, dan anda patut jauh lebih berhati-hati.

Sebab itulah sistem yang paling berguna tidak menyekat; ia mengisih. Kes yang jelas di kedua-dua hujung diuruskan dengan cepat, dan bahagian tengah yang tidak pasti dihantar kepada manusia bersama skornya.

Mengapa teks lebih sukar daripada rupanya

Percampuran bahasa. Kebanyakan model moderasi dilatih terutamanya dengan bahasa Inggeris. Prestasi menurun bagi bahasa lain dan menurun lagi apabila bahasa dicampur dalam satu ayat — begitulah cara ramai rakyat Malaysia sebenarnya menulis. Ayat yang bergerak antara bahasa Inggeris, Melayu, Mandarin dan partikel Hokkien, dalam ejaan rumi, mungkin dibaca dengan betul oleh model atau mungkin dibaca sebagai hingar.

Slanga bergerak lebih laju daripada data latihan. Cacian, jenaka dalaman dan istilah berkod berubah setiap beberapa bulan. Model yang dilatih tahun lalu tidak pernah melihat kosa kata tahun ini.

Konteks menentukan makna. "Aku nak bunuh dia" selepas perlawanan bola sepak dan ayat yang sama selepas cerita tentang dihendap ialah dua perkara berbeza. Begitu juga kata hinaan yang digunakan sebagai serangan dan perkataan yang sama dipetik oleh orang yang menjadi sasarannya. Pengelas melihat perkataan; ia hampir tidak melihat situasinya.

Pengelakan sengaja. Orang yang mahu melepasi penapis akan menggantikan aksara, menambah ruang, menggunakan huruf serupa, atau meletakkan teks dalam imej. Sistem yang mudah dikalahkan oleh helah yang mudah.

Sindiran dan ucapan yang dipetik. "Ya lah tu, dia memang orang paling jujur di kampus" langsung tidak mengandungi perkataan yang boleh ditanda.

Apa yang AI tidak mungkin tahu

Sebahagian soalan moderasi yang paling penting langsung bukan tentang bahasa, dan tiada model dapat menjawabnya daripada teks semata-mata.

• Adakah ia benar? Tuduhan yang tenang, khusus dan ditulis dengan baik mendapat skor selamat sepenuhnya. Ia juga mungkin fitnah. Kebenaran ialah fakta tentang dunia, bukan sifat ayat itu.
• Adakah orang ini boleh dikenal pasti oleh khalayak anda? "Abang yang jaga kedai fotostat dekat pintu timur" tidak mengandungi nama. Semua orang di kampus anda tahu tepat siapa yang dimaksudkan. Model tidak pernah ke kampus anda.
• Adakah orang ini tokoh awam? Perisian kadangkala dapat mengesan bahawa ada nama. Ia tidak dapat membezakan dengan pasti seorang menteri daripada rakan sekelas yang senama.
• Adakah orang ini bersetuju? Gambar dua orang di sebuah majlis mungkin dikongsi dengan restu mereka, atau mungkin perkara paling kejam dalam giliran anda bulan ini.

Ini soalan bagi manusia yang mengenali komuniti itu. Paling jauh, alat hanya boleh perasan bahawa soalan itu perlu ditanya — contohnya dengan menanda bahawa sesuatu kiriman kelihatan mengandungi nama peribadi — dan menyalurkannya kepada seseorang yang boleh memutuskan. Lihat Apabila kiriman menamakan seseorang.

Imej

Moderasi imej lazimnya menggabungkan beberapa semakan:

• Pengelas kandungan lucah, yang memberi skor sejauh mana sesuatu imej berkemungkinan bersifat seksual. Ia agak baik dengan gambar foto dan ketara lebih lemah dengan lukisan, pencahayaan luar biasa, dan imej yang menggoda tanpa menjadi lucah. Pakaian renang, imej perubatan dan orang yang sekadar tidak berbaju kerap menghasilkan positif palsu.
• Model bahasa berkeupayaan penglihatan, yang boleh diminta menghuraikan imej dan menilainya berdasarkan peraturan bertulis — berguna untuk keganasan, senjata atau penggunaan dadah.
• Pengekstrakan teks, untuk membaca perkataan dalam tangkapan skrin dan meme supaya ia boleh disemak seperti teks lain. Tanpa langkah ini, perenggan yang melanggar peraturan yang ditampal ke dalam imej lolos begitu sahaja.

Apa yang umumnya tidak dilakukan oleh model imej ialah melindungi privasi. Gambar jelas wajah orang asing, kad pelajar atau plat kereta tidak "tidak selamat" dalam mana-mana kategori yang diketahui model ini. Semakan itu masih milik anda — lihat Memoderasi gambar dan video.

Video

Video ialah jujukan imej yang panjang bersama runut bunyi, dan mahal untuk diperiksa sepenuhnya. Kebanyakan sistem mengambil sampel bingkai — satu setiap saat atau setiap beberapa saat — dan mengelaskan setiap satunya. Dua akibat menyusul.

Pertama, sesuatu yang muncul lebih singkat daripada jarak antara sampel boleh terlepas sepenuhnya. Kedua, sistem yang hanya menyemak imej kecil atau bingkai pertama hampir tidak menyemak video itu, dan anda patut mengetahui sama ada sistem anda melakukan lebih daripada itu.

Audio ialah perkara berasingan. Melainkan sesuatu alat mentranskripsikan pertuturan dan memoderasi transkripnya, apa sahaja yang diucapkan dalam video tidak disemak. Banyak alat tidak melakukannya.

Mengapa lebih daripada satu model membantu

Model yang berbeza membuat kesilapan yang berbeza. Pengelas terlepas cacian baharu yang difahami oleh model bahasa; model bahasa meloloskan imej yang diberi skor lucah oleh pengelas khusus. Menjalankan beberapa semakan bebas dan membenarkan mana-mana satu daripadanya membangkitkan tanda menangkap lebih banyak daripada model tunggal terbaik — dengan kos lebih banyak tanda untuk disemak. Bagi giliran di mana manusia menyemak semua yang ditanda, itu biasanya tolak ansur yang betul.

Perkataan pentingnya ialah bebas. Dua produk yang dibina atas model asas yang sama akan berkongsi titik buta yang sama.

Soalan untuk ditanya tentang mana-mana alat moderasi

1. Apa sebenarnya yang disemaknya? Teks sahaja? Imej? Teks dalam imej? Setiap bingkai video atau imej kecil sahaja? Audio?
2. Pada bahasa mana ia diuji? Jika jawapannya kabur, andaikan bahasa Inggeris.
3. Apa yang berlaku apabila ia menanda sesuatu? Adakah ia menyekat, menahan untuk semakan, atau sekadar melabel?
4. Bolehkah anda melihat sebabnya? Alat yang menunjukkan semakan mana yang tercetus dan berapa skornya membolehkan anda mempelajari tabiatnya. "Ditolak" semata-mata tidak mengajar apa-apa.
5. Apa yang berlaku apabila ia tidak tersedia? Jika perkhidmatan itu tergendala, adakah kiriman lolos tanpa disemak, atau menunggu?
6. Ke mana kandungan itu pergi? Kiriman yang dihantar kepada perkhidmatan pihak ketiga untuk disemak telah meninggalkan tangan anda. Ketahui sama ada perkhidmatan itu menyimpan apa yang diterimanya atau menggunakannya untuk latihan.
7. Bolehkah anda melaraskan ambang? Tetapan tetap yang direka untuk permainan kanak-kanak tidak sesuai untuk halaman universiti, dan begitulah sebaliknya.

Menggunakannya dengan baik

Anggaplah moderasi automatik sebagai pembaca pertama yang tidak mengenal penat, yang pandai mengesan yang jelas dan tiada pertimbangan tentang yang lain. Biarkan ia meluluskan yang nyata tidak mengapa, menahan yang nyata tidak boleh, dan melampirkan alasannya pada semua yang di tengah. Kemudian baca bahagian tengah itu sendiri.

Sebulan sekali, lihat apa yang ditandainya tetapi anda luluskan, dan apa yang diluluskannya tetapi anda tolak. Dua senarai itu menunjukkan titik butanya, dan ia berbeza bagi setiap komuniti. Pasukan yang membacanya akan menangkap apa yang mesin terlepas. Pasukan yang mempercayai tanda hijau lambat-laun akan menyiarkan sesuatu yang tidak sepatutnya — dan "AI yang luluskan" tidak pernah menjadi pembelaan bagi apa-apa pun.

Soalan lazim

Bagaimana moderasi kandungan AI berfungsi?

Dengan dua jenis model, yang sering digunakan bersama. Pengelas menghasilkan skor antara 0 dan 1 bagi setiap satu daripada senarai kategori yang tetap, seperti gangguan atau kandungan seksual. Model bahasa besar diberi arahan bertulis dan diminta menilai kandungan berdasarkannya. Kemudian seseorang memilih ambang yang apabila dilepasi, skor itu dikira sebagai tanda.

Mengapa moderasi AI menanda hantaran yang tidak bersalah dan terlepas yang memudaratkan?

Kerana skor bukan keputusan. Ambang rendah menangkap lebih banyak kandungan memudaratkan dan menanda lebih banyak kandungan tidak bersalah; ambang tinggi melakukan sebaliknya. Pengelas juga melihat perkataan dan hampir tidak melihat situasinya, jadi slanga, sindiran, ucapan yang dipetik dan pengelakan sengaja semuanya memperdayakannya.

Apa yang tidak dapat dikesan oleh moderasi AI?

Sama ada sesuatu kenyataan itu benar, sama ada seseorang boleh dikenal pasti oleh khalayak anda, sama ada seseorang itu tokoh awam atau rakan sekelas yang senama, dan sama ada orang dalam gambar bersetuju. Ini soalan bagi manusia yang mengenali komuniti itu; paling jauh, alat hanya boleh menanda bahawa soalan itu perlu ditanya.

Adakah moderasi AI berkesan bagi hantaran bahasa Melayu dan bahasa campuran?

Kurang berkesan. Kebanyakan model moderasi dilatih terutamanya dengan bahasa Inggeris, prestasinya menurun bagi bahasa lain, dan menurun lagi apabila bahasa dicampur dalam satu ayat — begitulah cara ramai rakyat Malaysia menulis. Tanya pada bahasa mana sesuatu alat diuji, dan andaikan bahasa Inggeris jika jawapannya kabur.

Bagaimana video dimoderasi secara automatik?

Kebanyakan sistem mengambil sampel bingkai — satu setiap saat atau setiap beberapa saat — dan mengelaskan setiap satunya. Sesuatu yang dipaparkan lebih singkat daripada jarak antara sampel boleh terlepas, dan sistem yang hanya menyemak imej kecil hampir tidak menyemak video itu. Melainkan sesuatu alat mentranskripsikan pertuturan, apa yang diucapkan dalam video langsung tidak disemak.

Adakah lebih baik menggunakan lebih daripada satu model moderasi?

Biasanya ya, jika manusia menyemak semua yang ditanda. Model yang berbeza membuat kesilapan yang berbeza, jadi beberapa semakan bebas, yang mana-mana satunya boleh membangkitkan tanda, menangkap lebih banyak daripada model tunggal terbaik, dengan kos lebih banyak tanda untuk disemak. Ia mesti bebas: dua produk yang dibina atas model asas yang sama berkongsi titik buta yang sama.