Bagaimana penyederhanaan kandungan AI berfungsi — dan di mana ia gagal

Jawapan ringkas. Penyederhanaan automatik tidak menapis kandungan; ia menilai kandungan tersebut. Pengelas memberikan nombor untuk sejauh mana teks atau imej menyerupai contoh kategori, dan model bahasa memberikan pendapat berdasarkan arahan bertulis. Kedua-duanya tidak tahu sama ada sesuatu kenyataan itu benar, atau sama ada seseorang itu boleh dikenal pasti oleh khalayak anda. Oleh itu, sistem yang berguna menyusun barisan dan menyerahkan bahagian tengah yang tidak pasti kepada seseorang.

Penyederhanaan automatik sering digambarkan seolah-olah ia adalah penapis: kandungan masuk, kandungan buruk ditangkap, kandungan baik diluluskan. Sesiapa yang pernah mengendalikan barisan tahu ia tidak seperti itu. Alat ini menghasilkan skor dan pendapat, ia salah dalam cara yang boleh diramal, dan sejauh mana ia berguna bergantung hampir sepenuhnya pada apa yang anda lakukan dengan keluarannya.

Kami membina dan mengendalikan saluran penyederhanaan, jadi panduan ini ditulis dari dalam. Ia menerangkan apa yang alat itu lakukan, mengapa ia gagal, dan cara menggunakannya tanpa menipu diri sendiri.

Dua jenis mesin

Hampir setiap sistem penyederhanaan hari ini dibina daripada dua jenis model, sering digunakan bersama.

Pengelas dilatih untuk satu tugas sempit: diberi sekeping teks atau imej, menghasilkan nombor antara 0 dan 1 untuk setiap senarai kategori tetap — kandungan seksual, gangguan, kebencian, keganasan, mencederakan diri sendiri dan sebagainya. Ia pantas dan murah, dan ia memberikan jawapan yang sama setiap kali untuk input yang sama. Apa yang tidak boleh dilakukannya ialah menjelaskan dirinya sendiri atau mengendalikan kategori yang tiada siapa melatihnya.

Model bahasa besar — teknologi yang sama seperti pembantu sembang — boleh diberi arahan bertulis: "Adakah teks ini menuduh seseorang yang boleh dikenal pasti melakukan kesalahan? Jawab ya atau tidak dan nyatakan sebabnya." Ia mengendalikan nuansa, konteks dan arahan yang tiada pengelas dibina untuknya. Ia lebih perlahan dan lebih mahal, ia boleh tidak konsisten antara larian, dan ia kadang-kadang menyatakan kesimpulan yang salah dengan keyakinan penuh.

Pengelas memberitahu anda berapa banyak teks menyerupai contoh kesat yang dilatihnya. Model bahasa memberitahu anda apa yang ia fikirkan tentang teks itu. Tiada satu pun yang tahu sama ada teks itu benar.

Skor bukan keputusan

Pengelas yang mengembalikan 0.83 untuk "gangguan" belum menemui gangguan. Ia telah melaporkan bahawa teks itu kelihatan, secara statistik, seperti perkara yang dilabelkan gangguan dalam data latihannya. Seseorang perlu memutuskan nombor mana yang dianggap terlalu tinggi. Nombor itu ialah ambang, dan memilihnya adalah pertukaran tanpa jawapan yang betul.

Tetapkan ambang rendah dan anda menangkap lebih banyak kandungan yang benar-benar berbahaya, tetapi anda juga menandakan lebih banyak kandungan yang tidak bersalah — positif palsu. Tetapkan ia tinggi dan lebih sedikit siaran yang tidak bersalah ditandakan, tetapi lebih banyak yang berbahaya terlepas — negatif palsu.

Kesilapan mana yang lebih teruk bergantung pada apa yang berlaku seterusnya. Jika bendera hanya menghantar siaran kepada manusia untuk pemeriksaan lebih dekat, positif palsu memakan masa tiga puluh saat seseorang, dan ambang rendah adalah munasabah. Jika bendera memadamkan siaran secara automatik, positif palsu membungkam seseorang yang tidak melakukan kesalahan, dan anda harus lebih berhati-hati.

Inilah sebabnya mengapa sistem yang paling berguna tidak menyekat; ia menyusun. Kes-kes yang jelas di kedua-dua hujung ditangani dengan cepat, dan bahagian tengah yang tidak pasti dihantar kepada seseorang dengan skor yang dilampirkan.

Mengapa teks lebih sukar daripada yang disangka

Campuran bahasa. Kebanyakan model penyederhanaan dilatih terutamanya dalam bahasa Inggeris. Prestasi menurun untuk bahasa lain dan menurun lagi apabila bahasa dicampur dalam satu ayat — yang merupakan cara kebanyakan rakyat Malaysia sebenarnya menulis. Ayat yang bergerak antara bahasa Inggeris, Melayu, Mandarin dan partikel Hokkien, dalam ejaan rumi, mungkin dibaca dengan betul oleh model atau mungkin dibaca sebagai bunyi bising.

Slanga bergerak lebih pantas daripada data latihan. Penghinaan, jenaka dalaman dan istilah berkod berubah setiap beberapa bulan. Model yang dilatih tahun lepas tidak pernah melihat perbendaharaan kata tahun ini.

Konteks menentukan makna. "Saya akan membunuhnya" selepas perlawanan bola sepak dan ayat yang sama selepas penerangan tentang diintai adalah perkara yang berbeza. Begitu juga dengan perkataan kesat yang digunakan sebagai serangan dan perkataan yang sama yang dipetik oleh orang yang ditujukan. Pengelas melihat perkataan; mereka melihat sedikit tentang situasi itu.

Pengelakan yang disengajakan. Orang yang ingin melepasi penapis akan menggantikan aksara, menambah ruang, menggunakan huruf yang serupa, atau meletakkan teks di dalam imej. Sistem mudah dikalahkan oleh helah mudah.

Sarkasme dan ucapan yang dilaporkan. "Oh tentu, dia pasti orang yang paling jujur di kampus" tidak mengandungi sebarang perkataan yang boleh ditandakan sama sekali.

Apa yang AI tidak boleh tahu

Beberapa soalan penyederhanaan yang paling penting sama sekali bukan tentang bahasa, dan tiada model boleh menjawabnya daripada teks sahaja.

• Adakah ia benar? Tuduhan yang tenang, spesifik, dan ditulis dengan baik mendapat skor yang sangat selamat. Ia juga mungkin memfitnah. Kebenaran adalah fakta tentang dunia, bukan sifat ayat.
• Adakah orang ini boleh dikenal pasti oleh khalayak anda? "Lelaki yang menguruskan kedai fotokopi berhampiran pintu timur" tidak mengandungi nama. Semua orang di kampus anda tahu dengan tepat siapa yang dimaksudkan. Model tidak pernah ke kampus anda.
• Adakah orang ini tokoh awam? Perisian kadang-kadang dapat mengesan bahawa nama hadir. Ia tidak dapat memberitahu menteri kerajaan daripada rakan sekelas dengan nama yang sama secara boleh dipercayai.
• Adakah orang ini bersetuju? Foto dua orang di sebuah parti mungkin telah dikongsi dengan restu mereka, atau mungkin perkara paling kejam dalam barisan anda bulan ini.

Ini adalah soalan untuk manusia yang mengenali komuniti. Paling banyak yang boleh dilakukan oleh alat ialah menyedari bahawa soalan itu perlu ditanya — contohnya, dengan menandakan bahawa penyerahan kelihatan mengandungi nama peribadi — dan menghantarnya kepada seseorang yang boleh membuat keputusan. Lihat Apabila penyerahan menamakan seseorang.

Imej

Penyederhanaan imej biasanya menggabungkan beberapa pemeriksaan:

• Pengelas kandungan eksplisit, yang menilai kemungkinan imej itu bersifat seksual. Ini cukup baik untuk gambar dan ketara lebih lemah dengan lukisan, pencahayaan yang luar biasa, dan imej yang bersifat sugestif tanpa menjadi eksplisit. Pakaian renang, imej perubatan dan orang yang hanya tidak berbaju menghasilkan positif palsu yang kerap.
• Model bahasa berkemampuan penglihatan, yang boleh diminta untuk menerangkan imej dan menilainya mengikut peraturan bertulis — berguna untuk keganasan, senjata, atau penggunaan dadah.
• Pengekstrakan teks, untuk membaca perkataan di dalam tangkapan skrin dan meme supaya ia boleh diperiksa seperti teks lain. Tanpa langkah ini, perenggan yang melanggar peraturan yang ditampal ke dalam imej akan melepasi tanpa disentuh.

Apa yang model imej secara amnya jangan lakukan adalah melindungi privasi. Foto jelas wajah orang asing, ID pelajar atau plat kereta tidak "tidak selamat" dalam mana-mana kategori yang diketahui oleh model ini. Pemeriksaan itu masih milik anda — lihat Menyederhanakan imej dan video.

Video

Video adalah urutan panjang imej dengan runut bunyi, dan ia mahal untuk diperiksa sepenuhnya. Kebanyakan sistem mengambil sampel bingkai — satu setiap saat atau setiap beberapa saat — dan mengklasifikasikan setiap satu. Dua akibat berlaku.

Pertama, sesuatu yang muncul untuk masa yang kurang daripada jurang antara sampel boleh terlepas sepenuhnya. Kedua, sistem yang hanya memeriksa lakaran kecil atau bingkai pertama hampir tidak memeriksa video sama sekali, dan anda harus mengetahui sama ada sistem anda melakukan lebih daripada itu.

Audio adalah perkara yang berasingan. Melainkan alat menyalin ucapan dan menyederhanakan transkrip, apa sahaja yang dikatakan dalam video tidak diperiksa. Banyak alat tidak melakukannya.

Mengapa lebih daripada satu model membantu

Model yang berbeza membuat kesilapan yang berbeza. Pengelas terlepas penghinaan baru yang difahami oleh model bahasa; model bahasa meluluskan imej yang dinilai eksplisit oleh pengelas yang dibina khas. Menjalankan beberapa pemeriksaan bebas dan membiarkan mana-mana satu daripadanya menaikkan bendera menangkap lebih banyak daripada model tunggal terbaik — dengan kos lebih banyak bendera untuk disemak. Untuk barisan di mana manusia menyemak semua yang ditandakan, itu biasanya pertukaran yang betul.

Perkataan penting ialah bebas. Dua produk yang dibina di atas model asas yang sama akan berkongsi titik buta yang sama.

Soalan untuk ditanya tentang mana-mana alat penyederhanaan

1. Apa sebenarnya yang diperiksanya? Teks sahaja? Imej? Teks di dalam imej? Setiap bingkai video atau hanya lakaran kecil? Audio?
2. Bahasa mana yang diuji? Jika jawapannya samar-samar, anggap bahasa Inggeris.
3. Apa yang berlaku apabila ia menandakan sesuatu? Adakah ia menyekat, menahan untuk semakan, atau hanya melabel?
4. Bolehkah anda melihat mengapa? Alat yang menunjukkan pemeriksaan mana yang diaktifkan dan apa yang dinilainya membolehkan anda mempelajari tabiatnya. "Ditolak" kosong tidak mengajar anda apa-apa.
5. Apa yang berlaku apabila ia tidak tersedia? Jika perkhidmatan tidak berfungsi, adakah penyerahan diteruskan tanpa diperiksa, atau menunggu?
6. Ke mana kandungan itu pergi? Penyerahan yang dihantar ke perkhidmatan pihak ketiga untuk pemeriksaan telah meninggalkan tangan anda. Ketahui sama ada perkhidmatan itu menyimpan apa yang diterimanya atau menggunakannya untuk latihan.
7. Bolehkah anda melaraskan ambang? Tetapan tetap yang direka untuk permainan kanak-kanak adalah salah untuk halaman universiti, dan sebaliknya.

Menggunakannya dengan baik

Anggap penyederhanaan automatik sebagai pembaca pertama yang tidak kenal penat yang pandai mengesan perkara yang jelas dan tidak mempunyai pertimbangan tentang perkara lain. Biarkan ia membersihkan apa yang jelas baik, menghentikan apa yang jelas tidak, dan melampirkan alasannya kepada segala-galanya di antaranya. Kemudian baca bahagian tengah itu sendiri.

Sebulan sekali, lihat apa yang ditandakannya yang anda luluskan dan apa yang diluluskannya yang anda tolak. Kedua-dua senarai itu menunjukkan kepada anda titik butanya, dan ia berbeza untuk setiap komuniti. Pasukan yang membacanya akan menangkap apa yang terlepas oleh mesin. Pasukan yang mempercayai tanda hijau akhirnya akan menerbitkan sesuatu yang tidak sepatutnya — dan "AI meluluskannya" tidak pernah menjadi pembelaan untuk apa-apa.

Soalan lazim

Bagaimanakah penyederhanaan kandungan AI berfungsi?

Dengan dua jenis model, yang sering digunakan bersama. Pengelas menghasilkan skor antara 0 dan 1 untuk setiap senarai kategori tetap, seperti gangguan atau kandungan seksual. Model bahasa besar diberikan arahan bertulis dan diminta untuk menilai kandungan berdasarkan arahan tersebut. Seseorang kemudian memilih ambang di mana skor dikira sebagai bendera.

Mengapa penyederhanaan AI menandakan siaran yang tidak bersalah dan terlepas siaran yang berbahaya?

Kerana skor bukanlah keputusan. Ambang rendah menangkap lebih banyak kandungan berbahaya dan menandakan lebih banyak kandungan tidak bersalah; ambang tinggi melakukan sebaliknya. Pengelas juga melihat perkataan dan sedikit situasi, jadi slanga, sindiran, ucapan yang dipetik dan pengelakan yang disengajakan semuanya menipu mereka.

Apakah yang tidak dapat dikesan oleh penyederhanaan AI?

Sama ada sesuatu kenyataan itu benar, sama ada seseorang itu boleh dikenal pasti oleh khalayak tertentu anda, sama ada seseorang itu tokoh awam atau rakan sekelas dengan nama yang sama, dan sama ada orang dalam foto itu bersetuju. Ini adalah soalan untuk manusia yang mengenali komuniti; paling banyak yang boleh dilakukan oleh alat ialah menandakan bahawa soalan itu perlu ditanya.

Adakah penyederhanaan AI berfungsi untuk siaran Bahasa Melayu dan bahasa campuran?

Kurang berkesan. Kebanyakan model penyederhanaan dilatih terutamanya dalam Bahasa Inggeris, prestasi menurun untuk bahasa lain, dan ia menurun lebih jauh apabila bahasa dicampur dalam satu ayat — yang merupakan cara kebanyakan rakyat Malaysia menulis. Tanya bahasa mana yang diuji oleh alat, dan anggap Bahasa Inggeris jika jawapannya samar-samar.

Bagaimanakah video disederhanakan secara automatik?

Kebanyakan sistem mengambil sampel bingkai — satu setiap saat atau setiap beberapa saat — dan mengklasifikasikan setiap satu. Sesuatu yang ditunjukkan untuk masa yang kurang daripada jurang antara sampel boleh terlepas, dan sistem yang hanya menyemak lakaran kecil hampir tidak menyemak video. Melainkan alat itu menyalin ucapan, apa sahaja yang dikatakan dalam video tidak disemak sama sekali.

Adakah lebih baik menggunakan lebih daripada satu model penyederhanaan?

Biasanya, di mana seseorang menyemak semua yang ditandakan. Model yang berbeza membuat kesilapan yang berbeza, jadi beberapa semakan bebas, mana-mana satu daripadanya boleh menaikkan bendera, menangkap lebih banyak daripada model tunggal terbaik, dengan kos lebih banyak bendera untuk disemak. Mereka mesti bebas: dua produk yang dibina berdasarkan model asas yang sama berkongsi titik buta yang sama.