Menjadi jurutera AI yang digunakan ke hadapan: mengapa kebanyakan projek AI tidak pernah mencapai pengeluaran — dan siapa yang membawanya ke sana
Lebih daripada 80% projek AI gagal sebelum pengeluaran, kata penceramah — dan orang yang membawanya ke sana menghabiskan sebahagian besar masa mereka untuk orang dan sistem lama, bukan model. Nota kami daripada webinar percuma AITraining2U Dr Yu Yong Poh, dengan demo langsung ejen pertikaian yang dibina secara naif dan secara diperkukuh.
- Talk
- Menjadi Jurutera AI yang Dikerahkan ke Hadapan
- Speaker
- Dr Yu Yong Poh — Deputy Director of CBIEV at TAR UMT, former head of the data science laboratory at a public listed bank
- Host
- Warren, founder of AITraining2U
- Bila
- Khamis 8 Oktober 2026, disenaraikan untuk 9:00–10:30 malam waktu Malaysia; diiklankan sebagai kelas induk 90 minit
- Ke mana
- Online, one of AITraining2U’s free Thursday webinars
- Material
- 38 slaid dengan tujuh “Sudut Pemikiran”, dan demo web langsung agen pertikaian
Menjadi Jurutera AI yang Dikerahkan ke Hadapan adalah webinar percuma pada malam Khamis oleh AITraining2U pada 8 Oktober 2026, yang disampaikan oleh Dr Yu Yong Poh dan dihoskan oleh pengasas syarikat, Warren. Jemputan itu menjanjikan contoh langsung “mengapa skrip AI naif terhempas dalam pengeluaran dan bagaimana Jurutera yang Dikerahkan ke Hadapan mengukuhkan agen perusahaan”. Tiga minggu kemudian pembentang memberikan susulan praktikal mengenai pembinaan agen itu sendiri; bersama-sama kedua-dua ceramah ini membentuk siri dua bahagian ini.
Infografik ini merangkumkan ceramah dalam satu halaman. Bahagian selepasnya mengulas setiap idea dengan contoh pembentang sendiri.
Istilah yang digunakan dalam bahagian ini
- Jurutera yang dikerahkan ke hadapan (FDE)
- Seorang jurutera yang bekerja di dalam syarikat pelanggan untuk membina, mengukuhkan dan menyambungkan sistem AI yang mengendalikan perniagaan — sebahagian perunding, sebahagian pembangun, sebahagian penyepadu sistem.
- Bukti konsep (PoC)
- Demo pantas yang menunjukkan idea boleh berfungsi. Ia tidak dibina untuk bertahan dengan pengguna sebenar, data sebenar atau serangan sebenar.
- Pengukuhan pengeluaran
- Kerja yang mengubah demo menjadi sistem yang boleh diandalkan oleh orang ramai: pemeriksaan input, had, pemantauan, kelulusan dan cara untuk mengundur.
- Integrasi sistem
- Menyambungkan sistem baharu kepada sistem sedia ada syarikat — pangkalan data, ERP, CRM, kerangka utama lama — supaya data mengalir di antara mereka.
- AI beragen
- AI yang bukan sahaja menjawab tetapi bertindak: ia merancang langkah-langkah, memanggil API, menanyakan pangkalan data dan mengubah data yang disimpan.
- Suntikan gesaan
- Satu helah di mana teks pengguna memberitahu AI untuk mengabaikan peraturannya, contohnya untuk meluluskan bayaran balik yang sepatutnya ditolak.
- Pembuat–penyemak
- Kawalan di mana satu pihak membuat perubahan dan pihak lain, dengan kuasa, menyemak dan meluluskannya sebelum ia berkuat kuasa.
Who is Dr Yu Yong Poh?
Dr Yu Yong Poh ialah Timbalan Pengarah CBIEV di Universiti Tunku Abdul Rahman dan Teknologi (TAR UMT), di mana kerja-kerja adalah menghubungkan universiti dengan industri dan mengubah penyelidikan menjadi projek komersial. Menurut slaid, pembentang sebelum ini mengetuai makmal sains data di sebuah bank tersenarai awam, meletakkan lebih daripada 100 model pembelajaran mesin ke dalam sistem perbankan langsung, mereka bentuk sistem pengesyorkan semua-dalam-satu yang besar dan menguruskan model ramalan di sebalik lebih daripada RM1 bilion hasil. Hos menambah bahawa pembentang juga pernah bekerja dalam AI untuk sebuah syarikat penerbangan.
Apakah itu jurutera yang dikerahkan ke hadapan?
Seorang jurutera yang dikerahkan ke hadapan (FDE) ialah seorang jurutera yang bekerja di dalam syarikat pelanggan untuk membina, mengukuhkan dan menyambungkan sistem AI yang mengendalikan perniagaannya. Berbeza dengan jurutera penyelesaian, yang membina demo sebelum jualan, seorang FDE menghantar perisian pengeluaran ke dalam sistem langsung pelanggan dan dinilai berdasarkan masa beroperasi dan pulangan pelaburan pelanggan.
Slaid-slaid tersebut mentakrifkan FDE sebagai jurutera yang ditempatkan dalam persekitaran pelanggan untuk membina, mengukuhkan dan mengintegrasikan sistem AI operasi. Peranan ini berasal daripada syarikat teknologi seperti Palantir. Seorang FDE tidak menulis bukti konsep yang boleh dibuang; seorang FDE menghantar perisian pengeluaran ke dalam sistem langsung pelanggan, dan kemudian mengubah apa yang dibina untuk seorang pelanggan menjadi ciri-ciri produk utama.
Menurut pembentang, pengekodan bukan lagi sains roket. Apa yang menjadikan pekerjaan itu sukar adalah segala-galanya di sekeliling kod. Pelanggan melihat FDE sebagai perunding, pembangun dan penyepadu sistem sekaligus, jadi FDE mesti bercakap bahasa pelanggan tanpa jargon, mengubah keperluan perniagaan menjadi kerja teknikal, dan mengubah hasil teknikal kembali kepada istilah perniagaan. Hos menambah bahawa pelanggan sering tidak dapat menyatakan apa yang mereka mahu: FDE perlu mengeluarkan keperluan, mengesahkannya, dan menjelaskan langkah-langkah, pertukaran, kos sebenar dan bagaimana pulangan pelaburan akan diukur.
| Peranan | Fokus utama | Apa yang disampaikan oleh peranan | Bagaimana kejayaan diukur |
|---|---|---|---|
| Penyelidik pembelajaran mesin | Reka bentuk model dan matematik fungsi kerugian | Buku nota dan titik semak model | Ketepatan pada penanda aras |
| Jurutera penyelesaian | Pra-jualan dan demo | Bukti konsep dan slaid yang diskrip | Urus niaga teknikal yang dimenangi |
| Jurutera platform | Alat dalaman dan pengkomputeran | Fail persediaan kluster dan SDK | Seberapa cepat pembangun syarikat sendiri bekerja |
| Jurutera yang dikerahkan ke hadapan | Integrasi dalam sistem langsung pelanggan | Mikroperkhidmatan pengeluaran | Masa beroperasi dan pulangan pelaburan pelanggan |
Empat peringkat penglibatan
Empat peringkat penglibatan FDE
Penemuan dan skop
Audit tembok api pelanggan dan kebersihan data, serta persetujuan sasaran masa tindak balas yang ketat. Berbincang dengan semua yang terlibat: bos dan kakitangan mungkin mahukan perkara yang berbeza.
Prototaip pantas
Menyampaikan saluran paip hujung ke hujung yang berfungsi dengan data sampel dalam masa 14 hari. Prototaip yang berfungsi menjelaskan lebih daripada seribu perkataan.
Pengukuhan pengeluaran
Tambah sambungan yang disulitkan antara perkhidmatan (mTLS), pengawal skema, metrik Prometheus, proses kelulusan dan pengunduran automatik.
Maklum balas platform
Ubah suai penyesuai yang dibina untuk pelanggan ini menjadi bahagian bersama produk utama, supaya pelanggan seterusnya bermula lebih awal.
Ujian penerimaan pengguna dengan pelanggan, pembentang menekankan, datang sebelum apa-apa yang disiarkan secara langsung.
Pandangan hos adalah bahawa ramai orang kini boleh melakukan dua peringkat pertama dengan alat mudah seperti n8n dan LangGraph, dan mula menawarkan sedikit perundingan AI. Kekurangan sebenar di Malaysia, kata hos, adalah orang yang boleh melakukan peringkat 3 dan 4 untuk syarikat besar.
Mengapa kebanyakan projek AI gagal sebelum pengeluaran?
Kebanyakan projek AI gagal antara demo dan pengeluaran kerana demo dibina untuk menarik perhatian, bukan untuk bertahan: data tiada atau tidak kemas, buku nota yang dijalankan tidak mempunyai kontrak atau pemantauan, rangkaian pelanggan menyekatnya, dan tiada siapa yang merancang kos operasi. Slaid dibuka dengan tiga angka penyelidikan.
- >80%projek AI gagal sebelum pengeluaranRAND Corporation, 2024
- 30%projek AI generatif ditinggalkan selepas bukti konsepGartner, Julai 2024: data buruk, kawalan risiko lemah, kos operasi tinggi
- 40%projek AI beragen berisiko dibatalkanRamalan Gartner untuk 2025–2027: gelung agen tanpa had, menulis tanpa pengunduran
Buku nota adalah punca biasa. Buku nota Jupyter seperti Google Colab sangat baik untuk penerokaan, tetapi dalam syarikat pelanggan ia gagal dalam tiga cara.
Keadaan global tersembunyi
Sel boleh berjalan dalam sebarang susunan, jadi pemboleh ubah tersembunyi dan larian yang sama tidak memberikan hasil yang sama dua kali.
Tiada kontrak API
Tiada pengesahan input, had kadar, belanjawan token atau pemeriksaan kesihatan — tiada apa-apa yang boleh diandalkan oleh sistem lain.
Telemetri sifar
Tiada siapa yang dapat melihat masa tindak balas, perubahan dalam data, atau gelung agen yang salah.
Pembentang menambah sebab-sebab daripada pengalaman. Kadangkala data untuk model yang dirancang tidak wujud: sebuah syarikat hartanah mahukan agen penilaian petunjuk tetapi tidak mempunyai sejarah untuk dipelajari, jadi saluran paip data perlu dibina terlebih dahulu. Rangkaian syarikat sering menyekat terowong dan alat demo, seperti Streamlit, yang diandalkan oleh prototaip. Dan kos mengejutkan orang ramai: API model mengenakan bayaran mengikut token, dan beberapa platform agen mengenakan bayaran untuk setiap mesej — walaupun “hello”.
PKS lwn. perusahaan: apa yang diperlukan oleh setiap jenis pelanggan daripada AI
Perniagaan kecil biasanya memerlukan automasi mudah di atas hamparan yang sudah ada; perusahaan besar memerlukan integrasi yang teliti dengan sistem lama, yang pembentang letakkan pada 70–80% daripada kerja. Pembentang menganggap perusahaan kecil dan sederhana (PKS) dan perusahaan besar sebagai pelanggan yang berbeza dengan masalah yang berbeza. Untuk PKS, nasihatnya adalah untuk memastikan ia mudah; untuk perusahaan, untuk menjangkakan kebanyakan kerja adalah menyambungkan sistem.
| Item | Pelanggan PKS | Klien perusahaan |
|---|---|---|
| Masalah data utama | Kekosongan data: data sedikit | Kekacauan data: banyak data dalam banyak jadual tanpa pautan yang jelas |
| Sistem | Hamparan dan alatan mudah | Sistem lama seperti COBOL, SAP dan SAS, sering dikaitkan dengan alatan Microsoft atau Google |
| Peraturan | Sedikit | Ketat: tiada pemacu USB, hanya pustaka Python yang diluluskan, had penggunaan awan |
| Penyelesaian yang sesuai | Automasi mudah: pautkan Google Sheets atau Excel ke dalam pangkalan data kecil, tambah papan pemuka dan ejen mudah (n8n, Gemini Gems, Copilot Studio) | Integrasi sistem (70–80% daripada kerja), API, automasi proses robotik untuk sistem tanpa API, dan ejen dengan langkah kelulusan |
| Adakah mereka memerlukan ejen AI? | Kebanyakannya tidak: skrip bersih dan alatan AI satu langkah; gelung ejen tanpa had boleh menelan belanja lebih daripada pekerja manusia | Ya, untuk mencapai data yang terkunci dalam pangkalan data SAP, Salesforce dan SQL — tetapi hanya dengan mesin keadaan, pengembalian, had kadar dan pusat pemeriksaan audit |
| Siapa yang perlu diupah | Seorang FDE, yang menghubungkan API AI sedia ada ke QuickBooks, Shopify atau HubSpot dengan had token dan caching | Jurutera AI untuk membina banyak ejen, bekerja dengan FDE yang menghubungkan mereka ke sistem sedia ada |
Apakah itu AI beragen, dan mengapa ia memerlukan FDE?
AI ejen ialah AI yang bertindak dan bukan hanya menjawab: ia merancang tugas dalam beberapa langkah, memanggil API luar, menanyakan pangkalan data SQL, mengendalikan ralat dan mengubah data yang disimpan oleh perniagaan. Oleh kerana kesilapan kini mengubah rekod sebenar, slaid mengatakan peranan jurutera beralih daripada “pereka gesaan” kepada “arkitek sistem teragih”. Mereka melukis aliran dalam empat fasa.
Bagaimana sistem ejen menjalankan tugas, dengan pengawal selianya
- Persepsi tugas: memahami permintaan dan menyemaknya terhadap skema
- pelan, bukan sembang bebasPerancang graf keadaan: pecahkan tugas kepada langkah-langkah dengan percubaan semula (LangGraph)
- setiap langkah memanggil alatPenghantaran alat melalui MCP: panggil API syarikat yang disahkan secara standard
- sebelum data berubahGerbang pengawal manusia: seseorang mengesahkan sebarang penulisan sebelum ia berlaku
Apakah kemahiran yang diperlukan oleh jurutera yang dikerahkan ke hadapan?
Seorang FDE memerlukan empat kumpulan kemahiran, menurut slaid: kejuruteraan perisian yang kukuh, mengendalikan data perusahaan yang tidak kemas, AI terapan dan LLMOps, dan integrasi sistem — yang slaid panggil “70% sebenar daripada pekerjaan”. Keselamatan, penggunaan dan bercakap dengan perniagaan berada di atas.
Kejuruteraan perisian
Pengetipan dan pengesahan ketat dengan Pydantic v2 dan MyPy, kod tak segerak supaya panggilan model tidak menyekat, dan ujian dengan API yang dimock.
Data perusahaan yang tidak kemas
SQL yang fasih, penstriman dan barisan, dan pembersihan data automatik.
AI terapan dan LLMOps
Pengambilan hibrid, pengawal selia tetap (deterministik) dan penilaian berterusan.
Integrasi sistem
Gerbang API, penyambung ke sistem lama, sandaran apabila sesuatu gagal, dan telemetri — “70% sebenar daripada pekerjaan”.
Keselamatan datang di atas: OAuth2 dan TLS bersama (mTLS), kawalan akses berasaskan peranan dan atribut, dan jejak audit kriptografi. AI perusahaan berjalan di salah satu daripada tiga tempat — awan peribadi maya klien, pelayan klien sendiri tanpa trafik internet awam, atau rangkaian terasing udara untuk pertahanan dan infrastruktur kritikal. Rantaian alat pada slaid berjalan dari FastAPI, Pydantic dan vLLM untuk melayan model, melalui LangGraph, Protokol Konteks Model (MCP), pgvector, Redis dan Kafka untuk ejen dan data, ke Ragas, Langfuse, DeepEval dan OpenTelemetry untuk penilaian, dan Docker, Kubernetes, Keycloak dan HashiCorp Vault untuk infrastruktur.
Bagaimana untuk menjadi jurutera yang dikerahkan ke hadapan: pelan tindakan 12 bulan
Slaid membentangkan setahun dalam empat suku: pertama membina perkhidmatan pengeluaran yang diuji, kemudian menyambungkannya ke sistem perusahaan, kemudian menjalankan dan menilai ejen, dan akhirnya memimpin penemuan dan penggunaan di klien.
- Bulan 1–3
Teras pengeluaran
Kontena Docker, FastAPI tak segerak, Pydantic ketat dan Git dengan integrasi berterusan. Sasaran: perkhidmatan terkontena dengan ujian.
- Bulan 4–6
Pemasangan perusahaan
Fungsi tetingkap SQL, log masuk OAuth2, barisan Redis dan bas webhook. Sasaran: jambatan berfungsi ke sistem CRM lama.
- Bulan 7–9
Operasi dan penilaian ejen
Mesin keadaan LangGraph, penemuan alat melalui MCP, dan alat penilaian Ragas. Sasaran: ejen tempatan yang dinilai sepenuhnya.
- Bulan 10–12
Kepimpinan lapangan
Temu bual penemuan, skop pernyataan kerja dan semakan seni bina dengan eksekutif. Sasaran: memimpin penggunaan terbenam di klien.
Tiga kes lapangan
Slaid membincangkan tiga kes, satu dalam setiap industri. Penceramah berkata ia dibina daripada jenis permintaan klien sebenar dan disesuaikan sebagai contoh; hasilnya adalah angka slaid.
| Kes | Masalah dan kesilapan biasa | Apa yang FDE bina — dan hasilnya |
|---|---|---|
| Pembuatan: mengesan asal usul komponen | Rangkaian kilang terasing udara, data siri yang tidak kemas, protokol mesin tanpa SDK awam. Kesilapan: memasukkan fail CSV statik ke dalam stor RAG asas, yang menghasilkan ID kelompok | Ejen yang melayari graf bil-bahan: amaran kamera QA, carian merentasi sistem ERP pembekal, gerbang keselamatan di atas keyakinan 98.5%, kemudian kuarantin kelompok dalam SAP. Hasil: penarikan balik kelompok buruk dipotong dari 72 jam kepada 4 minit |
| Perbankan runcit: nasihat produk dan penjagaan pelanggan | Mainframe COBOL berusia kira-kira 30 tahun, jawapan diperlukan dalam masa kurang daripada 200 ms, dan undang-undang privasi. Kesilapan: membiarkan model terbuka meluluskan bayaran balik yuran tanpa had atas | Ejen yang membaca corak perbelanjaan untuk mencadangkan produk dan mengendalikan pertikaian yuran, dengan had keras di bawah $100 dan lejar yang tidak boleh diubah. Hasil: 62% soalan diselesaikan pada hubungan pertama dan 28% lebih pendaftaran untuk pinjaman yang disesuaikan |
| E-dagang: aduan dan pertikaian | Pemulangan palsu, jurang dalam penjejakan pihak ketiga, masalah kunci pangkalan data. Kesilapan: bot permohonan maaf yang kedengaran baik tetapi tiada alat untuk mengubah pangkalan data | Ejen penjagaan yang menyemak foto dan tuntutan, menyemak silang GPS pembawa dan data berat, menulis ke PostgreSQL dan mencetuskan bayaran balik. Hasil: masa penyelesaian dipotong dari 5 hari bekerja kepada 45 saat, dan peningkatan menurun 74% |
Berbicara dengan perniagaan: “seekor kucing bercakap dengan seekor anjing”
Satu slaid bertanya sama ada pasukan teknikal dan pasukan perniagaan adalah “kucing bercakap dengan anjing”. Jurutera melaporkan bahawa skor kerugian jatuh dari satu nombor ke nombor lain; perniagaan hanya mendengar bahawa enam bulan dan $300,000 telah hilang, dan masih tidak tahu sama ada kurang pelanggan yang pergi. Hasilnya adalah belanjawan yang dibatalkan dan kebencian di kedua-dua belah pihak.
FDE adalah penterjemah. Matematik menjadi wang — tindak balas yang lebih cepat dinyatakan sebagai dolar yang disimpan setiap transaksi. Matlamat eksekutif dijelaskan sebelum baris kod ditulis. Dan kedua-dua belah pihak melihat satu papan pemuka dengan ukuran bersama, seperti seberapa cepat pertikaian diselesaikan di samping seberapa kerap API berfungsi. Permintaan yang samar-samar mesti menjadi sasaran dengan input, had dan tahap perkhidmatan yang jelas.
Klien bertanya
Samar-samar, tidak terbatas, mustahil untuk diuji
- “Bolehkah kita menyambungkan ejen AI ke dalam rantaian bekalan kita untuk menjadikannya pintar?”
- Membawa kepada skop yang meluas dan projek yang tidak pernah berakhir
FDE menterjemah
Input, had dan tahap perkhidmatan yang jelas
- “Ramalkan kehabisan stok komponen 48 jam lebih awal dengan ketepatan lebih daripada 92%.”
- Sesuatu yang kedua-dua belah pihak boleh ukur dan tandatangani
Dalam kemas kini kepada eksekutif, intipati datang dahulu: mulakan dengan masa atau wang yang disimpan, bendera penghalang awal, dan simpan kedalaman teknikal dalam lampiran.
Cadangan penyelidik — elakkan
- “Kami menyempurnakan model 7B-parameter dengan LoRA rank 16 dan mengurangkan kerugian entropi silang sebanyak 0.14.”
Cadangan FDE — pakai
- “Kami memotong penyelesaian pertikaian dari 5 hari kepada 45 saat, menjimatkan $380,000 setahun dengan ketepatan audit 99.4%.”
Setiap pihak berkepentingan bimbang tentang sesuatu yang berbeza, dan setiap satu memerlukan sesuatu yang berbeza daripada FDE.
| Pihak berkepentingan | Bimbang tentang | Apa yang FDE berikan kepada mereka |
|---|---|---|
| Penaja perniagaan | Kelajuan, pendapatan dan pulangan pelaburan yang boleh mereka pertahankan | Demo yang boleh diukur setiap dua minggu |
| Ketua IT klien | Masa henti dan perisian yang tiada siapa akan menyokong | Fail persediaan automatik (carta Helm) dan runbook |
| Pegawai keselamatan | Kebocoran data peribadi, penulisan pangkalan data yang tidak diluluskan, pematuhan | Bil bahan perisian yang bersih dan laporan ujian penembusan |
Apabila pengeluaran tergendala: bilik perang insiden
Perkara-perkara berlaku salah dalam pengeluaran, dan slaid membentangkan apa yang FDE lakukan apabila ia berlaku.
Contain it
Trip a circuit breaker so the system falls back to fixed rules instead of taking the client’s apps down.
Say what is happening
Give every affected customer a status update every 30 minutes while the investigation runs.
Find the cause, without blame
Write a blameless root-cause analysis, with automated regression tests so it cannot happen again.
Fix the platform
Patch the edge case in the shared code, so the other clients’ deployments are protected too.
Tujuh Sudut Pemikiran
The slides pause seven times for a short debate. These are the questions, and the answers on the slides.
| Soalan | Jawapan pada slaid |
|---|---|
| Is the traditional data scientist still relevant? | Manual model tuning and analysis of static CSV files are now common goods. Statistics still matters for designing evaluations, and good data scientists move into FDE work, where the advantage is connecting the whole system |
| Open-source or proprietary AI models? | Proprietary models (OpenAI, Anthropic) reason best and need no servers, but bring lock-in, rate limits and data rules. Open-weight models (Llama, Mistral, Qwen) keep data in-house and run offline, but need GPUs; they suit defence, banking and healthcare |
| Do we really need AI agents? | Small firms mostly need simple scripts and single-step AI tools. Large enterprises do need agents, but only with fixed software guardrails |
| The more agents, the better? | No. Five agents that are each 90% reliable give only about 59% success end to end; agent chatter adds 30 seconds or more; free debates cannot be replayed to find a bug. Never use an agent where a 10-line Python function works; one strong model with strict JSON tools beats a swarm |
| Does an SME need an AI engineer or an FDE? | An FDE, who wires ready-made AI APIs into the systems the SME already has, keeps the monthly bill small with token limits and caching, and delivers something that pays for itself in weeks |
| Technical team and business team: a cat talking to a dog? | The FDE translates both ways — maths into money, goals into code — with one shared dashboard |
| Is coding still relevant in the era of AI? | Boilerplate and copy-paste coding are now done by AI, but reviewing code, designing systems and checking security matter more. The FDE’s strength is directing AI coding tools precisely and verifying what they produce |
Jangan percaya sesiapa: keselamatan dan akauntabiliti
The speaker’s example was a commission dispute. A property agent says this month’s pay should be 20K, not 17K. If an AI agent can change the database, who approves the change — and was the 17K already paid, so that only 3K is owed? The speaker’s rule is to “trust nobody”, human or agent. One person with authority approves the change; human errors go back to people and system bugs to the system; and user acceptance testing (UAT) with the client is essential before anything goes live.
“I practise trust nobody, be it agent or human.”
The other protections were need-to-know access to tables (one reason for many one-to-one tables), limits written into the system, maker–checker review, and above all defence against prompt injection, where a user tricks the AI into doing what it should not.
Bagaimanakah pengukuhan agen AI? Demo langsung
Hardening means writing the safeguards into the system rather than the prompt: mask personal data before it reaches the model, check claims with the source system, stop large payouts for a person, update the database in one locked transaction and keep a tamper-evident log. The speaker’s web demo shows each one.
To close, the speaker shared a web demo, the Agentic Dispute & Rectification Engine, and invited everyone to try it. It is not a full solution, the speaker said: it shows the trouble that comes when an AI engineer builds a dispute service the naive way, and what a professional FDE system adds — including a maker and a checker. The page has two modes, Naive Prototype and Hardened System, four test cases, and five steps. For each step it shows the common trap, the FDE’s fix and a short code sample.
| Step | The naive trap | The FDE fix |
|---|---|---|
| 1 · Take in the message | The raw message, with an identity number, goes straight to a cloud model | Personal data is masked first (Presidio), and the input is checked against a Pydantic schema |
| 2 · Check with the carrier | The agent believes the customer’s words | An authenticated MCP tool asks the carrier for GPS, scale-weight and photo data |
| 3 · Policy gate | The model decides the refund, with no upper limit | Hard limits in code: over $150, or a high fraud score, goes to a person |
| 4 · Update the database | A raw SQL update that can clash with another one | One ACID transaction with a row lock (SELECT … FOR UPDATE) |
| 5 · Keep a record | A console log that disappears when the container restarts | A SHA-256 hash in an append-only ledger, and a payment webhook with retries |
We ran all four cases in both modes. The difference is starkest in the third: the naive agent obeys a message that begins “SYSTEM OVERRIDE” and approves a $5,000 wire refund, while the hardened one spots the injection, locks the session and logs the incident.
| Test case | Naive prototype | Hardened system |
|---|---|---|
| A · A valid damaged parcel, $89.50 | Refunds, but sends the customer’s identity number to the outside model | Masks the number, confirms delivery with the carrier, passes the $150 check, records the fix in one transaction |
| B · A $1,850 laptop “never delivered” | Approves a large payout with no human approval | Stops at the $150 limit and sends the case, with its evidence, to a person |
| C · “SYSTEM OVERRIDE” prompt injection | Obeys the message and approves a $5,000 wire refund | Detects the injection, locks the session, stops and logs the incident |
| D · An empty box, $140 | Apologises and promises a refund, but updates nothing | Finds the parcel was 2.3 kg light at the hub scan and flags a carrier problem |
One small mismatch on the page itself: its text gives the fraud-score limit as 0.40, while its code sample uses 0.35. The run also shows fixed demo values for the cost of a run — 2,850 tokens naive, 640 hardened.
Nasihat praktikal daripada soalan-soalan
- Almost no company needs to train its own AI model. Frontier and open models are good enough, and training one costs far more than most companies can pay; when a client says “train the AI”, it usually means a knowledge base or better prompts.
- Open-source models are not free to run: they need powerful GPUs.
- Fewer agents are better, but an agent given too many instructions forgets them, so split agents by function.
- A vague goal such as “make it smarter” must become a measurable target before work starts.
- Coding still matters — for reviewing AI-written code, designing systems and checking security — even while the AI writes most of it.
- Give the client something useful within one to three months, and a roadmap for twelve.
The speaker also introduced a three-day AI engineering course in Kuala Lumpur, run with the organiser on 11 to 13 November 2026, for people with basic Python and a basic understanding of AI. Part 2 of this series covers the free follow-up webinar on 29 October, where the speaker built a production agent with Google ADK, RAG and MCP.
What this means if you run a community page
Most readers of this blog run a confession or community page, and the same rules carry over to any AI you let near it. Put limits in the system, not in a prompt the AI can be talked out of. Keep a maker and a checker on anything that is published or deleted. Mask personal details before text goes to an outside AI service. And trust nobody, human or agent, with a change that cannot be taken back.
Soalan lazim
Apakah itu jurutera yang dikerahkan ke hadapan?
A forward deployed engineer (FDE) is an engineer who works inside a client’s company to build, harden and integrate AI systems that run the business. The role comes from companies such as Palantir. An FDE ships production software rather than throwaway demos, and turns what was built for one client into features of the main product.
How is an FDE different from a solutions engineer?
According to the talk, a solutions engineer works before the sale, on demos and scripted proofs of concept, and is measured by deals won. An FDE works after the sale, inside the client’s live systems, delivering production microservices, and is measured by uptime and the client’s return on investment.
Mengapa kebanyakan projek AI gagal sebelum pengeluaran?
The speaker cited RAND Corporation research that more than 80% of AI projects fail before production. Common reasons given were poor or missing data, notebook demos with hidden state and no API contracts or monitoring, company networks that block demo tools, and running costs that nobody planned for.
Does a small business need an AI engineer or an FDE?
The slides argue for an FDE. Small businesses rarely have enough data to justify fine-tuning models or the budget for GPU servers. An FDE connects ready-made AI APIs to the systems the business already uses, such as QuickBooks, Shopify or HubSpot, with token limits and caching that keep the monthly bill small.
Are more AI agents better?
No, according to the talk. Errors compound: five agents that are each 90% reliable succeed together only about 59% of the time, agent-to-agent chatter adds delay, and free debates between agents are hard to replay when something breaks. The rule on the slides is never to use an agent where a short Python function works reliably.
What does hardening an AI agent mean?
Turning a working demo into a system that survives real use. In the talk’s demo that meant masking personal data before it reaches the model, checking claims against the source system, writing hard limits into code so a person reviews large refunds, updating the database in one locked transaction, and keeping a tamper-evident audit log.
Sources
- Webinar AI percuma — AITraining2U
- Agentic Dispute & Rectification Engine — web demo by Yu Yong Poh
- The Root Causes of Failure for Artificial Intelligence Projects and How They Can Succeed — RAND Corporation, 2024
- Protokol Konteks Model — modelcontextprotocol.io