[{"data":1,"prerenderedAt":182},["ShallowReactive",2],{"site-header":3,"site-footer-license":37,"article-di-balik-dapur-jepa-rahasia-ema-vicreg-dan-efisiensi-komputasi-with-latest":41},{"navigations":4},[5,20],{"collection":6,"item":7},"series",{"__typename":6,"title":8,"slug":9,"children_series":10},"Artikel","all",[11,14,17],{"title":12,"slug":13},"Algoritma dan Struktur Data","algoritma-struktur-data",{"title":15,"slug":16},"Konsep Dasar Pemrograman","konsep-dasar-pemrograman",{"title":18,"slug":19},"Kecerdasan Artifisial","kecerdasan-artifisial",{"collection":6,"item":21},{"__typename":6,"title":22,"slug":23,"children_series":24},"Tutorial","tutorial",[25,28,31,34],{"title":26,"slug":27},"Belajar Java","belajar-java",{"title":29,"slug":30},"Belajar Pascal","belajar-pascal",{"title":32,"slug":33},"Belajar Python","belajar-python",{"title":35,"slug":36},"Belajar Golang","belajar-golang",{"name":38,"url":39,"show":40},"CC BY-SA","https://creativecommons.org/licenses/by-sa/4.0/",false,{"article":42,"renderedBody":114,"renderedTakeaway":115,"latestArticles":116,"toc":168},{"id":43,"title":44,"slug":45,"excerpt":46,"published_at":47,"thumbnail_image":48,"tags":50,"reading_time":53,"takeway":54,"body":55,"authors":56,"series":62},"5","Di Balik Dapur JEPA: Rahasia EMA, VICReg, dan Efisiensi Komputasi","di-balik-dapur-jepa-rahasia-ema-vicreg-dan-efisiensi-komputasi","Bosen sama AI yang cuma jago nebak kata atau ngafalin pixel? Kenalan sama JEPA, arsitektur revolusioner yang ngajarin mesin punya \"akal sehat\" secara super efisien. Yuk intip jeroan teknisnya!","2026-06-07T16:14:13.723Z",{"id":49},"b2c9186e-e850-4b5f-99d5-cce6b53726c4",[51,52],"jepa","artificial-intelligent",4,null,"Dunia AI saat ini memang lagi heboh-hebohnya dengan model generatif. Tapi kalau kita menggeser fokus sedikit dari *hype* pembuatan gambar atau teks, ada satu revolusi besar di bidang *Self-Supervised Learning* (SSL) yang diusung oleh Yann LeCun, yaitu **JEPA (Joint-Embedding Predictive Architecture)**.\n\nKonsep ini pada dasarnya mencoba menjawab satu masalah fundamental: bagaimana cara kita mengajari mesin untuk punya pemahaman atau \"akal sehat\" tentang dunia, tanpa harus menyuapinya dengan label data terus-menerus? Buat yang suka ngoprek arsitektur model, JEPA ini nawarin pendekatan yang sangat berbeda dan super elegan dibandingkan metode konvensional.\n\nMari kita bongkar jeroannya dan lihat kenapa arsitektur ini jadi bahan perbincangan hangat di kalangan peneliti.\n\n## JEPA vs Masked Auto Encoders (MAE): Beda Arena Pertarungan\n\nSelama ini, kalau kita ngomongin *representation learning* lewat metode *masking*, nama yang paling sering muncul adalah Masked Auto Encoders (MAE). Cara kerja MAE cukup *straightforward*: tutupi sebagian besar *patch* dari sebuah gambar (atau data lainnya), lalu minta *decoder* untuk merekonstruksi ulang **pixel** yang hilang tersebut.\n\nMasalahnya, dunia nyata itu sangat bising dan penuh dengan detail yang sebenarnya nggak penting. Meminta model untuk menebak posisi presisi setiap helai daun yang tertiup angin atau tekstur spesifik dari sebuah karpet adalah pemborosan kapasitas komputasi. Model dipaksa menghafal *noise* frekuensi tinggi.\n\nDi sinilah JEPA mengambil jalan pintas yang cerdas. JEPA tidak menebak pixel. Arsitektur ini menebak **representasi abstrak (embedding)** dari target di dalam *latent space*. Daripada menyuruh model \"menggambar ulang\" bagian yang hilang, JEPA lebih seperti menyuruh model \"menjelaskan konsep\" dari bagian yang hilang tersebut. Dengan memprediksi *embedding* ketimbang *pixel*, JEPA bisa mengabaikan detail-detail kosmetik yang tidak bisa diprediksi dan memfokuskan bobotnya pada fitur-fitur semantik yang esensial.\n\n## Mencegah \"Representation Collapse\" dengan EMA dan VICReg\n\nTantangan terbesar ketika kita menyuruh jaringan saraf untuk memprediksi *embedding* dari jaringan saraf lain adalah risiko *representation collapse*. Ini adalah mimpi buruk di mana model tiba-tiba menjadi sangat malas dan memutuskan untuk mengeluarkan vektor konstan (misalnya nol semua) untuk input apa pun. *Loss* akan anjlok jadi nol, tapi model kita tidak belajar apa-apa.\n\nUntuk mencegah kiamat *collapse* ini, JEPA menggunakan dua trik teknis yang sangat krusial:\n\nPertama, penggunaan **EMA (Exponential Moving Average)** pada *target encoder*. Dalam arsitektur JEPA, *target encoder* tidak pernah di-update secara langsung melalui *backpropagation*. Alih-alih, bobotnya diperbarui pelan-pelan menggunakan rata-rata pergerakan dari *context encoder*. Mekanisme EMA ini memastikan bahwa \"guru\" (target encoder) selalu berevolusi dengan stabil dan berada satu langkah di depan \"murid\" (predictor), sehingga prediktor memiliki target yang konsisten namun dinamis untuk dikejar.\n\nKedua, implementasi regulasi tambahan seperti **VICReg (Variance-Invariance-Covariance)**. Ini ibarat satpam yang menjaga kualitas *latent space*:\n\n* **Variance:** Memaksa agar *embedding* tetap memiliki variasi, sehingga titik-titik data tidak runtuh menyatu ke satu nilai konstan.\n* **Covariance:** Mendekorelasikan setiap dimensi dari matriks *embedding*, memastikan bahwa model tidak mempelajari informasi yang redundan di berbagai dimensi yang berbeda. Setiap dimensi dipaksa untuk menangkap fitur yang unik.\n* **Invariance:** Memastikan bahwa prediksi kita tetap tangguh dan konsisten meskipun ada distorsi pada input.\n\nKombinasi EMA dan regulasi seperti VICReg inilah yang membuat model tetap waras dan terus mengekstrak fitur yang kaya makna.\n\n## Keuntungan Asimetri: Efisiensi Komputasi yang Maksimal\n\nSatu lagi hal yang bikin JEPA sangat seksi secara arsitektur adalah desain asimetrisnya yang sangat efisien.\n\nPada MAE tradisional, kita sering kali membutuhkan *decoder* yang lumayan berat untuk memetakan kembali dari *latent space* ke dimensi *pixel* beresolusi tinggi. Di JEPA, pendekatannya sama sekali berbeda. Kita punya *context encoder* yang hanya memproses bagian input yang tidak tertutup (*unmasked*). Kemudian, *predictor* network yang bertugas memprediksi target biasanya didesain sangat kecil dan ringan (sering kali hanya *narrow transformer*).\n\nKarena kita tidak pernah melakukan rekonstruksi kembali ke *pixel space*, kita memotong habis beban komputasi yang biasanya dipakai untuk *rendering* data. Prediktor cukup beroperasi murni di *latent space*. Desain asimetris ini membuat iterasi eksperimen menjadi jauh lebih cepat dan pemakaian memori jauh lebih hemat, sehingga kita bisa melakukan *scaling* ke model yang jauh lebih besar atau memproses rentang waktu (seperti video atau sinyal berurutan) dengan jauh lebih efisien.\n\n## Jadi Intinya...\n\nEvolusi dari memprediksi *pixel* (MAE) menjadi memprediksi representasi abstrak (JEPA) adalah sebuah pergeseran paradigma yang sangat fundamental. Dengan bantuan EMA dan VICReg untuk menjaga integritas *latent space*, serta desain asimetris yang memaksimalkan efisiensi komputasi, JEPA membuktikan bahwa AI tidak perlu menghafal setiap debu di alam semesta untuk bisa memahaminya. Terkadang, memahami \"gambaran besarnya\" saja sudah cukup untuk membangun kecerdasan mesin yang tangguh dan skalabel. Ke depannya, pendekatan prediksi *latent* semacam ini sepertinya akan menjadi pondasi standar untuk membangun arsitektur yang benar-benar paham hukum sebab-akibat di dunia nyata.",[57],{"authors_id":58},{"name":59,"slug":60,"role":61,"profile_picture":54},"Daffa Izzuddin","izzudd","Writer",{"id":63,"title":18,"slug":19,"articles":64,"parent_series":106},"8",[65,76,85,94,103],{"id":66,"title":67,"slug":68,"excerpt":69,"thumbnail_image":70,"tags":72},"3","Mengenal JEPA: Saat AI Mulai Belajar Punya \"Akal Sehat\"","kenapa-ai-suka-halu-dan-gimana-jepa-beresin-masalah-ini","AI sering 'halu' karena cuma nebak probabilitas data tanpa paham realita. Arsitektur JEPA mencoba mengubah itu dengan membangun model dunia di kepalanya.",{"id":71},"bf61f88a-4e30-411b-85af-51b4827d1cc4",[73,51,74,75],"artificial-intelligence","world-models","yann-lecun",{"id":77,"title":78,"slug":79,"excerpt":80,"thumbnail_image":81,"tags":83},"2","LLM Bakal Mentok, Terus Gimana Dong?","llm-bakal-mentok-terus-gimana-dong","LLM kayak ChatGPT itu jago ngerangkai kata, tapi nggak beneran paham realitas. Yann LeCun bilang arsitektur ini bakal mentok dan butuh solusi baru.",{"id":82},"2538a162-75e8-4ede-bb30-56049e9a1f8d",[73,84,75,51],"llm",{"id":86,"title":87,"slug":88,"excerpt":89,"thumbnail_image":90,"tags":92},"1","Kenapa AI Suka 'Halu'? Kenalan sama JEPA, Otak AI yang Punya Akal Sehat","kenapa-ai-suka-halu-kenalan-sama-jepa-otak-ai-yang-punya-akal-sehat","AI generatif sering 'halu' karena cuma jago nebak pola kata. JEPA coba ngerombak itu dengan ngajarin AI cara kerja dunia nyata kayak otak manusia.",{"id":91},"ccb0b8cf-eec7-4a92-a416-7e0c22bb72ec",[51,73,75,93],"agi",{"id":95,"title":96,"slug":97,"excerpt":98,"thumbnail_image":99,"tags":101},"4","Bukan Sekadar Generative AI, JEPA Coba Kejar Pemahaman Konsep ala Manusia","kenapa-ai-masih-gagal-paham-fisika-dasar-mengenal-arsitektur-jepa","AI biasanya cuma jago nebak piksel, tapi JEPA coba belajar lewat konsep abstrak di ruang laten. Ternyata, cara ini bisa sampai dipakai buat baca gelombang otak.",{"id":100},"1dc76e72-c536-44c8-a995-bf05ddff90e5",[51,75,102,93],"machine-learning",{"id":43,"title":44,"slug":45,"excerpt":46,"thumbnail_image":104,"tags":105},{"id":49},[51,52],{"id":107,"title":8,"slug":9,"parent_series":54,"children_series":108},"9",[109,111,112],{"id":110,"title":12,"slug":13,"cover_image":54},"15",{"id":63,"title":18,"slug":19,"cover_image":54},{"id":113,"title":15,"slug":16,"cover_image":54},"12","\u003Cp>Dunia AI saat ini memang lagi heboh-hebohnya dengan model generatif. Tapi kalau kita menggeser fokus sedikit dari \u003Cem>hype\u003C/em> pembuatan gambar atau teks, ada satu revolusi besar di bidang \u003Cem>Self-Supervised Learning\u003C/em> (SSL) yang diusung oleh Yann LeCun, yaitu \u003Cstrong>JEPA (Joint-Embedding Predictive Architecture)\u003C/strong>.\u003C/p>\n\u003Cp>Konsep ini pada dasarnya mencoba menjawab satu masalah fundamental: bagaimana cara kita mengajari mesin untuk punya pemahaman atau "akal sehat" tentang dunia, tanpa harus menyuapinya dengan label data terus-menerus? Buat yang suka ngoprek arsitektur model, JEPA ini nawarin pendekatan yang sangat berbeda dan super elegan dibandingkan metode konvensional.\u003C/p>\n\u003Cp>Mari kita bongkar jeroannya dan lihat kenapa arsitektur ini jadi bahan perbincangan hangat di kalangan peneliti.\u003C/p>\n\u003Ch2 id=\"jepa-vs-masked-auto-encoders-mae-beda-arena-pertarungan\">JEPA vs Masked Auto Encoders (MAE): Beda Arena Pertarungan\u003C/h2>\n\u003Cp>Selama ini, kalau kita ngomongin \u003Cem>representation learning\u003C/em> lewat metode \u003Cem>masking\u003C/em>, nama yang paling sering muncul adalah Masked Auto Encoders (MAE). Cara kerja MAE cukup \u003Cem>straightforward\u003C/em>: tutupi sebagian besar \u003Cem>patch\u003C/em> dari sebuah gambar (atau data lainnya), lalu minta \u003Cem>decoder\u003C/em> untuk merekonstruksi ulang \u003Cstrong>pixel\u003C/strong> yang hilang tersebut.\u003C/p>\n\u003Cp>Masalahnya, dunia nyata itu sangat bising dan penuh dengan detail yang sebenarnya nggak penting. Meminta model untuk menebak posisi presisi setiap helai daun yang tertiup angin atau tekstur spesifik dari sebuah karpet adalah pemborosan kapasitas komputasi. Model dipaksa menghafal \u003Cem>noise\u003C/em> frekuensi tinggi.\u003C/p>\n\u003Cp>Di sinilah JEPA mengambil jalan pintas yang cerdas. JEPA tidak menebak pixel. Arsitektur ini menebak \u003Cstrong>representasi abstrak (embedding)\u003C/strong> dari target di dalam \u003Cem>latent space\u003C/em>. Daripada menyuruh model "menggambar ulang" bagian yang hilang, JEPA lebih seperti menyuruh model "menjelaskan konsep" dari bagian yang hilang tersebut. Dengan memprediksi \u003Cem>embedding\u003C/em> ketimbang \u003Cem>pixel\u003C/em>, JEPA bisa mengabaikan detail-detail kosmetik yang tidak bisa diprediksi dan memfokuskan bobotnya pada fitur-fitur semantik yang esensial.\u003C/p>\n\u003Ch2 id=\"mencegah-representation-collapse-dengan-ema-dan-vicreg\">Mencegah "Representation Collapse" dengan EMA dan VICReg\u003C/h2>\n\u003Cp>Tantangan terbesar ketika kita menyuruh jaringan saraf untuk memprediksi \u003Cem>embedding\u003C/em> dari jaringan saraf lain adalah risiko \u003Cem>representation collapse\u003C/em>. Ini adalah mimpi buruk di mana model tiba-tiba menjadi sangat malas dan memutuskan untuk mengeluarkan vektor konstan (misalnya nol semua) untuk input apa pun. \u003Cem>Loss\u003C/em> akan anjlok jadi nol, tapi model kita tidak belajar apa-apa.\u003C/p>\n\u003Cp>Untuk mencegah kiamat \u003Cem>collapse\u003C/em> ini, JEPA menggunakan dua trik teknis yang sangat krusial:\u003C/p>\n\u003Cp>Pertama, penggunaan \u003Cstrong>EMA (Exponential Moving Average)\u003C/strong> pada \u003Cem>target encoder\u003C/em>. Dalam arsitektur JEPA, \u003Cem>target encoder\u003C/em> tidak pernah di-update secara langsung melalui \u003Cem>backpropagation\u003C/em>. Alih-alih, bobotnya diperbarui pelan-pelan menggunakan rata-rata pergerakan dari \u003Cem>context encoder\u003C/em>. Mekanisme EMA ini memastikan bahwa "guru" (target encoder) selalu berevolusi dengan stabil dan berada satu langkah di depan "murid" (predictor), sehingga prediktor memiliki target yang konsisten namun dinamis untuk dikejar.\u003C/p>\n\u003Cp>Kedua, implementasi regulasi tambahan seperti \u003Cstrong>VICReg (Variance-Invariance-Covariance)\u003C/strong>. Ini ibarat satpam yang menjaga kualitas \u003Cem>latent space\u003C/em>:\u003C/p>\n\u003Cul>\n\u003Cli>\u003Cstrong>Variance:\u003C/strong> Memaksa agar \u003Cem>embedding\u003C/em> tetap memiliki variasi, sehingga titik-titik data tidak runtuh menyatu ke satu nilai konstan.\u003C/li>\n\u003Cli>\u003Cstrong>Covariance:\u003C/strong> Mendekorelasikan setiap dimensi dari matriks \u003Cem>embedding\u003C/em>, memastikan bahwa model tidak mempelajari informasi yang redundan di berbagai dimensi yang berbeda. Setiap dimensi dipaksa untuk menangkap fitur yang unik.\u003C/li>\n\u003Cli>\u003Cstrong>Invariance:\u003C/strong> Memastikan bahwa prediksi kita tetap tangguh dan konsisten meskipun ada distorsi pada input.\u003C/li>\n\u003C/ul>\n\u003Cp>Kombinasi EMA dan regulasi seperti VICReg inilah yang membuat model tetap waras dan terus mengekstrak fitur yang kaya makna.\u003C/p>\n\u003Ch2 id=\"keuntungan-asimetri-efisiensi-komputasi-yang-maksimal\">Keuntungan Asimetri: Efisiensi Komputasi yang Maksimal\u003C/h2>\n\u003Cp>Satu lagi hal yang bikin JEPA sangat seksi secara arsitektur adalah desain asimetrisnya yang sangat efisien.\u003C/p>\n\u003Cp>Pada MAE tradisional, kita sering kali membutuhkan \u003Cem>decoder\u003C/em> yang lumayan berat untuk memetakan kembali dari \u003Cem>latent space\u003C/em> ke dimensi \u003Cem>pixel\u003C/em> beresolusi tinggi. Di JEPA, pendekatannya sama sekali berbeda. Kita punya \u003Cem>context encoder\u003C/em> yang hanya memproses bagian input yang tidak tertutup (\u003Cem>unmasked\u003C/em>). Kemudian, \u003Cem>predictor\u003C/em> network yang bertugas memprediksi target biasanya didesain sangat kecil dan ringan (sering kali hanya \u003Cem>narrow transformer\u003C/em>).\u003C/p>\n\u003Cp>Karena kita tidak pernah melakukan rekonstruksi kembali ke \u003Cem>pixel space\u003C/em>, kita memotong habis beban komputasi yang biasanya dipakai untuk \u003Cem>rendering\u003C/em> data. Prediktor cukup beroperasi murni di \u003Cem>latent space\u003C/em>. Desain asimetris ini membuat iterasi eksperimen menjadi jauh lebih cepat dan pemakaian memori jauh lebih hemat, sehingga kita bisa melakukan \u003Cem>scaling\u003C/em> ke model yang jauh lebih besar atau memproses rentang waktu (seperti video atau sinyal berurutan) dengan jauh lebih efisien.\u003C/p>\n\u003Ch2 id=\"jadi-intinya\">Jadi Intinya...\u003C/h2>\n\u003Cp>Evolusi dari memprediksi \u003Cem>pixel\u003C/em> (MAE) menjadi memprediksi representasi abstrak (JEPA) adalah sebuah pergeseran paradigma yang sangat fundamental. Dengan bantuan EMA dan VICReg untuk menjaga integritas \u003Cem>latent space\u003C/em>, serta desain asimetris yang memaksimalkan efisiensi komputasi, JEPA membuktikan bahwa AI tidak perlu menghafal setiap debu di alam semesta untuk bisa memahaminya. Terkadang, memahami "gambaran besarnya" saja sudah cukup untuk membangun kecerdasan mesin yang tangguh dan skalabel. Ke depannya, pendekatan prediksi \u003Cem>latent\u003C/em> semacam ini sepertinya akan menjadi pondasi standar untuk membangun arsitektur yang benar-benar paham hukum sebab-akibat di dunia nyata.\u003C/p>\n","",[117,130,145,157],{"id":118,"title":119,"slug":120,"excerpt":121,"thumbnail_image":122,"tags":124},"46","Mengapa C Mulai Ditinggalkan: Duel Filosofi Keamanan Rust vs Kesederhanaan Zig","mengapa-c-mulai-ditinggalkan-duel-filosofi-rust-vs-zig","Pernah denger kalau sekitar 70% celah keamanan kritis software modern itu asalnya dari bahasa C? Iya, bahasa yang udah jadi fondasi internet ini 😅. Yuk, kita bedah duel filosofi Rust vs Zig dan cari tahu mana yang pas buat proyek kalian!",{"id":123},"1942a5c9-c1f6-476d-9913-768f78d9d8eb",[125,126,127,128,129],"system-programming","rust","zig","c","memory-safety",{"id":131,"title":132,"slug":133,"excerpt":134,"thumbnail_image":135,"tags":137},"45","Rate Limiting Algorithms: Token Bucket vs Leaky Bucket vs Sliding Window","rate-limiting-algorithms-token-bucket-leaky-bucket-sliding-window","Udah tahu kenapa *rate limiting* itu wajib, tapi masih bingung beda Token Bucket, Leaky Bucket, Fixed Window, dan Sliding Window? Yuk, kita adu empat algoritma ini bareng-bareng dan cari tahu mana yang paling pas buat API kalian!",{"id":136},"0e0ed26d-20c6-443c-bde1-4a6200f6f801",[138,139,140,141,142,143,144],"backend","system-design","rate-limiting","redis","api-gateway","architecture","traffict-management",{"id":146,"title":147,"slug":148,"excerpt":149,"thumbnail_image":150,"tags":152},"44","Transactional Outbox Pattern: Solusi Konsistensi Database dan Message Broker Tanpa 2PC","transactional-outbox-pattern-konsistensi-database-message-broker","Pernah nggak kalian lihat pesanan udah masuk database, tapi email konfirmasinya nggak pernah kekirim? Itu gejala *dual-write problem*. Yuk, kita bedah Transactional Outbox Pattern biar data dan *event* kalian nggak lagi berselisih paham!",{"id":151},"e3c617fd-1486-4b82-b937-94fbec846c77",[138,153,143,154,155,139,156],"microservices","database","message-broker","postgresql",{"id":158,"title":159,"slug":160,"excerpt":161,"thumbnail_image":162,"tags":164},"43","Dead Letter Queue (DLQ) & Retry Policy: Menyelamatkan Pesan Nyasar di RabbitMQ Tanpa Bikin Worker Macet","dead-letter-queue-retry-policy-rabbitmq-resilient-messaging","Pernah nggak sih, *worker* kalian nolak satu pesan terus-terusan sampai CPU melonjak 100%? Itu namanya *poison message loop*, jebakan klasik di RabbitMQ. Yuk, kita bahas cara pasang *retry policy* dan *dead letter queue* yang bener!",{"id":163},"6c0a7ead-4841-4073-b29e-df7ae0f2aa3c",[165,155,138,143,153,166,167],"rabbitmq","async","python",[169,173,176,179],{"text":170,"depth":171,"id":172},"JEPA vs Masked Auto Encoders (MAE): Beda Arena Pertarungan",2,"jepa-vs-masked-auto-encoders-mae-beda-arena-pertarungan",{"text":174,"depth":171,"id":175},"Mencegah \"Representation Collapse\" dengan EMA dan VICReg","mencegah-representation-collapse-dengan-ema-dan-vicreg",{"text":177,"depth":171,"id":178},"Keuntungan Asimetri: Efisiensi Komputasi yang Maksimal","keuntungan-asimetri-efisiensi-komputasi-yang-maksimal",{"text":180,"depth":171,"id":181},"Jadi Intinya...","jadi-intinya",1791045071792]