[{"data":1,"prerenderedAt":346},["ShallowReactive",2],{"tag-labels":3,"site-header":4,"article-di-balik-dapur-jepa-rahasia-ema-vicreg-dan-efisiensi-komputasi-id":72},{},{"featuredPost":5,"navigations":29},{"id":6,"title":7,"title_en":8,"slug":9,"excerpt":10,"excerpt_en":11,"has_translation":12,"published_at":13,"reading_time":14,"hidden_from_listing":15,"tags":16,"thumbnail_image":21,"og_image":22,"series":23,"authors":28},110,"Ketika Pilih Framework Cuma Biar Kelihatan Beda","When You Pick a Framework Just to Look Different","ketika-pilih-framework-cuma-biar-kelihatan-beda","Terakhir kali kamu milih framework atau library baru, itu karena masalahmu butuh alat itu, atau karena alatnya kedengaran keren dan belum banyak yang pakai? Pertanyaan ini nggak enak dijawab. Soalnya keputusan teknologi sering diambil dengan alasan yang nggak pernah ditulis di dokumen teknis mana pun.","The last time you chose a new framework or library, was it because your problem needed that tool, or because it sounded cool and few people around you were using it? That question is uncomfortable. Technology decisions are often made for reasons that never appear in any technical document.",true,"2026-10-06T15:25:21.000Z",5,false,[17,18,19,20],"karier","framework","opini","pengalaman",null,"\u002Fog\u002Fketika-pilih-framework-cuma-biar-kelihatan-beda.png",{"id":24,"title":25,"title_en":26,"slug":27},9,"Artikel","Articles","all",[],[30,46,67],{"collection":31,"item":32},"series",{"__typename":31,"title":25,"title_en":26,"slug":27,"children_series":33},[34,38,42],{"title":35,"title_en":36,"slug":37},"Kecerdasan Artifisial","Artificial Intelligence","kecerdasan-artifisial",{"title":39,"title_en":40,"slug":41},"Konsep Dasar Pemrograman","Programming Fundamentals","konsep-dasar-pemrograman",{"title":43,"title_en":44,"slug":45},"Algoritma dan Struktur Data","Algorithms and Data Structures","algoritma-struktur-data",{"collection":31,"item":47},{"__typename":31,"title":48,"title_en":48,"slug":49,"children_series":50},"Tutorial","tutorial",[51,55,59,63],{"title":52,"title_en":53,"slug":54},"Belajar Python","Learning Python","belajar-python",{"title":56,"title_en":57,"slug":58},"Belajar Golang","Learning Go","belajar-golang",{"title":60,"title_en":61,"slug":62},"Belajar Java","Learning Java","belajar-java",{"title":64,"title_en":65,"slug":66},"Belajar Pascal","Learning Pascal","belajar-pascal",{"collection":31,"item":68},{"__typename":31,"title":69,"title_en":69,"slug":70,"children_series":71},"Lab","lab",[],{"article":73,"renderedBody":264,"renderedTakeaway":265,"latestArticles":266,"toc":333},{"id":14,"title":74,"title_en":75,"slug":76,"excerpt":77,"excerpt_en":78,"has_translation":12,"published_at":79,"reading_time":80,"hidden_from_listing":15,"tags":81,"thumbnail_image":21,"og_image":84,"series":85,"authors":257,"body_locale":260,"available_locales":261,"body":263,"takeway":21,"prerequisite":21},"Di Balik Dapur JEPA: Rahasia EMA, VICReg, dan Efisiensi Komputasi","Inside JEPA's Kitchen: The Secrets of EMA, VICReg, and Compute Efficiency","di-balik-dapur-jepa-rahasia-ema-vicreg-dan-efisiensi-komputasi","Bosen sama AI yang cuma jago nebak kata atau ngafalin pixel? Kenalan sama JEPA, arsitektur revolusioner yang ngajarin mesin punya \"akal sehat\" secara super efisien. Yuk intip jeroan teknisnya!","Bored of AI that only guesses words or memorizes pixels? Meet JEPA, an architecture that teaches machines common sense very cheaply. Here is a look at its technical insides.","2026-06-07T16:14:13.723Z",4,[82,83],"jepa","artificial-intelligent","\u002Fog\u002Fdi-balik-dapur-jepa-rahasia-ema-vicreg-dan-efisiensi-komputasi.png",{"id":86,"title":35,"title_en":36,"slug":37,"description":21,"description_en":87,"articles":88,"children_series":249,"parent_series":250},8,"Notes on AI that go past the demo: how the models work, where they break, and what changes once you put them in production.",[89,104,122,137,151,156,173,190,211,230],{"id":90,"title":91,"title_en":92,"slug":93,"excerpt":94,"excerpt_en":95,"has_translation":12,"published_at":96,"reading_time":80,"hidden_from_listing":15,"tags":97,"thumbnail_image":21,"og_image":101,"series":102,"authors":103},1,"Kenapa AI Suka 'Halu'? Kenalan sama JEPA, Otak AI yang Punya Akal Sehat","Why Does AI Keep Hallucinating? Meet JEPA, the AI Brain With Common Sense","kenapa-ai-suka-halu-kenalan-sama-jepa-otak-ai-yang-punya-akal-sehat","AI generatif sering 'halu' karena cuma jago nebak pola kata. JEPA coba ngerombak itu dengan ngajarin AI cara kerja dunia nyata kayak otak manusia.","Generative AI hallucinates because all it does is guess word patterns. JEPA tries to change that by teaching machines how the real world works, the way a human brain does.","2026-06-02T08:09:05.595Z",[82,98,99,100],"artificial-intelligence","yann-lecun","agi","\u002Fog\u002Fkenapa-ai-suka-halu-kenalan-sama-jepa-otak-ai-yang-punya-akal-sehat.png",{"id":86,"title":35,"title_en":36,"slug":37},[],{"id":105,"title":106,"title_en":107,"slug":108,"excerpt":109,"excerpt_en":110,"has_translation":12,"published_at":111,"reading_time":80,"hidden_from_listing":15,"tags":112,"thumbnail_image":21,"og_image":114,"series":115,"authors":116},2,"LLM Bakal Mentok, Terus Gimana Dong?","LLMs Are Going to Hit a Wall. What Then?","llm-bakal-mentok-terus-gimana-dong","LLM kayak ChatGPT itu jago ngerangkai kata, tapi nggak beneran paham realitas. Yann LeCun bilang arsitektur ini bakal mentok dan butuh solusi baru.","LLMs like ChatGPT are great at stringing words together, but they never really grasp reality. Yann LeCun says this architecture will hit a wall and needs a new answer.","2026-06-03T08:55:33.003Z",[98,113,99,82],"llm","\u002Fog\u002Fllm-bakal-mentok-terus-gimana-dong.png",{"id":86,"title":35,"title_en":36,"slug":37},[117],{"authors_id":118},{"id":90,"name":119,"slug":120,"role":121,"profile_picture":21},"Daffa Izzuddin","izzudd","Writer",{"id":123,"title":124,"title_en":125,"slug":126,"excerpt":127,"excerpt_en":128,"has_translation":12,"published_at":129,"reading_time":80,"hidden_from_listing":15,"tags":130,"thumbnail_image":21,"og_image":132,"series":133,"authors":134},3,"Mengenal JEPA: Saat AI Mulai Belajar Punya \"Akal Sehat\"","Meet JEPA: Where AI Starts Learning Common Sense","kenapa-ai-suka-halu-dan-gimana-jepa-beresin-masalah-ini","AI sering 'halu' karena cuma nebak probabilitas data tanpa paham realita. Arsitektur JEPA mencoba mengubah itu dengan membangun model dunia di kepalanya.","AI hallucinates because it only guesses data probabilities without understanding reality. The JEPA architecture tries to change that by building a world model in its head.","2026-06-03T09:32:50.446Z",[98,82,131,99],"world-models","\u002Fog\u002Fkenapa-ai-suka-halu-dan-gimana-jepa-beresin-masalah-ini.png",{"id":86,"title":35,"title_en":36,"slug":37},[135],{"authors_id":136},{"id":90,"name":119,"slug":120,"role":121,"profile_picture":21},{"id":80,"title":138,"title_en":139,"slug":140,"excerpt":141,"excerpt_en":142,"has_translation":12,"published_at":143,"reading_time":80,"hidden_from_listing":15,"tags":144,"thumbnail_image":21,"og_image":146,"series":147,"authors":148},"Bukan Sekadar Generative AI, JEPA Coba Kejar Pemahaman Konsep ala Manusia","Beyond Generative AI: JEPA Chases Human-Style Conceptual Understanding","kenapa-ai-masih-gagal-paham-fisika-dasar-mengenal-arsitektur-jepa","AI biasanya cuma jago nebak piksel, tapi JEPA coba belajar lewat konsep abstrak di ruang laten. Ternyata, cara ini bisa sampai dipakai buat baca gelombang otak.","AI usually only guesses pixels, while JEPA tries to learn from abstract concepts in latent space. That approach turns out to reach as far as reading brain waves.","2026-06-03T09:34:14.840Z",[82,99,145,100],"machine-learning","\u002Fog\u002Fkenapa-ai-masih-gagal-paham-fisika-dasar-mengenal-arsitektur-jepa.png",{"id":86,"title":35,"title_en":36,"slug":37},[149],{"authors_id":150},{"id":90,"name":119,"slug":120,"role":121,"profile_picture":21},{"id":14,"title":74,"title_en":75,"slug":76,"excerpt":77,"excerpt_en":78,"has_translation":12,"published_at":79,"reading_time":80,"hidden_from_listing":15,"tags":81,"thumbnail_image":21,"og_image":84,"series":152,"authors":153},{"id":86,"title":35,"title_en":36,"slug":37},[154],{"authors_id":155},{"id":90,"name":119,"slug":120,"role":121,"profile_picture":21},{"id":157,"title":158,"title_en":159,"slug":160,"excerpt":161,"excerpt_en":162,"has_translation":12,"published_at":163,"reading_time":86,"hidden_from_listing":15,"tags":164,"thumbnail_image":21,"og_image":170,"series":171,"authors":172},125,"MCP dibongkar ulang: kabar baik buat kamu yang capek nulis konektor","MCP, Rebuilt: Good News If You're Tired of Writing Connectors","mcp-dibongkar-ulang-kabar-baik-buat-kamu","Kamu punya beberapa API internal dan satu agent AI, tapi kodenya harus ditulis ulang tiap kali modelnya diganti. MCP datang buat mengakhiri itu, dan tahun ini protokolnya dibongkar ulang supaya server-nya bisa jalan seperti web server biasa. Yuk lihat apa yang berubah. 🔧","You have a few internal APIs and one AI agent, but the code has to be rewritten every time the model changes. MCP ends that, and this year the protocol was rebuilt so servers can run like ordinary web servers. Here's what changed. 🔧","2026-10-16T05:00:00.000Z",[165,166,167,113,168,169],"mcp","model-context-protocol","ai-agent","backend","python","\u002Fog\u002Fmcp-dibongkar-ulang-kabar-baik-buat-kamu.png",{"id":86,"title":35,"title_en":36,"slug":37},[],{"id":174,"title":175,"title_en":176,"slug":177,"excerpt":178,"excerpt_en":179,"has_translation":12,"published_at":180,"reading_time":181,"hidden_from_listing":15,"tags":182,"thumbnail_image":21,"og_image":185,"series":186,"authors":187},126,"Memori AI Agent: dari Vector Store ke Temporal Graph","AI Agent Memory: From Vector Store to Temporal Graph","memori-ai-agent-vector-store-ke-temporal-graph","Dua fakta yang saling bertentangan bikin agent menjawab ngawur. Ini bedanya vector store dan temporal knowledge graph dalam menjaga state jangka panjang.","Two contradictory facts make an agent answer nonsense. Here is how a vector store and a temporal knowledge graph differ at keeping long-term state.","2026-10-18T13:13:29.458Z",7,[183,113,168,184],"ai","system-design","\u002Fog\u002Fmemori-ai-agent-vector-store-ke-temporal-graph.png",{"id":86,"title":35,"title_en":36,"slug":37},[188],{"authors_id":189},{"id":90,"name":119,"slug":120,"role":121,"profile_picture":21},{"id":191,"title":192,"title_en":193,"slug":194,"excerpt":195,"excerpt_en":196,"has_translation":12,"published_at":197,"reading_time":198,"hidden_from_listing":15,"tags":199,"thumbnail_image":21,"og_image":206,"series":207,"authors":208},127,"Kenapa RAG yang cuma andalkan cosine similarity sering nyasar","Why RAG That Leans on Cosine Similarity Alone Keeps Missing","kenapa-rag-cuma-cosine-similarity-sering-nyasar","RAG yang cuma andalkan embedding balikin chunk yang mirip maknanya, bukan yang kamu butuh. Ini penyebabnya, dan dua lapis penambalnya.","RAG that leans only on embeddings returns chunks that look close in meaning, not the ones you need. Here is why, and the two layers that patch it.","2026-10-19T02:04:06.718Z",6,[200,201,202,203,204,205],"rag","vector-search","bm25","hybrid-search","retrieval","embedding","\u002Fog\u002Fkenapa-rag-cuma-cosine-similarity-sering-nyasar.png",{"id":86,"title":35,"title_en":36,"slug":37},[209],{"authors_id":210},{"id":90,"name":119,"slug":120,"role":121,"profile_picture":21},{"id":212,"title":213,"title_en":214,"slug":215,"excerpt":216,"excerpt_en":217,"has_translation":12,"published_at":218,"reading_time":198,"hidden_from_listing":15,"tags":219,"thumbnail_image":21,"og_image":225,"series":226,"authors":227},128,"Linear atau graf: cara mengatur banyak agent tanpa loop abadi","Linear or Graph: How to Run Many Agents Without an Eternal Loop","multi-agen-linear-atau-grafik","Satu agent dengan dua puluh tool gampang kacau. Begitu beberapa agent saling revisi, kamu butuh graf yang mendukung cycle dan angka yang membuatnya berhenti.","One agent with twenty tools gets messy fast. Once several agents revise each other, you need a graph that allows cycles and a number that makes it stop.","2026-10-21T16:05:00.000Z",[220,221,222,223,224,113],"multi-agent","langgraph","autogen","orkestrasi","checkpoint","\u002Fog\u002Fmulti-agen-linear-atau-grafik.png",{"id":86,"title":35,"title_en":36,"slug":37},[228],{"authors_id":229},{"id":90,"name":119,"slug":120,"role":121,"profile_picture":21},{"id":231,"title":232,"title_en":233,"slug":234,"excerpt":235,"excerpt_en":236,"has_translation":12,"published_at":237,"reading_time":14,"hidden_from_listing":15,"tags":238,"thumbnail_image":21,"og_image":244,"series":245,"authors":246},129,"Biar RAG nggak kena 504: pisahin jalur query dan ingestion","So Your RAG Stops Hitting 504: Split the Query Path From Ingestion","rag-pisah-jalur-query-dan-ingestion","Satu service RAG yang merangkap parsing dan menjawab kueri bakal tumbang pas ada yang upload PDF 200 halaman. Obatnya dua jalur dan satu queue.","One RAG service that both parses uploads and answers queries will fall over the moment someone uploads a 200-page PDF. The cure is two paths and one queue.","2026-10-22T01:30:00.000Z",[200,239,240,241,242,243],"cloud-run","cloud-tasks","gcp","serverless","arsitektur","\u002Fog\u002Frag-pisah-jalur-query-dan-ingestion.png",{"id":86,"title":35,"title_en":36,"slug":37},[247],{"authors_id":248},{"id":90,"name":119,"slug":120,"role":121,"profile_picture":21},[],{"id":24,"title":25,"title_en":26,"slug":27,"parent_series":21,"children_series":251},[252,253,255],{"id":86,"title":35,"title_en":36,"slug":37,"cover_image":21},{"id":254,"title":39,"title_en":40,"slug":41,"cover_image":21},12,{"id":256,"title":43,"title_en":44,"slug":45,"cover_image":21},15,[258],{"authors_id":259},{"id":90,"name":119,"slug":120,"role":121,"profile_picture":21},"id",[262,260],"en","Dunia AI saat ini memang lagi heboh-hebohnya dengan model generatif. Tapi kalau kita menggeser fokus sedikit dari *hype* pembuatan gambar atau teks, ada satu revolusi besar di bidang *Self-Supervised Learning* (SSL) yang diusung oleh Yann LeCun, yaitu **JEPA (Joint-Embedding Predictive Architecture)**.\n\nKonsep ini pada dasarnya mencoba menjawab satu masalah fundamental: bagaimana cara kita mengajari mesin untuk punya pemahaman atau \"akal sehat\" tentang dunia, tanpa harus menyuapinya dengan label data terus-menerus? Buat yang suka ngoprek arsitektur model, JEPA ini nawarin pendekatan yang sangat berbeda dan super elegan dibandingkan metode konvensional.\n\nMari kita bongkar jeroannya dan lihat kenapa arsitektur ini jadi bahan perbincangan hangat di kalangan peneliti.\n\n## JEPA vs Masked Auto Encoders (MAE): Beda Arena Pertarungan\n\nSelama ini, kalau kita ngomongin *representation learning* lewat metode *masking*, nama yang paling sering muncul adalah Masked Auto Encoders (MAE). Cara kerja MAE cukup *straightforward*: tutupi sebagian besar *patch* dari sebuah gambar (atau data lainnya), lalu minta *decoder* untuk merekonstruksi ulang **pixel** yang hilang tersebut.\n\nMasalahnya, dunia nyata itu sangat bising dan penuh dengan detail yang sebenarnya nggak penting. Meminta model untuk menebak posisi presisi setiap helai daun yang tertiup angin atau tekstur spesifik dari sebuah karpet adalah pemborosan kapasitas komputasi. Model dipaksa menghafal *noise* frekuensi tinggi.\n\nDi sinilah JEPA mengambil jalan pintas yang cerdas. JEPA tidak menebak pixel. Arsitektur ini menebak **representasi abstrak (embedding)** dari target di dalam *latent space*. Daripada menyuruh model \"menggambar ulang\" bagian yang hilang, JEPA lebih seperti menyuruh model \"menjelaskan konsep\" dari bagian yang hilang tersebut. Dengan memprediksi *embedding* ketimbang *pixel*, JEPA bisa mengabaikan detail-detail kosmetik yang tidak bisa diprediksi dan memfokuskan bobotnya pada fitur-fitur semantik yang esensial.\n\n## Mencegah \"Representation Collapse\" dengan EMA dan VICReg\n\nTantangan terbesar ketika kita menyuruh jaringan saraf untuk memprediksi *embedding* dari jaringan saraf lain adalah risiko *representation collapse*. Ini adalah mimpi buruk di mana model tiba-tiba menjadi sangat malas dan memutuskan untuk mengeluarkan vektor konstan (misalnya nol semua) untuk input apa pun. *Loss* akan anjlok jadi nol, tapi model kita tidak belajar apa-apa.\n\nUntuk mencegah kiamat *collapse* ini, JEPA menggunakan dua trik teknis yang sangat krusial:\n\nPertama, penggunaan **EMA (Exponential Moving Average)** pada *target encoder*. Dalam arsitektur JEPA, *target encoder* tidak pernah di-update secara langsung melalui *backpropagation*. Alih-alih, bobotnya diperbarui pelan-pelan menggunakan rata-rata pergerakan dari *context encoder*. Mekanisme EMA ini memastikan bahwa \"guru\" (target encoder) selalu berevolusi dengan stabil dan berada satu langkah di depan \"murid\" (predictor), sehingga prediktor memiliki target yang konsisten namun dinamis untuk dikejar.\n\nKedua, implementasi regulasi tambahan seperti **VICReg (Variance-Invariance-Covariance)**. Ini ibarat satpam yang menjaga kualitas *latent space*:\n\n* **Variance:** Memaksa agar *embedding* tetap memiliki variasi, sehingga titik-titik data tidak runtuh menyatu ke satu nilai konstan.\n* **Covariance:** Mendekorelasikan setiap dimensi dari matriks *embedding*, memastikan bahwa model tidak mempelajari informasi yang redundan di berbagai dimensi yang berbeda. Setiap dimensi dipaksa untuk menangkap fitur yang unik.\n* **Invariance:** Memastikan bahwa prediksi kita tetap tangguh dan konsisten meskipun ada distorsi pada input.\n\nKombinasi EMA dan regulasi seperti VICReg inilah yang membuat model tetap waras dan terus mengekstrak fitur yang kaya makna.\n\n## Keuntungan Asimetri: Efisiensi Komputasi yang Maksimal\n\nSatu lagi hal yang bikin JEPA sangat seksi secara arsitektur adalah desain asimetrisnya yang sangat efisien.\n\nPada MAE tradisional, kita sering kali membutuhkan *decoder* yang lumayan berat untuk memetakan kembali dari *latent space* ke dimensi *pixel* beresolusi tinggi. Di JEPA, pendekatannya sama sekali berbeda. Kita punya *context encoder* yang hanya memproses bagian input yang tidak tertutup (*unmasked*). Kemudian, *predictor* network yang bertugas memprediksi target biasanya didesain sangat kecil dan ringan (sering kali hanya *narrow transformer*).\n\nKarena kita tidak pernah melakukan rekonstruksi kembali ke *pixel space*, kita memotong habis beban komputasi yang biasanya dipakai untuk *rendering* data. Prediktor cukup beroperasi murni di *latent space*. Desain asimetris ini membuat iterasi eksperimen menjadi jauh lebih cepat dan pemakaian memori jauh lebih hemat, sehingga kita bisa melakukan *scaling* ke model yang jauh lebih besar atau memproses rentang waktu (seperti video atau sinyal berurutan) dengan jauh lebih efisien.\n\n## Jadi Intinya...\n\nEvolusi dari memprediksi *pixel* (MAE) menjadi memprediksi representasi abstrak (JEPA) adalah sebuah pergeseran paradigma yang sangat fundamental. Dengan bantuan EMA dan VICReg untuk menjaga integritas *latent space*, serta desain asimetris yang memaksimalkan efisiensi komputasi, JEPA membuktikan bahwa AI tidak perlu menghafal setiap debu di alam semesta untuk bisa memahaminya. Terkadang, memahami \"gambaran besarnya\" saja sudah cukup untuk membangun kecerdasan mesin yang tangguh dan skalabel. Ke depannya, pendekatan prediksi *latent* semacam ini sepertinya akan menjadi pondasi standar untuk membangun arsitektur yang benar-benar paham hukum sebab-akibat di dunia nyata.\n","\u003Cp>Dunia AI saat ini memang lagi heboh-hebohnya dengan model generatif. Tapi kalau kita menggeser fokus sedikit dari \u003Cem>hype\u003C\u002Fem> pembuatan gambar atau teks, ada satu revolusi besar di bidang \u003Cem>Self-Supervised Learning\u003C\u002Fem> (SSL) yang diusung oleh Yann LeCun, yaitu \u003Cstrong>JEPA (Joint-Embedding Predictive Architecture)\u003C\u002Fstrong>.\u003C\u002Fp>\n\u003Cp>Konsep ini pada dasarnya mencoba menjawab satu masalah fundamental: bagaimana cara kita mengajari mesin untuk punya pemahaman atau "akal sehat" tentang dunia, tanpa harus menyuapinya dengan label data terus-menerus? Buat yang suka ngoprek arsitektur model, JEPA ini nawarin pendekatan yang sangat berbeda dan super elegan dibandingkan metode konvensional.\u003C\u002Fp>\n\u003Cp>Mari kita bongkar jeroannya dan lihat kenapa arsitektur ini jadi bahan perbincangan hangat di kalangan peneliti.\u003C\u002Fp>\n\u003Ch2 id=\"jepa-vs-masked-auto-encoders-mae-beda-arena-pertarungan\">JEPA vs Masked Auto Encoders (MAE): Beda Arena Pertarungan\u003C\u002Fh2>\n\u003Cp>Selama ini, kalau kita ngomongin \u003Cem>representation learning\u003C\u002Fem> lewat metode \u003Cem>masking\u003C\u002Fem>, nama yang paling sering muncul adalah Masked Auto Encoders (MAE). Cara kerja MAE cukup \u003Cem>straightforward\u003C\u002Fem>: tutupi sebagian besar \u003Cem>patch\u003C\u002Fem> dari sebuah gambar (atau data lainnya), lalu minta \u003Cem>decoder\u003C\u002Fem> untuk merekonstruksi ulang \u003Cstrong>pixel\u003C\u002Fstrong> yang hilang tersebut.\u003C\u002Fp>\n\u003Cp>Masalahnya, dunia nyata itu sangat bising dan penuh dengan detail yang sebenarnya nggak penting. Meminta model untuk menebak posisi presisi setiap helai daun yang tertiup angin atau tekstur spesifik dari sebuah karpet adalah pemborosan kapasitas komputasi. Model dipaksa menghafal \u003Cem>noise\u003C\u002Fem> frekuensi tinggi.\u003C\u002Fp>\n\u003Cp>Di sinilah JEPA mengambil jalan pintas yang cerdas. JEPA tidak menebak pixel. Arsitektur ini menebak \u003Cstrong>representasi abstrak (embedding)\u003C\u002Fstrong> dari target di dalam \u003Cem>latent space\u003C\u002Fem>. Daripada menyuruh model "menggambar ulang" bagian yang hilang, JEPA lebih seperti menyuruh model "menjelaskan konsep" dari bagian yang hilang tersebut. Dengan memprediksi \u003Cem>embedding\u003C\u002Fem> ketimbang \u003Cem>pixel\u003C\u002Fem>, JEPA bisa mengabaikan detail-detail kosmetik yang tidak bisa diprediksi dan memfokuskan bobotnya pada fitur-fitur semantik yang esensial.\u003C\u002Fp>\n\u003Ch2 id=\"mencegah-representation-collapse-dengan-ema-dan-vicreg\">Mencegah "Representation Collapse" dengan EMA dan VICReg\u003C\u002Fh2>\n\u003Cp>Tantangan terbesar ketika kita menyuruh jaringan saraf untuk memprediksi \u003Cem>embedding\u003C\u002Fem> dari jaringan saraf lain adalah risiko \u003Cem>representation collapse\u003C\u002Fem>. Ini adalah mimpi buruk di mana model tiba-tiba menjadi sangat malas dan memutuskan untuk mengeluarkan vektor konstan (misalnya nol semua) untuk input apa pun. \u003Cem>Loss\u003C\u002Fem> akan anjlok jadi nol, tapi model kita tidak belajar apa-apa.\u003C\u002Fp>\n\u003Cp>Untuk mencegah kiamat \u003Cem>collapse\u003C\u002Fem> ini, JEPA menggunakan dua trik teknis yang sangat krusial:\u003C\u002Fp>\n\u003Cp>Pertama, penggunaan \u003Cstrong>EMA (Exponential Moving Average)\u003C\u002Fstrong> pada \u003Cem>target encoder\u003C\u002Fem>. Dalam arsitektur JEPA, \u003Cem>target encoder\u003C\u002Fem> tidak pernah di-update secara langsung melalui \u003Cem>backpropagation\u003C\u002Fem>. Alih-alih, bobotnya diperbarui pelan-pelan menggunakan rata-rata pergerakan dari \u003Cem>context encoder\u003C\u002Fem>. Mekanisme EMA ini memastikan bahwa "guru" (target encoder) selalu berevolusi dengan stabil dan berada satu langkah di depan "murid" (predictor), sehingga prediktor memiliki target yang konsisten namun dinamis untuk dikejar.\u003C\u002Fp>\n\u003Cp>Kedua, implementasi regulasi tambahan seperti \u003Cstrong>VICReg (Variance-Invariance-Covariance)\u003C\u002Fstrong>. Ini ibarat satpam yang menjaga kualitas \u003Cem>latent space\u003C\u002Fem>:\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Cstrong>Variance:\u003C\u002Fstrong> Memaksa agar \u003Cem>embedding\u003C\u002Fem> tetap memiliki variasi, sehingga titik-titik data tidak runtuh menyatu ke satu nilai konstan.\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Covariance:\u003C\u002Fstrong> Mendekorelasikan setiap dimensi dari matriks \u003Cem>embedding\u003C\u002Fem>, memastikan bahwa model tidak mempelajari informasi yang redundan di berbagai dimensi yang berbeda. Setiap dimensi dipaksa untuk menangkap fitur yang unik.\u003C\u002Fli>\n\u003Cli>\u003Cstrong>Invariance:\u003C\u002Fstrong> Memastikan bahwa prediksi kita tetap tangguh dan konsisten meskipun ada distorsi pada input.\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>Kombinasi EMA dan regulasi seperti VICReg inilah yang membuat model tetap waras dan terus mengekstrak fitur yang kaya makna.\u003C\u002Fp>\n\u003Ch2 id=\"keuntungan-asimetri-efisiensi-komputasi-yang-maksimal\">Keuntungan Asimetri: Efisiensi Komputasi yang Maksimal\u003C\u002Fh2>\n\u003Cp>Satu lagi hal yang bikin JEPA sangat seksi secara arsitektur adalah desain asimetrisnya yang sangat efisien.\u003C\u002Fp>\n\u003Cp>Pada MAE tradisional, kita sering kali membutuhkan \u003Cem>decoder\u003C\u002Fem> yang lumayan berat untuk memetakan kembali dari \u003Cem>latent space\u003C\u002Fem> ke dimensi \u003Cem>pixel\u003C\u002Fem> beresolusi tinggi. Di JEPA, pendekatannya sama sekali berbeda. Kita punya \u003Cem>context encoder\u003C\u002Fem> yang hanya memproses bagian input yang tidak tertutup (\u003Cem>unmasked\u003C\u002Fem>). Kemudian, \u003Cem>predictor\u003C\u002Fem> network yang bertugas memprediksi target biasanya didesain sangat kecil dan ringan (sering kali hanya \u003Cem>narrow transformer\u003C\u002Fem>).\u003C\u002Fp>\n\u003Cp>Karena kita tidak pernah melakukan rekonstruksi kembali ke \u003Cem>pixel space\u003C\u002Fem>, kita memotong habis beban komputasi yang biasanya dipakai untuk \u003Cem>rendering\u003C\u002Fem> data. Prediktor cukup beroperasi murni di \u003Cem>latent space\u003C\u002Fem>. Desain asimetris ini membuat iterasi eksperimen menjadi jauh lebih cepat dan pemakaian memori jauh lebih hemat, sehingga kita bisa melakukan \u003Cem>scaling\u003C\u002Fem> ke model yang jauh lebih besar atau memproses rentang waktu (seperti video atau sinyal berurutan) dengan jauh lebih efisien.\u003C\u002Fp>\n\u003Ch2 id=\"jadi-intinya\">Jadi Intinya...\u003C\u002Fh2>\n\u003Cp>Evolusi dari memprediksi \u003Cem>pixel\u003C\u002Fem> (MAE) menjadi memprediksi representasi abstrak (JEPA) adalah sebuah pergeseran paradigma yang sangat fundamental. Dengan bantuan EMA dan VICReg untuk menjaga integritas \u003Cem>latent space\u003C\u002Fem>, serta desain asimetris yang memaksimalkan efisiensi komputasi, JEPA membuktikan bahwa AI tidak perlu menghafal setiap debu di alam semesta untuk bisa memahaminya. Terkadang, memahami "gambaran besarnya" saja sudah cukup untuk membangun kecerdasan mesin yang tangguh dan skalabel. Ke depannya, pendekatan prediksi \u003Cem>latent\u003C\u002Fem> semacam ini sepertinya akan menjadi pondasi standar untuk membangun arsitektur yang benar-benar paham hukum sebab-akibat di dunia nyata.\u003C\u002Fp>\n","",[267,284,297,310,323,328],{"id":268,"title":269,"title_en":21,"slug":270,"excerpt":271,"excerpt_en":21,"has_translation":15,"published_at":272,"reading_time":198,"hidden_from_listing":15,"tags":273,"thumbnail_image":21,"og_image":275,"series":276,"authors":281},133,"Python Strings: the Badge That Only Worked for One Name","python-strings","The badge script printed the right name for the person who wrote it and the wrong name for everybody else. Slicing counts characters, and a name is words.","2026-10-28T13:00:00.000Z",[169,274],"string","\u002Fog\u002Fpython-strings.png",{"id":277,"title":278,"title_en":279,"slug":280},30,"Koleksi dan String","Collections and Strings","python-collections",[282],{"authors_id":283},{"id":90,"name":119,"slug":120,"role":121,"profile_picture":21},{"id":285,"title":286,"title_en":21,"slug":287,"excerpt":288,"excerpt_en":21,"has_translation":15,"published_at":289,"reading_time":198,"hidden_from_listing":15,"tags":290,"thumbnail_image":21,"og_image":292,"series":293,"authors":294},132,"Python Tuples: Why All Three Points Are the Same Point","python-tuples","Three points walk into a loop and come out identical. The list was never copied three times; the name was. A tuple makes that bug impossible.","2026-10-28T12:00:00.000Z",[169,291],"tuple","\u002Fog\u002Fpython-tuples.png",{"id":277,"title":278,"title_en":279,"slug":280},[295],{"authors_id":296},{"id":90,"name":119,"slug":120,"role":121,"profile_picture":21},{"id":298,"title":299,"title_en":21,"slug":300,"excerpt":301,"excerpt_en":21,"has_translation":15,"published_at":302,"reading_time":198,"hidden_from_listing":15,"tags":303,"thumbnail_image":21,"og_image":305,"series":306,"authors":307},131,"Python Sets: the Duplicate That Keeps Coming Back","python-sets","A de-duplication loop that works on clean data leaves four tags where there should be two. The bug is case, and the fix is a `set`.","2026-10-28T11:00:00.000Z",[169,304],"set","\u002Fog\u002Fpython-sets.png",{"id":277,"title":278,"title_en":279,"slug":280},[308],{"authors_id":309},{"id":90,"name":119,"slug":120,"role":121,"profile_picture":21},{"id":311,"title":312,"title_en":21,"slug":313,"excerpt":314,"excerpt_en":21,"has_translation":15,"published_at":315,"reading_time":198,"hidden_from_listing":15,"tags":316,"thumbnail_image":21,"og_image":318,"series":319,"authors":320},130,"Python Dictionaries: the Key That Isn't There","python-dictionary","A word counter dies the first time it meets a word twice. The fix is one line; what takes longer is knowing which of a dict's three lookups to reach for.","2026-10-28T10:00:00.000Z",[169,317],"dictionary","\u002Fog\u002Fpython-dictionary.png",{"id":277,"title":278,"title_en":279,"slug":280},[321],{"authors_id":322},{"id":90,"name":119,"slug":120,"role":121,"profile_picture":21},{"id":231,"title":232,"title_en":233,"slug":234,"excerpt":235,"excerpt_en":236,"has_translation":12,"published_at":237,"reading_time":14,"hidden_from_listing":15,"tags":238,"thumbnail_image":21,"og_image":244,"series":324,"authors":325},{"id":86,"title":35,"title_en":36,"slug":37},[326],{"authors_id":327},{"id":90,"name":119,"slug":120,"role":121,"profile_picture":21},{"id":212,"title":213,"title_en":214,"slug":215,"excerpt":216,"excerpt_en":217,"has_translation":12,"published_at":218,"reading_time":198,"hidden_from_listing":15,"tags":219,"thumbnail_image":21,"og_image":225,"series":329,"authors":330},{"id":86,"title":35,"title_en":36,"slug":37},[331],{"authors_id":332},{"id":90,"name":119,"slug":120,"role":121,"profile_picture":21},[334,337,340,343],{"text":335,"depth":105,"id":336},"JEPA vs Masked Auto Encoders (MAE): Beda Arena Pertarungan","jepa-vs-masked-auto-encoders-mae-beda-arena-pertarungan",{"text":338,"depth":105,"id":339},"Mencegah \"Representation Collapse\" dengan EMA dan VICReg","mencegah-representation-collapse-dengan-ema-dan-vicreg",{"text":341,"depth":105,"id":342},"Keuntungan Asimetri: Efisiensi Komputasi yang Maksimal","keuntungan-asimetri-efisiensi-komputasi-yang-maksimal",{"text":344,"depth":105,"id":345},"Jadi Intinya...","jadi-intinya",1793295834050]