Google updates Android Bench with new LLMs, but Gemini still lags behind

Pengembangan Kode dengan Model Bahasa Besar (LLM)

Model bahasa besar (LLM) semakin populer dalam berbagai aplikasi, terutama dalam pengembangan kode. Namun, tidak semua model memiliki kemampuan yang sama dalam melakukan tugas pengembangan.

Benchmark Baru dari Google

Google telah menciptakan suatu benchmark untuk mengevaluasi kinerja LLM dalam pengembangan aplikasi Android. Android Bench, benchmark tersebut, baru saja mendapatkan pembaruan besar. Papan peringkat sekarang mencakup banyak model baru, dan Google telah mengadopsi suatu kerangka kerja baru yang lebih mudah digunakan.

Para pengembang diundang untuk menjalankan tes mereka sendiri dan memberikan umpan balik yang dapat membentuk masa depan Android Bench. Meskipun LLM adalah alat coding yang populer, mereka tidak selalu benar. Membedakan output yang berguna dari yang tidak berarti memilih alat yang tepat.

Android Bench: Membantu Memilih Model yang Tepat

Android Bench bertujuan untuk menunjukkan model AI mana yang berperforma terbaik dalam satu set 100 tugas pengembangan Android. Setelah diluncurkan pada Maret, Google telah menambahkan metrik seperti biaya dan efisiensi, serta model open-weight.

Untuk menjaga Android Bench tetap relevan, Google memperbarui tes dengan delapan model baru, termasuk semua model terbaru: Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus, dan Qwen 3.7 Max.