Context.id, JAKARTA - Para peneliti di Harvard University sekarang memiliki akses ke salah satu superkomputer tercepat dan terhijau di dunia. Ya, dibuat untuk mendukung penelitian mutakhir di Kempner Institute for the Study of Natural and Artificial Intelligence dan Harvard University secara lebih luas, klaster AI Kempner baru saja dinobatkan sebagai superkomputer "hijau" tercepat ke-32 di dunia dalam Green500. 

Green500 adalah peringkat independen terkemuka di industri untuk superkomputer paling hemat energi secara global.

Selain masuk dalam daftar 50 superkomputer hijau teratas, klaster ini telah disertifikasi sebagai superkomputer tercepat ke-85 secara keseluruhan dalam TOP500, menjadikannya salah satu superkomputer tercepat dan terhijau di planet ini. 

“Peringkat klaster AI Kempner dalam daftar Green500 dan TOP500 terbaru menempatkan kami tepat di antara klaster AI tercepat dan paling ramah lingkungan di dunia akademis dan dunia,” kata Max Shad, direktur senior bidang rekayasa penelitian AI/ML Kempner seperti dikutip dari Harvard Gazette. 

Shad mengatakan bukan hal mudah untuk membangun daya komputasi hijau berkinerja tinggi semacam ini dalam waktu yang singkat, memungkinkan penelitian mutakhir yang berinovasi secara real time dan memungkinkan kemajuan yang benar-benar penting di persimpangan kecerdasan buatan dan ilmu saraf.

Komputasi performa tinggi membentuk tulang punggung pertumbuhan besar-besaran di bidang pembelajaran mesin, dan para peneliti di Kempner Institute memanfaatkan kekuatan komputasi yang sangat besar ini untuk melatih dan menjalankan jaringan saraf buatan, yang mengarah pada kemajuan utama dalam memahami dasar kecerdasan dalam sistem alami dan buatan.

Kelompok AI Kempner Institute bertempat di Massachusetts Green High Performance Computer Center di Holyoke, Massachusetts, dan menggunakan berbagai teknik canggih untuk meminimalkan penggunaan energi.

Mengukur daya komputasi hijau, dari flop hingga gigaflop
Klaster AI Kempner dibuka dengan instalasi percontohan awal pada musim semi 2023, dan kini menjadi yang terdepan dalam keterlibatan Harvard yang terus berkembang dengan sumber daya komputasi canggih. 

Terdiri dari 528 prosesor komputer khusus yang disebut unit pemrosesan grafis (GPU), yang dihubungkan bersama secara paralel dengan "switch" untuk memungkinkan komputasi yang cepat dan simultan, klaster ini dapat menjalankan komputasi cepat pada ratusan proyek penelitian sekaligus. 

Untuk mengukur daya komputasi hijau dan daya komputasi keseluruhan klaster, teknisi dari Lenovo mengukur kecepatan GPU berperforma tertinggi klaster (disebut H100) menggunakan LINPACK Benchmark, yang memerlukan penyelesaian masalah aljabar linear yang luas. 

Hal ini dinyatakan dalam operasi floating point per detik, atau "flop." Efisiensi sistem, atau kapasitas komputasi "hijau", bergantung pada berapa banyak flop yang dapat dilakukan H100 dengan jumlah daya tertentu, yang dinyatakan sebagai gigaflop per watt daya yang digunakan. 

Kempner H100 menunjukkan kemampuan untuk menjalankan 16,29 petaflops, dengan efisiensi 48,065 gigaflops per watt daya yang digunakan.

Seberapa cepat klaster AI Kempner? 

Untuk mendapatkan gambaran tentang daya komputasi Kempner sebesar 16,29 petaflops, pertimbangkan hal ini: Komputer di Apollo 11, yang membawa Neil Armstrong dan Buzz Aldrin ke bulan pada tahun 1969, mampu melakukan 12.250 flops. 

Kedengarannya banyak, tetapi pada tahun 1980-an komputasi yang jauh lebih cepat dimungkinkan: Superkomputer CRAY-2 mencatat kinerja 1,9 gigaflops. Itu 1,9 miliar flops. Dan sekarang kita memiliki daya komputasi yang jauh lebih besar di saku kita. iPhone 15 mampu melakukan lebih dari 1.700 gigaflops. 

Klaster AI Kempner memiliki lebih dari 16 peta flops daya komputasi yaitu 16 diikuti oleh 15 angka nol yang empat kali lipat lebih besar dari iPhone di saku Anda. 

Angka-angka ini menunjukkan kemampuan Model Bahasa Besar (LLM) untuk menghasilkan bahasa yang tata bahasanya benar dan mensimulasikan kognisi membutuhkan lebih banyak komputasi daripada menerbangkan roket ke bulan setidaknya untuk saat ini. 

Mendukung penelitian baru
Dengan besarnya daya komputasi ini, para peneliti Kempner mampu melatih sistem AI canggih seperti LLM layaknya ChatGPT dengan lebih cepat dan efisien. Misalnya, kluster Kempner dapat melatih model bahasa Meta Llama 3.1 8B dan Meta Llama 3.1 70B yang populer dalam waktu sekitar satu minggu dan dua bulan. 

Sebelum kluster Kempner didirikan dan beroperasi, pelatihan model Llama pada sistem komputer tercepat berikutnya di Harvard akan memakan waktu bertahun-tahun untuk diselesaikan. 

Selain menggunakan klaster untuk membuat model yang lebih cepat, para peneliti juga menggunakan klaster untuk lebih memahami bagaimana dan mengapa model tersebut bekerja. 

"Melalui peningkatan daya komputasi ini, kita dapat mempelajari lebih dalam bagaimana model generatif belajar untuk bernalar dan menyelesaikan tugas dengan efisiensi yang lebih tinggi," kata Peneliti Kempner Institute Binxu Wang. 

Selain memberi peneliti kapasitas untuk melatih model kompleks dengan cepat dan efisien, dan untuk memahami mekanisme di balik cara mereka belajar, klaster Kempner memungkinkan ilmuwan untuk membandingkan sejumlah besar arsitektur model dan algoritma pembelajaran secara paralel, dengan aplikasi penting dalam berbagai bidang mulai dari kedokteran hingga ilmu saraf. 

Salah satu contoh dalam penelitian yang baru-baru ini dipublikasikan di Nature Medicine, anggota fakultas asosiasi Kempner dan Asisten Profesor Harvard Medical School Marinka Zitnik dan rekan-rekannya menggunakan klaster tersebut untuk mengembangkan dan melatih TxGNN. 

Ini adalah sistem AI yang menyaring sejumlah besar data medis menjadi grafik pengetahuan, dan kemudian menggunakan grafik tersebut untuk memprediksi efektivitas obat untuk mengobati penyakit langka. 

GPU Kempner merupakan bagian dari ekosistem komputasional Universitas Harvard yang terus berkembang, bergabung dengan GPU baru atau yang akan segera tersedia yang didukung oleh Fakultas Seni dan Sains Komputasi Riset Harvard (FASRC).

Lebih dari 5.200 peneliti di seluruh Universitas memanfaatkan sumber daya komputasi ini dalam berbagai aplikasi ilmiah dan teknologi.  

Kekuatan pemrosesan paralel
Jadi, apa sebenarnya klaster itu? Seperti namanya, klaster komputasi menyatukan beberapa perangkat, yang masing-masing dapat berfungsi sebagai komputer lengkap dengan sendirinya. 

Menghubungkan perangkat bersama-sama akan melepaskan kekuatan komputasi paralel, yang mengarah pada percepatan besar-besaran dalam waktu pemrosesan dengan melakukan sejumlah besar tugas secara bersamaan. 

Hingga beberapa dekade lalu, sebagian besar komputer ditenagai oleh unit pemrosesan pusat (CPU) yang hanya dapat melakukan satu operasi komputasi dalam satu waktu. Pada awal tahun 2000-an, ilmuwan komputer telah menemukan cara untuk membuat CPU "multiinti" yang melakukan beberapa komputasi secara paralel. 

Jalan menuju klaster komputasi super seperti milik Kempner melibatkan penumpukan beberapa tingkat pemrosesan paralel di atas satu sama lain. Setelah diperkenalkannya CPU multicore, tingkat paralelisme berikutnya dimungkinkan oleh penggunaan GPU. 

Mengendalikan grafik pada layar komputer memerlukan sejumlah besar komputasi yang sangat mirip yang dapat dilakukan secara bersamaan.

Misalnya, menampilkan gim video memerlukan komputasi kecerahan dan warna jutaan piksel hingga 120 kali per detik. 

GPU melakukan berbagai komputasi sederhana ini secara paralel, sehingga membebaskan CPU untuk melakukan komputasi yang lebih kompleks.

Ilmuwan komputer menyadari kapasitas GPU untuk melakukan sejumlah besar komputasi paralel dapat digunakan kembali untuk tugas lain, seperti pembelajaran mesin. 

Menjalankan jaringan saraf tiruan seperti GPT atau DALL-E OpenAI, misalnya, melibatkan sejumlah besar operasi matematika yang dapat dilakukan secara paralel.

Namun paralelisme tidak berhenti di sini: Tingkat paralelisme lain dimungkinkan dengan menghubungkan beberapa GPU bersama-sama dalam suatu jaringan. 

Jaringan Kempner melibatkan ratusan GPU NVIDIA 144 A100 dan 384 H100 yang dapat bekerja sama. Paralelisme bertingkat ini memberdayakan para peneliti Kempner untuk melakukan komputasi yang sangat intensif yang terlibat dalam studi kecerdasan alami dan buatan dan untuk mengembangkan aplikasi AI baru di bidang-bidang seperti kedokteran. 

Sebuah superkomputer canggih yang dibuat ramah lingkungan
Sengaja dibangun untuk konsumsi energi yang optimal, klaster AI Kempner juga menetapkan standar untuk superkomputer "hijau".

Pembelajaran mesin modern telah menghasilkan kemajuan yang belum pernah terjadi sebelumnya dalam AI, tetapi metodenya semakin boros energi. 

Oleh karena itu, menurunkan jejak karbon AI sangat penting agar kemajuan AI tidak mengorbankan pemanasan global. 

Klaster AI Kempner menggunakan berbagai teknik canggih untuk meminimalkan penggunaan energi dan memanfaatkan setiap megawatt daya secara maksimal.

Pusat ini didukung oleh perusahaan listrik kota Holyoke, yang menyalurkan 100 persen energi bebas karbon melalui pembangkit listrik tenaga air dan beberapa panel surya yang dioperasikannya.

Sebagai pusat komputasi yang digunakan oleh sebagian besar universitas riset negara bagian, termasuk Harvard, MIT, UMass, Northeastern, dan Boston University, MGHPCC adalah pusat data riset universitas pertama yang meraih Sertifikasi LEED Platinum, tingkat tertinggi yang diberikan oleh Program Kepemimpinan dalam Desain Energi dan Lingkungan Green Building Council. 

Ke depannya, kemitraan Kempner dengan MGHPCC akan memungkinkannya untuk terus tumbuh dengan mempertimbangkan efisiensi, menjaga klaster AI Kempner tetap hijau dan efisien bahkan saat ia tumbuh menjadi alat yang lebih cepat dan lebih canggih untuk kemajuan di bidang tersebut. 

“Membangun klaster AI yang tidak hanya sangat cepat tetapi juga hemat energi sangat sesuai dengan misi Kempner, baik untuk memajukan bidang kecerdasan, maupun melakukannya dengan cara yang menguntungkan masyarakat,” kata Direktur Eksekutif Kempner, Elise Porter.