JOURON -- Sebuah sistem yang mencatat aktivitas listrik otak melalui kulit kepala dapat mengubah pikiran menjadi kata-kata dengan bantuan model bahasa besar (LLM) –-namun hasilnya jauh dari sempurna.

Hanya dengan menggunakan helm berisi sensor yang dipadukan dengan kecerdasan buatan, tim ilmuwan mengumumkan mereka dapat mengubah pikiran seseorang menjadi kata-kata tertulis.

Dalam penelitian tersebut, peserta membaca bagian teks sambil mengenakan topi yang merekam aktivitas listrik otak melalui kulit kepala mereka. Rekaman electroencephalogram (EEG) ini kemudian diubah menjadi teks menggunakan model kecerdasan buatan (AI) yang disebut DeWave.

Chin-Teng Lin dari Universitas Teknologi Sydney (UTS), Australia, mengatakan teknologi ini non-invasif, relatif murah dan mudah dibawa-bawa.

Meskipun sistem ini jauh dari sempurna, dengan akurasi sekitar 40 persen, Lin mengatakan data terbaru yang sedang ditinjau oleh rekan sejawat menunjukkan peningkatan akurasi melebihi 60 persen.

Dalam penelitian yang dipresentasikan pada konferensi NeurIPS di New Orleans, Louisiana, partisipan membacakan kalimat dengan lantang, meskipun program DeWave tidak menggunakan kata-kata yang diucapkan. Namun, dalam penelitian terbaru tim, partisipan membaca kalimat tersebut dalam hati.

Tahun lalu, tim yang dipimpin oleh Jerry Tang di Universitas Texas di Austin melaporkan keakuratan serupa dalam mengubah pikiran menjadi teks, namun pemindaian MRI digunakan untuk menafsirkan aktivitas otak. Penggunaan EEG lebih praktis, karena subjek tidak harus berbaring diam di dalam pemindai.

Model DeWave dilatih dengan melihat banyak contoh di mana sinyal otak cocok dengan kalimat tertentu, kata anggota tim Charles Zhou di UTS.

“Misalnya, ketika Anda berpikir untuk mengatakan ‘halo’, otak Anda mengirimkan sinyal tertentu,” kata Zhou. “DeWave mempelajari bagaimana sinyal-sinyal ini berhubungan dengan kata 'halo' dengan melihat banyak contoh sinyal-sinyal ini untuk kata atau kalimat yang berbeda.”

Setelah DeWave memahami sinyal otak dengan baik, tim menghubungkannya ke model bahasa besar (LLM) sumber terbuka, mirip dengan AI yang mendukung ChatGPT.

“LLM ini ibarat penulis cerdas yang bisa membuat kalimat. Kami meminta penulis ini untuk memperhatikan sinyal dari DeWave dan menggunakannya sebagai panduan untuk membuat kalimat,” kata Zhou.

Terakhir, tim melatih DeWave dan model bahasanya bersama-sama untuk menjadi lebih baik lagi dalam menulis kalimat berdasarkan data EEG.

Dengan penyempurnaan lebih lanjut, para peneliti memperkirakan bahwa sistem ini dapat merevolusi komunikasi bagi orang-orang yang kehilangan kemampuan bicara, seperti mereka yang terkena stroke, dan juga dapat diterapkan dalam bidang robotika.

Craig Jin dari Universitas Sydney mengatakan dia terkesan dengan hasil kerja tim Lin. “Ini kemajuan luar biasa,” katanya.

“Orang-orang sudah lama ingin mengubah EEG menjadi teks dan model tim menunjukkan tingkat kebenaran yang luar biasa. Beberapa tahun yang lalu, konversi dari EEG ke teks benar-benar tidak masuk akal.”