Evaluasi Komparatif Kinerja YOLOv11 dan ResNet-50 untuk Deteksi Gestur Tangan pada Kendali Differential Drive Mobile Robot
DOI:
https://doi.org/10.30736/jt.v18i2.1654Keywords:
YOLOv11, ResNet-50, hand gesture, Differential Drive Mobile Robot, deep learning, confidenceAbstract
Pengenalan gestur tangan berbasis visi komputer menawarkan metode interaksi yang lebih intuitif untuk mengendalikan Differential Drive Mobile Robot (DDMR). Penelitian ini bertujuan membandingkan dua pendekatan deep learning yang berbeda, yaitu YOLOv11 sebagai model deteksi objek dan ResNet-50 sebagai model klasifikasi citra. Dataset terdiri atas 500 citra yang terbagi ke dalam lima kelas gestur, yaitu maju, mundur, belok kanan, belok kiri, dan berhenti. Kedua model dilatih menggunakan pendekatan transfer learning dan dievaluasi melalui pengujian internal serta pengujian langsung menggunakan kamera pada sistem kendali robot. Hasil evaluasi internal menunjukkan bahwa YOLOv11 memperoleh nilai mAP50 sebesar 0,995 dan mAP50–95 sebesar 0,784, sedangkan ResNet-50 menghasilkan nilai precision, recall, dan F1-score sebesar 1,000 pada seluruh kelas. Meskipun demikian, hasil pengujian langsung menunjukkan perbedaan yang signifikan. YOLOv11 menghasilkan nilai confidence pada rentang 0,80–0,90 dengan rata-rata 0,844, sedangkan ResNet-50 memperoleh nilai confidence pada rentang 0,32–0,77 dengan rata-rata 0,442. Perbedaan antara evaluasi internal dan pengujian langsung menunjukkan adanya domain gap antara citra dataset dan citra pada kondisi operasional. Berdasarkan skenario pengujian penelitian ini, YOLOv11 menghasilkan nilai confidence yang lebih tinggi dan lebih konsisten sehingga lebih sesuai digunakan untuk pengenalan gestur tangan pada kendali DDMR. Kontribusi penelitian ini terletak pada evaluasi komparatif antara pendekatan deteksi objek dan klasifikasi citra, tidak hanya pada dataset internal, tetapi juga pada penerapan langsung untuk kendali robot berbasis kamera.
Downloads
References
Agustiani, A. D., Sholahuddin, M. R., Putri, S. M., & Hidayatullah, P. (2024). Penggunaan MediaPipe untuk pengenalan gesture tangan real-time dalam pengendalian presentasi. Media Jurnal Informatika, 16(2), 147–153. https://doi.org/10.35194/mji.v16i2.4788
Al Amin, I. H., & Aprilino, A. (2022). Implementasi algoritma YOLO dan Tesseract OCR pada sistem deteksi plat nomor otomatis. Jurnal Teknoinfo, 16(1), 54–59. https://doi.org/10.33365/jti.v16i1.1522
Al Rivan, M. E., & Setiawan, A. (2022). Pengenalan gestur angka pada tangan menggunakan arsitektur AlexNet dan LeNet pada metode convolutional neural network. Komputika: Jurnal Sistem Komputer, 11(1), 19–28. https://doi.org/10.34010/komputika.v11i1.5176
Arifah, I. I., Fajri, F. N., & Pratamasunu, G. Q. O. (2022). Deteksi tangan otomatis pada video percakapan bahasa isyarat Indonesia menggunakan metode YOLO dan CNN. Journal of Applied Informatics and Computing, 6(2), 171–176. https://doi.org/10.30871/jaic.v6i2.4694
Azhar, A. R., Setiawan, D. A., Yasmin, N. A. A., Putri, T. A., & Nama, G. F. (2024). Sistem monitoring kapasitas air dan pengisian otomatis berbasis IoT menggunakan modul ESP8266. Jurnal Informatika dan Teknik Elektro Terapan, 12(1), 218–228. https://doi.org/10.23960/jitet.v12i1.3966
Behar, N., & Shrivastava, M. (2022). ResNet50-based effective model for breast cancer classification using histopathology images. Computer Modeling in Engineering & Sciences, 130(2), 823–839. https://doi.org/10.32604/cmes.2022.017030
Berliani, T., Rahardja, E., & Septiana, L. (2023). Perbandingan kemampuan klasifikasi citra X-ray paru-paru menggunakan transfer learning ResNet-50 dan VGG-16. Journal of Medicine and Health, 5(2), 123–135. https://doi.org/10.28932/jmh.v5i2.6116
Budiman, S. N., Lestanti, S., Evvandri, S. M., & Putri, R. K. (2022). Pengenalan gestur gerakan jari untuk mengontrol volume di komputer menggunakan library OpenCV dan MediaPipe. Antivirus: Jurnal Ilmiah Teknik Informatika, 16(2), 223–232. https://doi.org/10.35457/antivirus.v16i2.2508
Chalik, A. M., Qowy, B. A., Hanafi, F., & Nuraminah, A. (2021). Mouse tracking tangan dengan klasifikasi gestur menggunakan OpenCV dan MediaPipe. Jurnal Ilmiah Teknik Informatika dan Komunikasi, 1(2), 10–18. https://doi.org/10.55606/juitik.v1i2.323
Elevan, R. T., Hermanto, D., & Widiyanto, E. P. (2025). Deteksi jumlah kendaraan roda empat menggunakan YOLO. Integrative Perspectives of Social and Science Journal, 2(2), 1647–1666. https://ipssj.com/index.php/ojs/article/view/245
Fuad, M., Umam, F., Wahyuni, S., Fahriani, N., Nurwahyudi, I., Darwaman, M. I., & Maulana, F. (2023). Towards controlling mobile robot using upper human body gesture based on convolutional neural network. Journal of Robotics and Control (JRC), 4(6), 856–867. https://doi.org/10.18196/jrc.v4i6.20399
Golfantara, M. F. (2024). Penggunaan algoritma YOLOv8 untuk identifikasi rempah-rempah. Jurnal Informatika dan Teknik Elektro Terapan, 12(3S1), 3867–3873. https://doi.org/10.23960/jitet.v12i3S1.5221
Islam, W., Jones, M., Faiz, R., Sadeghipour, N., Qiu, Y., & Zheng, B. (2022). Improving performance of breast lesion classification using a ResNet50 model optimized with a novel attention mechanism. Tomography, 8(5), 2411–2425. https://doi.org/10.3390/tomography8050200
Karyadi, B. (2023). Pemanfaatan kecerdasan buatan dalam mendukung pembelajaran mandiri. EDUCATE: Jurnal Teknologi Pendidikan, 8(2), 253–258. https://doi.org/10.32832/educate.v8i02.14843
Kemala, A. P., Syahputra, M. E., Lucky, H., & Achmad, S. (2022). Pengembangan smart air condition control menggunakan platform Blynk berbasis mikrokontroler ESP8266 dan sensor DHT11. Engineering, Mathematics and Computer Science Journal, 4(1), 19–23. https://doi.org/10.21512/emacsjournal.v4i1.8072
Latif, M. (2020). Leader-follower formation tracking of multiple mobile robots with constant leader velocity. Journal of Physics: Conference Series, 1569(3), Article 032084. https://doi.org/10.1088/1742-6596/1569/3/032084
Zhao, C. H., & Leong, W. Y. (2025). Optimisation solutions and simple innovative solution research on ResNet50 model. ASM Science Journal, 20(1), 1–9. https://doi.org/10.32802/asmscj.2025.2002
Muliawan, N. B., & Sulistijono, I. A. (2023). Sistem lokalisasi mobile-robot pertanian otonom berbasis ultra-wideband (UWB) dan sensor inersia. The Indonesian Journal of Computer Science, 12(1), 284–301. https://doi.org/10.33022/ijcs.v12i1.3135
Nurwibowo, B. D., & Saikhu, A. (2025). Pengembangan model klasifikasi kejang epilepsi multiclass pada sinyal EEG menggunakan CNN+Bi-LSTM. Jurnal Teknika, 17(1), 21–28. https://doi.org/10.30736/jt.v17i1.1354
Rifa’i, A., & Wardhani, D. F. (2025). Implementasi hand gesture recognition berbasis computer vision untuk kontrol permainan Subway Surfers. Jurnal Sintaks Logika, 5(2), 138–146. https://doi.org/10.31850/jsilog.v5i2.3772
Ritonga, A. A., & Hasibuan, E. R. (2025). Eksplorasi masa depan robotika: Integrasi kecerdasan buatan dalam sistem automasi adaptif berbasis lingkungan. Journal Computer Science and Information Technology (JCoInT), 6(1), 387–393. https://jurnal.ulb.ac.id/index.php/JCoInT/article/view/7831
Roziqin, M. F., Joni, K., & Ulum, M. (2021). Rancang bangun robot pengambil bola tenis lapangan dengan kendali hand gesture recognition berbasis Wi-Fi menggunakan metode PID. Jurnal Sistem Telekomunikasi Elektronika Sistem Kontrol Power Sistem dan Komputer, 1(1), 33–40. https://doi.org/10.32503/jtecs.v1i1.1428
Saputra, D. H., Imran, B., & Juhartini. (2023). Object detection untuk mendeteksi citra buah-buahan menggunakan metode YOLO. Jurnal Kecerdasan Buatan dan Teknologi Informasi, 2(2), 70–80. https://doi.org/10.69916/jkbti.v2i2.18
Wajdi, M. F., & Hajiri, M. I. (2024). Tantangan adaptasi kecerdasan buatan dalam layanan perpustakaan perguruan tinggi. Tik Ilmeu: Jurnal Ilmu Perpustakaan dan Informasi, 8(2), 217–228. https://doi.org/10.29240/tik.v8i2.10901
Wijanarko, R. G., Pradana, A. I., & Hartanti, D. (2024). Implementasi deteksi drone menggunakan YOLO (You Only Look Once). Jurnal Fasilkom, 14(2), 437–442. https://doi.org/10.37859/jf.v14i2.7374
Zaenudin, I., & Riyan, A. B. (2024). Perkembangan kecerdasan buatan (AI) dan dampaknya pada dunia teknologi. Jurnal Informatika Utama, 2(2), 128–153. https://doi.org/10.55903/jitu.v2i2.240
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2026 Diana Mar’atus Sholihah; Muhammad Latif, Muhammad Fuad, Vivi Tri Widyaningrum, Hairil Budiarto
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.
Jurnal Teknika dilisensikan di bawah Attribution-ShareAlike 4.0 International (CC BY-SA 4.0). Anda bebas untuk:
Â
- Bagikan — salin dan distribusikan ulang materi dalam media atau format apa pun
- Beradaptasi — me-remix, mengubah, dan membangun materi untuk tujuan apa pun, bahkan secara komersial. Lisensi ini dapat diterima untuk Karya Budaya Bebas.
Pemberi lisensi tidak dapat mencabut kebebasan ini selama Anda mengikuti persyaratan lisensi.
- Atribusi — Anda harus memberikan kredit yang sesuai, memberikan tautan ke lisensi, dan menunjukkan jika ada perubahan. Anda dapat melakukannya dengan cara yang wajar, tetapi tidak dengan cara apa pun yang menunjukkan bahwa pemberi lisensi mendukung Anda atau penggunaan Anda.
- ShareAlike — Jika Anda me-remix, mengubah, atau membangun materi, Anda harus mendistribusikan kontribusi Anda di bawah lisensi yang sama seperti aslinya.
- Tidak ada batasan tambahan — Anda tidak boleh menerapkan persyaratan hukum atau tindakan teknologi yang secara hukum membatasi orang lain untuk melakukan apa pun yang diizinkan oleh lisensi.
Â
Hak Cipta
Penulis yang menerbitkan dengan jurnal ini menyetujui persyaratan berikut:
Â
Penulis mempertahankan hak cipta dan memberikan jurnal hak publikasi pertama dengan karya yang dilisensikan secara bersamaan di bawah Attribution-ShareAlike 4.0 International (CC BY-SA 4.0) yang memungkinkan orang lain untuk berbagi karya dengan pengakuan kepenulisan karya dan publikasi awal di jurnal ini .
Penulis dapat membuat pengaturan kontrak tambahan yang terpisah untuk distribusi non-eksklusif dari versi jurnal yang diterbitkan dari karya tersebut (misalnya, mempostingnya ke repositori institusional atau menerbitkannya dalam sebuah buku), dengan pengakuan publikasi awalnya di jurnal ini.
Penulis diizinkan dan didorong untuk memposting karya mereka secara online (misalnya, di repositori institusional atau di situs web mereka) sebelum dan selama proses pengiriman, karena dapat menghasilkan pertukaran yang produktif, serta kutipan lebih awal dan lebih besar dari karya yang diterbitkan (Lihat Pengaruh Akses Terbuka).
 
Jutnal teknika oleh Universitas Islam Lamongan berlisensi Creative Commons Attribution-ShareAlike 4.0 International License.
Berdasarkan karya di https://jurnalteknik.unisla.ac.id/index.php/teknika/index
