Publikasi
Karya Ilmiah MahasiswaPencarian Spesifik
Kunjungan
Penelitian ini bertujuan untuk menganalisis dan membandingkan Performance & Accuracy ChatGPT dan Gemini dalam menyelesaikan tugas mengenai Internet of Things (IoT). Penilaian menggunakan Bleu Score Matrix, metrik berbasis n-gram untuk mengevaluasi kualitas teks berdasarkan kesamaan dengan teks referensi. Data terdiri dari 50 pertanyaan mengenai IoT dari TechTarget.com dan Guru99.com. Pendekatan kuantitatif deskriptif diterapkan melalui implementasi Python dan Google Colab. Hasil analisis menunjukkan bahwa rata-rata Bleu Score ChatGPT adalah 0.0173, sedangkan Gemini memiliki skor lebih tinggi, yaitu 0.0190. Meskipun perbedaannya kecil, angka ini menunjukkan bahwa secara rata-rata, Gemini memiliki kesesuaian teks yang sedikit lebih baik dalam menjawab 50 pertanyaan terkait IoT. Uji paired sample t-test dilakukan untuk menentukan signifikansi perbedaan antara kedua model. Hasil analisis menunjukkan t-statistic sebesar -1.0046 dengan p-value 0.3322, yang lebih besar dari tingkat signifikansi 0.05. Dengan demikian, hipotesis nol (H₀) diterima, sedangkan hipotesis alternatif (H₁) ditolak, yang mengindikasikan tidak terdapat perbedaan signifikan antara Performance & Accuracy ChatGPT dan Gemini berdasarkan rata-rata Bleu Score. Penelitian ini menunjukkan bahwa kedua model memiliki tingkat akurasi yang serupa dalam menghasilkan teks sesuai referensi.
Fauziyah, Y., Ilyas, R., & Kasyidi, F. (2022). Mesin Penterjemah Bahasa Indonesia-Bahasa Sunda Menggunakan Recurrent Neural Networks. Jurnal Teknoinfo, 16(2), 313. https://doi.org/10.33365/jti.v16i2.1929
Febby Wilyani, Qonaah Nuryan Arif, & Fitri Aslimar. (2024). Pengenalan Dasar Pemrograman Python Dengan Google Colaboratory. Jurnal Pelayanan Dan Pengabdian Masyarakat Indonesia, 3(1), 08–14. https://doi.org/10.55606/jppmi.v3i1.1087
Ghassemiazghandi, M. (2024). An Evaluation of ChatGPT’s Translation Accuracy Using Bleu Score. Theory and Practice in Language Studies, 14(4), 985–994. https://doi.org/10.17507/tpls.1404.07
Guven, Z. A. (2024). Performance Comparison of Large Language Models, GPT and Gemini on Turkish News Classification Task. 0–16.
Handayanto, R. T., & Herlawati, H. (2020). Prediksi Kelas Jamak dengan Deep Learning Berbasis Graphics Processing Units. Jurnal Kajian Ilmiah, 20(1), 67–76. https://doi.org/10.31599/jki.v20i1.71
Heryanto, Y., Farahdinna, F., & Wijanarko, S. (2024). Evaluasi Responsivitas dan Akurasi: Perbandingan Kinerja ChatGPT dan Google1` BARD dalam Menjawab Pertanyaan seputar Python. Jurnal Riset Sistem Informasi Dan Teknik Informatika (JURASIK, 9(1), 248–256. https://tunasbangsa.ac.id/ejurnal/index.php/jurasik
Kevian, D., Syed, U., Guo, X., Havens, A., Dullerud, G., Seiler, P., Qin, L., & Hu, B. (2024). Capabilities of Large Language Models in Control Engineering: A Benchmark Study on GPT-4, Claude 3 Opus, and Gemini 1.0 Ultra. 1–26. http://arxiv.org/abs/2404.03647
Maulida, R. (2024). Komparasi Respons ChatGPT dan Gemini terhadap Command Pattern Identik dengan Metode Black Box. X(2), 2442–2445.
Misnawati Misnawati. (2023). ChatGPT: Keuntungan, Risiko, Dan Penggunaan Bijak Dalam Era Kecerdasan Buatan. Prosiding Seminar Nasional Pendidikan, Bahasa, Sastra, Seni, Dan Budaya, 2(1), 54–67. https://doi.org/10.55606/mateandrau.v2i1.221
Nazar, R. (2024). Implementasi Pemrograman Python Menggunakan Google Colab. Jurnal Informatika Dan Komputer (JIK) , 15(1), 50–56.
Qadrini, L., Sepperwali, A., & Aina, A. (2021). Decision Tree Dan Adaboost Pada Klasifikasi Penerima Program Bantuan Sosial. Jurnal Inovasi Penelitian, 2(7), 1959–1966.
Rane, N., Choudhary, S., & Rane, J. (2024). Gemini versus ChatGPT: applications, Performance , architecture, capabilities, and implementation. Journal of Applied Artificial Intelligence, 5(1), 69–93. https://doi.org/10.48185/jaai.v5i1.1052
Rifano, E. J., Fauzan, A. C., Makhi, A., Nadya, E., Nasikin, Z., & Putra, F. N. (2020). Text Summarization Menggunakan Library Natural Language Toolkit (NLTK) Berbasis Pemrograman Python. ILKOMNIKA: Journal of Computer Science and Applied Informatics, 2(1), 8–17. https://doi.org/10.28926/ilkomnika.v2i1.32
Tiara, T., & Pamuji, F. Y. (2024). Komparasi Usability Chatgpt Vs Gemini Ai Berdasarkan Iso/Iec 9126 Dan Nielsen Model Menggunakan Metode Usability Testing. JUSIM (Jurnal Sistem Informasi Musirawas), 9(1), 89–100. https://doi.org/10.32767/jusim.v9i1.2285
Zaib, M., Sheng, Q. Z., Zhang, W. E., & Mahmood, A. (2023). Keeping the Questions Conversational: Using Structured Representations to Resolve Dependency in Conversational Question Answering. Proceedings of the International Joint Conference on Neural Networks, 2023-June(Ml). https://doi.org/10.1109/IJCNN54540.2023.10191510
Zein, A. (2023). Dampak Penggunaan ChatGPT pada Dunia Pendidikan. JITU: Jurnal Informatika Utama, 1(2), 19–24. https://jurnal.astinamandiri.com/index.php/jitu/article/view/151
| Properti | Nilai Properti |
|---|---|
| Organisasi | Universitas Muhammadiyah Pekajangan Pekalongan |
| umpp.pekalongan@yahoo.com | |
| Alamat | Jl. Raya Pekajangan No. 1A Kedungwuni Pekalongan |
| Telepon | (0285) 7832294 |
| Tahun | 2025 |
| Kota | Pekalongan |
| Provinsi | Jawa Tengah |
| Negara | Indonesia |