Turnitin vs ChatGPT: Apakah Turnitin Bisa Mendeteksi Tulisan AI?
Untuk kamu yang sering menggunakan ChatGPT untuk mengerjakan tugas kuliah, sebaiknya pikir-pikir lagi.
Dalam rilis pressnya, Turnitin menyatakan bahwa:
Turnitin has successfully developed an AI writing detector that, in its lab, identifies 97 percent of ChatGPT and GPT3 authored writing, with a very low less than 1/100 false positive rate.
Intinya, Turnitin berhasil menciptakan sebuah alat yang berfungsi untuk mendeteksi hasil tulisan buatan artificial intelligence, khususnya ChatGPT, dengan tingkat keberhasilan 97%.
Apakah klaim bahwa "Turnitin mampu mendeteksi konten buatan AI" ini, benar adanya?
Untuk memastikan hal ini, saya telah melakukan beberapa test, dan berikut adalah hasilnya.
ChatGPT: Ketika AI Berkamuflase Menjadi Manusia
Konten AI adalah konten yang tidak ditulis oleh manusia secara langsung, namun oleh robot yang dilatih jutaan kali dengan neural network sehingga bisa mengerti dan menjalankan perintah yang diberikan oleh pengguna.
ChatGPT khususnya, dilatih dengan "massive corpus of text data, around 570GB of datasets, including web pages, books, and other sources.". Akibatnya, konten buatan ChatGPT terasa sangat natural, seakan-akan konten tersebut adalah buatan manusia.
Sedikit challenge untuk kamu. Kira-kira diantara ketiga teks ini, teks manakah yang dibuat oleh ChatGPT, dan mana yang ditulis oleh manusia?
The Pixar Theory
The Pixar Theory is a popular fan theory that suggests all the Pixar movies take place in the same universe and are connected by a single timeline. It proposes that the movies are set in a universe where humans no longer exist and intelligent animals and objects have taken over the world.
The theory suggests that the events in the Pixar movies occur in a specific order, starting with "Brave" and ending with "Toy Story 3." Each movie is said to contribute to the overall story of this universe, with characters from one film often appearing in others.
For example, the toys in "Toy Story" are said to be alive because of the events of "The Incredibles," where a character named Syndrome creates a device that can give animals and objects human-like intelligence. The theory also suggests that the monster world in "Monsters, Inc." is powered by the emotions of humans, which explains why they need to scare them to collect energy.
While the Pixar Theory is not officially confirmed by Pixar, it's a fun way for fans to look at the movies in a new light and imagine how they might all fit together.
Internet of Things
Salah satu contoh penggunaan Arduino untuk IoT adalah dalam pengembangan rumah pintar. Dengan menggunakan sensor, seperti sensor suhu, kelembaban, dan gerakan, Arduino dapat digunakan untuk mengontrol dan mengotomatisasi berbagai aspek rumah, seperti sistem pencahayaan, pemanas, dan sistem keamanan. Misalnya, sensor suhu dapat digunakan untuk mengontrol termostat pintar yang menyesuaikan sistem pemanas dan pendingin di rumah berdasarkan pembacaan suhu. Demikian pula, sensor gerakan dapat digunakan untuk memicu kamera keamanan atau menyalakan lampu ketika seseorang memasuki ruangan.
Hukum Pidana di Indonesia
Hukum pidana di Indonesia merupakan bagian dari hukum yang mengatur tentang tindak pidana, yang meliputi perbuatan yang dilarang oleh undang-undang dan sanksi yang diberikan jika seseorang melakukan tindakan tersebut. Hukum pidana di Indonesia diatur dalam Kitab Undang-Undang Hukum Pidana (KUHP) dan undang-undang lain yang terkait.
Terdapat berbagai jenis tindak pidana yang diatur dalam KUHP, seperti tindak pidana kejahatan, tindak pidana ringan, dan tindak pidana khusus. Beberapa contoh tindak pidana di Indonesia meliputi pencurian, pemerkosaan, pembunuhan, penganiayaan, dan penipuan.
Hukum pidana di Indonesia memiliki tujuan utama untuk melindungi masyarakat dari tindakan yang merugikan, menghukum pelaku tindak pidana, dan mencegah terjadinya tindak pidana di masa depan. Sanksi yang diberikan dalam hukum pidana di Indonesia meliputi pidana mati, pidana penjara, dan denda.
Dalam ranah akademik, hal ini tentu sangat membantu untuk mencari referensi mengenai cara menjawab pertanyaan dari suatu topik.
Namun hal yang berbeda akan terjadi jika ChatGPT disalahgunakan untuk penulisan,misalnya, tugas kuliah, tanpa adanya supervisi atau editing lebih lanjut dari penggunanya.
Kira-kira begini alurnya: Ada pertanyaan dari tugas kuliah -> Lemparkan pertanyaan tersebut ke ChatGPT -> Copy-paste jawaban ChatGPT -> Submit -> Done.
Selain tugas kuliah, ChatGPT juga bisa saja digunakan dalam proses penulisan paper jurnal.
It was no brainer! Bayangkan jika hal ini dilakukan secara masif.
Karena itu, di sini, saya akan menguji kemampuan Turnitin dalam mendeteksi konten buatan AI.
Metodologi
Pengujian dilakukan dengan memberikan ChatGPT beberapa prompt / perintah dalam Bahasa Indonesia dan Bahasa Inggris untuk memberikan penjelasan mengenai suatu teori.
Beberapa promt tersebut diantaranya:
- Explain to me about "string theory" in a formal tone.
- Jelaskan mengenai pendidikan di Indonesia dalam bahasa santai.
- Explain to me about "analytical hierarchy process" in 1000 words, include a citation from several researchers, write it in a formal tone.
- Explain to me about Arduino and example of its Internet of Things apllication in 400 words. Use a formal tone.
- Jelaskan tentang metode "blackbox testing", disertai dengan rujukan dari para ahli dari tahun 2016 hingga 2020.
Setelahnya, jawaban yang diberikan oleh ChatGPT saya submit ke akun Turnitin no-repository untuk dilakukan pengecekan.
Note: Seperti yang saya jelaskan dalam artikel Cara Kerja Turnitin, pengecekan ini PASTI akan menghasilkan skor plagiasi. Namun inti dari pengujian ini adalah untuk menentukan apakah Turnitin mampu mendeteksi tulisan buatan AI atau tidak.
Hasil Pengujian
Hasil pengujian Turnitin dalam mendeteksi tulisan buatan AI ini, saya lampirkan dalam tabel di bawah ini:
| Prompt ChatGPT | Similarity Score Turnitin | Terdeteksi AI |
|---|---|---|
| String Theory, formal tone | 22% | Tidak |
| Pendidikan di Indonesia, bahasa santai | 8% | Tidak |
| Analytical Hierarchy Process in 1000 words with citations, formal tone | 18% | Tidak |
| Arduino and IoT in 400 words | 17% | Tidak |
| Blackbox Testing,rujukan dari para ahli dari tahun 2016 hingga 2020 | 14% | Tidak |
Hasil pengujian ditunjukkan dalam gambar berikut:
Berdasarkan hasil pengujian, Turnitin dinyatakan tidak mampu mendeteksi tulisan buatan AI, khususnya ChatGPT, baik untuk teks dalam Bahasa Inggris ataupun Bahasa Indonesia. Hal ini dirasa wajar, karena Turnitin baru akan mengimplementasikan fitur deteksi konten AI pada April 2023.
Untuk melihat data hasil uji Turnitin, silakan kunjungi folder Google Drive berikut.
Sneak Peek Turnitin AI Detector
CEO dari Turnitin, Chris Caren mengatakan "There are risks to AI writing being used improperly, and it is essential that good detection technology is available across all sectors".
Dalam video di bawah ini, AI detector dari Turnitin menunjukkan hasil positif dalam mendeteksi tulisan ChatGPT:
Kesimpulan
ChatGPT adalah inovasi yang besar untuk teknologi masa depan.
Meski begitu, selalu lakukan parafrase pada jawaban yang diberikan ChatGPT untuk mendapatkan hasil yang lebih natural, dan similarity score / plagiasi Turnitin yang rendah.
Overall, saya yakin Turnitin akan menambah kemampuan deteksi konten AI-nya hingga ke Bahasa Indonesia di masa yang akan datang.
Artikel ini akan diperbaharui kembali ketika AI detector dari Turnitin telah diimplementasikan dengan sempurna.
Spoiler
Jawaban dari challenge di atas: semua ditulis oleh ChatGPT.
Referensi
Turnitin. “Turnitin Announces AI Writing Detector and AI Writing Resource Center for Educators.” Turnitin, 13 Feb. 2023, https://www.turnitin.com/press/turnitin-announces-ai-writing-detector-and-ai-writing-resource-center-for-educators.
Crisara, Matt. “ChatGPT: How Does ChatGPT Work?” Popular Mechanics, Popular Mechanics, 3 Feb. 2023, https://www.popularmechanics.com/technology/a42733497/how-does-chatgpt-work/.
Join the conversation