OpenAI’nin dil işleme modelleri ChatGPT-3 ve ChatGPT-4, bu hafta başlarında yayınlanan bir araştırmaya göre 2021 ve 2022 Amerikan Gastroenteroloji Koleji Öz Değerlendirme Testlerinde başarısız oldu. Amerikan Gastroenteroloji Dergisi.
ChatGPT, kullanıcıların sorularına veya ifadelerine yanıt olarak insan benzeri metinler üreten büyük bir dil modelidir.
Feinstein Tıbbi Araştırma Enstitüleri’ndeki araştırmacılar, yeteneklerini ve doğruluğunu değerlendirmek için ChatGPT’nin iki versiyonundan testlerle ilgili soruları yanıtlamalarını istedi.
Her test 300 çoktan seçmeli soru içerir. Araştırmacılar, görüntü gereksinimleri olanlar hariç, çoktan seçmeli her soruyu ve yanıtı kopyalayıp yapay zeka destekli platforma yapıştırdı.
ChatGPT-3 ve ChatGPT-4 455 soruyu yanıtladı, ChatGPT-3 455 sorunun 296’sını ve ChatGPT-4 284 soruyu doğru yanıtladı.
Testi geçmek için, bireylerin% 70 veya daha yüksek puan alması gerekir. ChatGPT-3 %65,1 ve ChatGPT-4 %62,4 puan aldı.
Öz değerlendirme testi, bir bireyin American Board of Internal Medicine Gastroenterology kurul sınavında nasıl puan alacağını belirlemek için kullanılır.
Doçent Dr. Arvind Trindade, “Son zamanlarda, ChatGPT’ye ve çeşitli endüstrilerde yapay zeka kullanımına çok fazla ilgi var. Tıp eğitimi söz konusu olduğunda, bu potansiyel çığır açan araç hakkında araştırma eksikliği var.” Feinstein Enstitüleri Sağlık Sistemi Bilimi Enstitüsü’nden ve makalenin kıdemli yazarı, yaptığı açıklamada. “Araştırmamıza göre, ChatGPT şu anda gastroenterolojide tıp eğitimi için kullanılmamalı ve sağlık alanında uygulanmadan önce kat edilmesi gereken yollar var.”
NEDEN ÖNEMLİ
Çalışmanın araştırmacıları, ChatGPT’nin başarısız notunun, sistemindeki ücretli tıbbi dergilere veya güncel olmayan bilgilere erişim eksikliğinden kaynaklanabileceğini ve güvenilir bir şekilde kullanılabilmesi için daha fazla araştırmaya ihtiyaç duyulduğunu belirtti.
Hala bir çalışmak Şubat ayında PLOS Digital Health’te yayınlanan bir araştırma, araştırmacıların ChatGPT’nin üç sınavdan oluşan Amerika Birleşik Devletleri Tıbbi Lisanslama Sınavındaki performansını test ettiğini ortaya çıkardı. Yapay zeka aracının üç sınav için de eşiği geçtiği veya geçmeye yaklaştığı görüldü ve açıklamalarında yüksek düzeyde içgörü gösterdi.
Bir araştırmaya göre, ChatGPT ayrıca kardiyovasküler hastalıkların önlenmesi ile ilgili sorulara “büyük ölçüde uygun” yanıtlar verdi. JAMA’da yayınlanan araştırma mektubu.
Araştırmacılar 25 soruyu bir araya getirdi risk faktörü danışmanlığı, test sonuçları ve ilaç bilgileri dahil olmak üzere kalp hastalığını önlemeye yönelik temel kavramlar hakkında bilgi verdi ve yapay zeka sohbet robotuna sorular yöneltti. Klinisyenler yanıtları uygun, uygunsuz veya güvenilmez olarak değerlendirdi ve 25 sorudan 21’inin uygun, dördünün uygunsuz olarak derecelendirildiğini buldu.
Kaynak : https://www.mobihealthnews.com/news/study-chatgpt-fails-pass-american-college-gastroenterology-tests”>Source link