Google’ın tıbbi LLM’si artan doğruluğu kanıtlıyor

tarafından yapılan bir çalışma Google araştırmacıları ve yayınlanan Doğa teknoloji devinin üretici yapay zeka teknolojisi Med-PaLM’nin, gönderilen soruların %92,6’sında bilimsel fikir birliğiyle uyumlu uzun biçimli yanıtlar sağladığını ve bunun da %92,9’luk klinisyen tarafından oluşturulan yanıtlarla uyumlu olduğunu ortaya koyuyor.

Med-PaLM, tıbbi soruları yanıtlamak için Google’ın LLM’lerini kullanan üretken bir yapay zeka teknolojisidir.

Araştırmacılar, araştırma kapsamı, profesyonel tıp ve tüketici sorgularını kapsayan altı mevcut tıbbi soru veri setini ve yaygın olarak aranan tıbbi soruların bir veri seti olan HealthSearchQA’yı birleştiren bir standart olan MultiMedQA’yı kullandı.

MultiMedQA soruları, 540 milyar parametreli bir LLM olan PaLM ve onun yönerge ayarlı varyantı olan Flan-PaLM aracılığıyla soruldu.

Yanıtlar daha sonra anlama, muhakeme, gerçeklik ve olası zarar ve önyargıyı değerlendirmek için insan değerlendirmelerinden geçirildi.

Flan-PaLM, çeşitli yönlendirme stratejileri kullanarak, MultiMedQA veri setini yanıtlamada ABD Tıbbi Lisanslama Sınavı tipi sorularda %67,6 doğrulukla, önceki doğruluk düzeylerini %17 aşarak doğruluk gösterdiğini kanıtladı. Yine de araştırmacılar, tüketici tıbbi sorularına verilen yanıtlardaki önemli boşluklara dikkat çekti.

Bu nedenle, araştırmacılar, veri ve parametre açısından verimli bir hizalama tekniği olan komut istemi ayarlamayı tanıttı ve sonuçta Flan-PaLM’den (%61,9) önemli ölçüde daha doğru yanıtlar (%92,9) ortaya çıkaran Med-PaLM ortaya çıktı.

Flan-PaLM yanıtları, Med-PaLM için zamanın %5,9’una kıyasla, zamanın %29,7’sinde potansiyel olarak zararlı sonuçlara yol açacak şekilde derecelendirildi. Klinisyen tarafından oluşturulan yanıtların yanlışlığı %5,7 ile Med-PaLM’ye benzerdi.

Araştırmacılar, modellerin klinik kullanım için uygun hale gelmesinden önce hala birçok sınırlamanın aşılması gerektiğini ve özellikle güvenlik, yanlılık ve hakkaniyet ile ilgili daha fazla değerlendirmenin gerekli olduğunu kabul ettiler.

Yapay zeka araştırmacısı Vivek Natarajan, “Umudumuz, güvenliğin en üst düzeyde tutulduğu tıbbi uygulamalar için tasarlanan Med-PaLM gibi LLM sistemlerinin, özellikle sınırlı sayıda tıp uzmanının bulunduğu coğrafyalarda yüksek kaliteli tıbbi bilgilere erişimi demokratikleştirmesidir.” Google’da ve çalışmadaki araştırmacılardan biri, LinkedIn.

“Ve sonunda, daha fazla geliştirme, güvenlilik ve etkinliğin titiz bir şekilde doğrulanmasıyla Med-PaLM’nin doğrudan bakım yollarında geniş bir kullanım alanı bulacağını umuyoruz. – klinisyenlerimizi güçlendiriyor, idari yüklerini azaltıyor, klinik karar vermeye yardımcı oluyor, onlara hastalara odaklanmaları için daha fazla zaman veriyor ve genel olarak sağlık hizmetlerini daha erişilebilir, adil, daha güvenli ve insancıl hale getiriyor.”

BÜYÜK TREND

Mart ayında teknoloji şirketinin Med-PaLM 2 test edildi ABD Tıbbi Ruhsatlandırma Sınavı tarzı sorularda, %85+ doğrulukla “uzman” sınav katılımcısı düzeyinde performans gösterir. Ayrıca geçer not aldı MedMCQA veri kümesigerçek dünyadaki tıbbi giriş sınavı sorularını ele almak için tasarlanmış çoktan seçmeli bir veri kümesi.

Bir ay sonra şirket açıkladı. Med-PaLM 2, geri bildirim paylaşmak, kullanım örneklerini keşfetmek ve sınırlı testler yapmak için önümüzdeki haftalarda belirli Google Cloud müşterilerinin kullanımına sunulacaktır.

Şirket ayrıca, sağlık sigortası için ön yetkilendirme ve talep işleme sürecine yardımcı olmak için oluşturulan, AI özellikli yeni bir Talep Hızlandırma Paketini duyurdu. Suite, yapılandırılmamış verileri (önceden tanımlanmış bir şekilde düzenlenmemiş veri kümeleri) yapılandırılmış verilere (yüksek düzeyde organize edilmiş ve kolayca deşifre edilebilir veri kümeleri) dönüştürür.