Kopilot · canlı STT ve rol ayrımı testi

Kendi kayıtlarımızda ne çıktı dört gerçek muayene kaydı

Nereye geldik —. koşum · altı katman, hepsi ölçülü

Muayene konuşmasından hastane sisteminin form alanlarına: ne söylendi → kim söyledi → hangi bulgu → hangi tanı → hangi kural → hangi alan. Aşağıdaki sayıların hepsi TEK bir koşumdan geliyor ve hiçbiri tahmin değil; hangi koşum olduğu sayfanın altında yazıyor.

Hata iki ayda yarıdan aza indi

Gerçek muayene kayıtlarında %20.5 → %8.8. Eşikler sayılar çıkmadan önce yazıldı.

Kazanç hazır modelden değil, bizim katmandan

Aynı ses, aynı puanlayıcı: stok pyannote'ta konuşmacı karışımı %14.5, ürünün hattında %2.7; küme sayısı sekiz kayıtta da doğru. Whisper'ın iki kat büyüğünde fark 0.0001 çıktı, o yüzden turbo kaldı.

Karar veren katmanların hiçbiri dil modeli değil

Tanıyı açık bir istatistik sıralıyor, kuralları modelsiz bir motor çalıştırıyor. Dil modeli yalnız metni anlıyor — ve yedi ucun yedisinde de bir kapı var.

Açık kalanlar da sayıyla biliniyor

Gerçek kayıtlarda düşen tek kapı klinik hata: 9 kaçan / 168 öğe, yani eşiğin 0.4 puan üstünde. Dokuzun içinde iki bulgu gerçekten yanlış duyulmuş ("nefes darlığı" → "nefes dallığı"), kalanı miktar. Üçüncü kişiyi ürünün hattı hâlâ ayıramıyor — iki küme açıyor — ve bunun ölçülmüş bir cevabı var: aday ayrıştırıcı üç küme açıp %81.2 → %98.3 yapıyor. Tanı grafı hastalık başına dört bulgu; kural içeriği henüz gerçek mevzuat değil.

Proje altı katman bir katmana tıklayın — ölçümüyle birlikte açılır

1 · Tanıma ses → metin

Whisper large-v3-turbo · sunucuda, GPU

Ne kullanıyoruz: Whisper large-v3-turbo, sunucuda. Üstüne kendi katmanlarımız: klinik terim taşıyan adayı seçen yeniden puanlama (23.588 terim), halüsinasyon süzgeci, noktalama, sayı normalizasyonu.
Neden hazır model yetmiyor: Hazır model "500" ile "bin"i eşit sayıyor; biri doz hatası, öteki değil. O yüzden klinik terim ve miktarların ayrı bir paydası var, ve söylenmemiş bir terimin yazılması sıfır toleranslı.
Nerede duruyoruz: —
Sırada ne var: Klinik kapı eşiğin 0.4 puan üstünde; kaçan dokuz öğenin beşi miktar, ve miktar normalleştirmesi tamamlanınca kapı payla geçiyor. Ardından seçici: ölçüldü, kalan hataların ~38'inin doğru cevabı zaten çözücünün adayları arasında — yeni veri olmadan %8.8 → %6.4.
Şive: Bugün ölçülmüyor ve bu bir boşluk: dört gerçek kaydın dördü de aynı ağız. Sıradaki iş farklı şivelerden kayıt toplayıp şiveye ayrı bir payda açmak, sonra tanıyıcıyı o kayıtlarla uyarlamak. Ölçmeden uyarlamak, hangi şivede ne kazandığını bilmeden kod değiştirmek olurdu.

2 · Rol ayrımı kim söyledi

Sortformer ayrıştırma · rol kararı bizim

Ne kullanıyoruz: Ayrıştırma için Sortformer (NVIDIA). Ölçüldü ve pyannote'u geçti: kelimenin doğru konuşmacıya gitme oranı %81.2 → %98.3, ve üç kişilik odada üçüncü kümeyi açan tek aday. Geçiş kararı verildi; kalan iş ölçüm değil paketleme (üretim imajına NeMo).
Rol kararı neye bakıyor: "Hangisi hekim" sorusunun hazır karşılığı yok, o bizim: cümlenin kendisi ("dizlerim ağrıyor" hastadır, "hocam" diyen hekim değildir, tarama sorusu hekimdedir), üstüne ses izi ve küme çelişkisi. İşaretler çelişirse güven düşüyor, ve düşük güvenli bir rol kararı reçete yazdırmıyor.
Nerede duruyoruz: İki kişilik muayenede %93 ve %86 — ve muayenelerin ezici çoğunluğu iki kişilik. Odada üçüncü kişi varsa bugün %0: sevk edilen ayrıştırma iki küme açıyor, yani refakatçi rolü atanacak bir küme ortada yok. Rol ataması sağlam — kusursuz üç küme verildiğinde doğru atıyor.
Refakatçi için ne yapıyoruz: 1. Sortformer'a geçiş üçüncü kümeyi açıyor — zincirin ilk adımı. 2. Hitap kalıbı: kural bugün "ben kızıyım" gibi bir kendini tanıtma arıyor, gerçek konuşmada refakatçi annesine "anne" diyor; bu kalıbı çapaya eklemek veri gerektirmiyor. 3. Üç küme açılınca doğacak yeni iş: hangisi hasta. Kanal zaten var (hekimin sorusuna cevap veren hasta), ağırlık işi.
Nereye gider: Üç kişilik kayıtlar iki kişilik seviyeye çıkarsa havuz %81.2'den %90 bandına gelir. Bu bir projeksiyon; bugünkü %86–93 onu gerçekçi kılıyor.

3 · Metinden semptoma dil modeli · bulgu ve form alanları

kendi verimizle uyarlanmış model · hekimin bilgisayarında

Ne yapıyor: Konuşmanın metnini okuyup muayene notunun alanlarını dolduruyor: şikâyet, öykü, kullandığı ilaçlar, muayene bulguları, istenen tetkikler, plan. Hekimin elle yazacağı kutular bunlar.
Uydurma ne demek: Hastanın söylemediği bir şeyin nota yazılması — söylenmemiş bir doz, ölçülmemiş bir ateş, geçmemiş bir süre. Kaçırmaktan daha tehlikeli: eksik bir bilgi görünür, uydurulmuş bir bilgi gerçek bir kayıt gibi okunur.
Bunu ne durduruyor: Yazılan her bilgi konuşmadaki bir cümleye bağlı; cümlesi olmayan bilgi nota giremiyor. Model bir kutuyu düzeltmek isterse ve düzeltme bir miktarı değiştiriyorsa, düzeltme tümden reddediliyor.
Nerede duruyoruz: Sekiz muayenede toplam 49 alan dolduruldu, 37'si doğru. Aynı sekiz muayenede 16 uydurma — çoğu miktar. Projenin en büyük açık işi burası.
Sırada ne var: Kapı var ama yetmiyor, çünkü miktarın kendisi konuşmada geçiyor ve model onu yanlış kutuya taşıyabiliyor. Sıradaki iş: her miktarı söylendiği cümleye kilitlemek.

4 · Hasta dosyası geçmiş epikriz ve laboratuvar

konuşmanın yanında ikinci bir kanıt kaynağı

Ne yapıyor: Hastanın geçmiş epikrizleri ve laboratuvar sonuçları tanı sıralamasına giriyor. Hekim konuşmada söylemese bile dosyada duran bir sonuç hipotezi öne çıkarabiliyor ya da eleyebiliyor.
Eski sonuç bugüne karışmıyor: Her sonucun yaşı hesaplanıyor. 60 gün önceki bir CRP, yedi günlük pencerenin 8.57 katı — tarihsel sayılıyor ve bugünkü tabloyu değiştirmiyor. Bu bir kural, bir ayar değil.
Neye dayanıyor: 70 laboratuvar→hastalık kenarı, 27'si alıntılı (43'ü kaynaksız olduğu için reddedildi). 57 analitin 51'i kullanılabilir, 31'inde referans aralığı var. Alıntıların 65'inin 65'i kaynağına kadar açılıyor.
Nerede duruyoruz: Dosyanın gerektiği vakalarda doğru cevaba götürdü: 6/6. Dosyasız doğru olan bir cevabı bozmadı: 0/7. Doğru hipotezi yukarı çekip lideri devirmedi: 5/5. Değiştirmemesi gerekeni değiştirmedi: 9/9.
Bu sayıların şerhi: Kenarlar onaysız (208 taslak satır) ve bu vakaları yazan el kenarları da yazdı — yüzde yüz burada bir başarı değil bir tanımdır. Ölçtüğü şey mekanizmanın işlediği, kenarların doğru olduğu değil.
Sırada ne var: İki iş: kenarları bir hekimin okuyup onaylaması, ve dışarıdan bir paydayla ölçmek — kenarları yazmayan bir kaynaktan gelen vakalarla.

5 · Semptomdan tanıya graf + RAG · olasılık sıralı

model değil, açık istatistik · kaynak külliyattan

İki ayrı yol çalışıyor: Kılavuz yolu: hastanın kendi sözleri kılavuz paragraflarını açıyor (RAG — 245 paragraf, her birinde ICD kodu ve doğrulanmış bir alıntı). Ekranda tanının yanında hangi kılavuzun hangi cümlesi olduğu yazıyor.
Graf yolu: 69 hastalık ve 14.337 bulgudan açık bir olasılık hesabı — dil modeli değil — tanıları sıralıyor.
Graf neye bakıyor: Bulgunun o hastalıkta ne sıklıkta görüldüğüne, hastalığın yaygınlığına, yaş ve cinsiyete, ve hastanın "yok" dediği bulgulara — onlar negatif kanıt sayılıyor.
Nerede duruyoruz: İki sayı iki ayrı şeyi ölçüyor.
25/25 — 25 vakanın hepsinde hastanın anlattıkları doğru kılavuz paragrafını açtı, yani kaynak gösterme çalışıyor.
%20 — grafın kendi sıralaması doğru tanıyı ancak beş vakadan birinde ilk sıraya koyuyor. Zayıf, ve sebebi belli.
Sırada ne var: Sebep kapsam: graf 69 hastalık tanıyor, kılavuz külliyatı 229. Grafta karşılığı olmayan bir tanı hiç sıralanamıyor. Sıradaki iş külliyattaki hastalıkları grafa taşımak — kaynağı olan her biri.

6 · Tanıdan tedaviye modelsiz kural motoru · kılavuza bağlı

kurallar veri dosyasında, kodda değil

Ne kullanıyoruz: Kılavuzlar bir kez okunup eğer-ise kurallarına çevrildi; koşum anında model yok. Her öneri kılavuzun kendi cümlesine bağlı, yani "geçen ay bu hastaya ne önerdin" sorusunun cevabı var.
Bedeli ne: Kapsam: yazılmamış durumda sistem susuyor. Bilinçli — makul görünen yanlış bir öneri, sessizlikten tehlikeli. Ve kapsam boşluğu ölçülebiliyor; bir model yorumunun hata oranı ölçülemiyor.
Nerede duruyoruz: Kanıtsız destek iddiası 0. Tuzak ve alakasız metinde 2039/2039 kez doğru sustu. Bağımsız kapsam sınavı (WHO ICD-11'den 772 terim) %36.
Sırada ne var: Kapsam. Yazılmamış durumda sistem susuyor — bilinçli, ama kapanması gereken bir boşluk. İçerik henüz gerçek mevzuat değil, dosya bunu kendi içinde söylüyor.

7 · Ghost screen not → HBYS'nin kendi alanları

API izni yok · kullanıcı gibi davranıyor

Ne kullanıyoruz: Uygulama kullanıcı gibi davranıyor: hastane sisteminin ekrandaki alanlarını okuyup dolduruyor. Hiçbir API izni, veri tabanı erişimi ya da satıcı işbirliği gerekmiyor.
Neden önemli: Bir HBYS entegrasyonu normalde sözleşme, veri tabanı erişimi ve satıcı işbirliği ister. Burada kurulum için hastane BT'sinden hiçbir şey istenmiyor — tek bir sunucu yapılandırılıyor, her iş istasyonu değil.
Nerede duruyoruz: Çalışıyor: not, hastane sisteminin kendi alanlarına yazılıyor. Alınan entegrasyon izni: 0.
Sırada ne var: Platforma bağlı her şey tek katmanda toplandı, yani yeni bir işletim sistemi ya da yeni bir HBYS ekranı yalnız o katmanı değiştiriyor — ürünün geri kalanını değil.