Kopilot · canlı STT ve rol ayrımı testi

Kendi kayıtlarımızda ne çıktı dört gerçek muayene kaydı

Nereye geldik —. koşum · altı katman, hepsi ölçülü

Muayene konuşmasından hastane sisteminin form alanlarına: ne söylendi → kim söyledi → hangi bulgu → hangi tanı → hangi kural → hangi alan. Aşağıdaki sayıların hepsi TEK bir koşumdan geliyor ve hiçbiri tahmin değil; hangi koşum olduğu sayfanın altında yazıyor.

Hata iki ayda yarıdan aza indi

Gerçek muayene kayıtlarında %20.5 → %8.8. Eşikler sayılar çıkmadan önce yazıldı.

Kazanç hazır modelden değil, bizim katmandan

Aynı ses, aynı puanlayıcı: stok pyannote'ta konuşmacı karışımı %14.5, ürünün hattında %2.7; küme sayısı sekiz kayıtta da doğru. Whisper'ın iki kat büyüğünde fark 0.0001 çıktı, o yüzden turbo kaldı.

Karar veren katmanların hiçbiri dil modeli değil

Tanıyı açık bir istatistik sıralıyor, kuralları modelsiz bir motor çalıştırıyor. Dil modeli yalnız metni anlıyor — ve yedi ucun yedisinde de bir kapı var.

Açık kalanlar da sayıyla biliniyor

Gerçek kayıtlarda düşen tek kapı klinik hata: 9 kaçan / 168 öğe, yani eşiğin 0.4 puan üstünde. Dokuzun içinde iki bulgu gerçekten yanlış duyulmuş ("nefes darlığı" → "nefes dallığı"), kalanı miktar. Üçüncü kişiyi ürünün hattı hâlâ ayıramıyor — iki küme açıyor — ve bunun ölçülmüş bir cevabı var: aday ayrıştırıcı üç küme açıp %81.2 → %98.3 yapıyor. Tanı grafı hastalık başına dört bulgu; kural içeriği henüz gerçek mevzuat değil.

Proje altı katman bir katmana tıklayın — ölçümüyle birlikte açılır

1 · Tanıma ses → metin

Whisper large-v3-turbo · sunucuda, GPU

Ne kullanıyoruz: Whisper large-v3-turbo, sunucuda. Üstüne kendi katmanlarımız: klinik terim taşıyan adayı seçen yeniden puanlama (23.588 terim), halüsinasyon süzgeci, noktalama, sayı normalizasyonu.
Neden hazır model yetmiyor: Hazır model "500" ile "bin"i eşit sayıyor; biri doz hatası, öteki değil. O yüzden klinik terim ve miktarların ayrı bir paydası var, ve söylenmemiş bir terimin yazılması sıfır toleranslı.
Nerede duruyoruz: —
Sırada ne var: Klinik kapı eşiğin 0.4 puan üstünde; kaçan dokuz öğenin beşi miktar, ve miktar normalleştirmesi tamamlanınca kapı payla geçiyor. Ardından seçici: ölçüldü, kalan hataların ~38'inin doğru cevabı zaten çözücünün adayları arasında — yeni veri olmadan %8.8 → %6.4.
Şive: Bugün ölçülmüyor ve bu bir boşluk: dört gerçek kaydın dördü de aynı ağız. Sıradaki iş farklı şivelerden kayıt toplayıp şiveye ayrı bir payda açmak, sonra tanıyıcıyı o kayıtlarla uyarlamak. Ölçmeden uyarlamak, hangi şivede ne kazandığını bilmeden kod değiştirmek olurdu.

2 · Rol ayrımı kim söyledi

Sortformer ayrıştırma · rol kararı bizim

Ne kullanıyoruz: Ayrıştırma için Sortformer (NVIDIA). Ölçüldü ve pyannote'u geçti: kelimenin doğru konuşmacıya gitme oranı %81.2 → %98.3, ve üç kişilik odada üçüncü kümeyi açan tek aday. Geçiş kararı verildi; kalan iş ölçüm değil paketleme (üretim imajına NeMo).
Rol kararı neye bakıyor: "Hangisi hekim" sorusunun hazır karşılığı yok, o bizim: cümlenin kendisi ("dizlerim ağrıyor" hastadır, "hocam" diyen hekim değildir, tarama sorusu hekimdedir), üstüne ses izi ve küme çelişkisi. İşaretler çelişirse güven düşüyor, ve düşük güvenli bir rol kararı reçete yazdırmıyor.
Nerede duruyoruz: İki kişilik muayenede %93 ve %86 — ve muayenelerin ezici çoğunluğu iki kişilik. Odada üçüncü kişi varsa bugün %0: sevk edilen ayrıştırma iki küme açıyor, yani refakatçi rolü atanacak bir küme ortada yok. Rol ataması sağlam — kusursuz üç küme verildiğinde doğru atıyor.
Refakatçi için ne yapıyoruz: 1. Sortformer'a geçiş üçüncü kümeyi açıyor — zincirin ilk adımı. 2. Hitap kalıbı: kural bugün "ben kızıyım" gibi bir kendini tanıtma arıyor, gerçek konuşmada refakatçi annesine "anne" diyor; bu kalıbı çapaya eklemek veri gerektirmiyor. 3. Üç küme açılınca doğacak yeni iş: hangisi hasta. Kanal zaten var (hekimin sorusuna cevap veren hasta), ağırlık işi.
Nereye gider: Üç kişilik kayıtlar iki kişilik seviyeye çıkarsa havuz %81.2'den %90 bandına gelir. Bu bir projeksiyon; bugünkü %86–93 onu gerçekçi kılıyor.

3 · Metinden semptoma dil modeli · bulgu ve form alanları

kendi verimizle uyarlanmış model · hekimin bilgisayarında

Ne kullanıyoruz: Kendi verimizle uyarlanmış bir dil modeli, hekimin bilgisayarında. Üç geçişli: ilk ikisi kaçırmayı azaltıyor, üçüncüsü uydurmayı kesiyor. Çıkarılan her bulgu bir alıntıya bağlı — alıntısı olmayan bulgu nota giremiyor.
Modelin sınırı nerede: Model metin döndürdüğünde bir kapı var: alıntısı olmayan bulgu nota giremiyor, miktarı değiştiren bir rötuş tümden reddediliyor. Tanı koymuyor, tedavi önermiyor — onlar sonraki iki katman.
Nerede duruyoruz: Kırk dokuz form kutusunun 37'si doğru doldu. Sekiz kayıtta 16 uydurma — açık işin en büyüğü burada.
Sırada ne var: Uydurmayı kesmek. Kapı var (alıntısız bulgu geçemiyor) ama yetmiyor: uydurmaların çoğu miktar sınıfında.

4 · Semptomdan tanıya graf + RAG · olasılık sıralı

model değil, açık istatistik · kaynak külliyattan

Ne kullanıyoruz: Açık bir istatistik grafı — 69 hastalık, 14.337 bulgu — dil modeli değil. Hesap dört girdiden: bulgunun o hastalıktaki sıklığı, hastalığın yaygınlığı, yaş/cinsiyet, ve hastanın reddettiği bulguların negatif kanıt sayılması.
Kaynağı nasıl gösteriyoruz: Kılavuz külliyatından RAG: 245 paragraf, her birinde ICD kodu ve doğrulanmış bir alıntı. Tanının yanında hangi kılavuzun hangi cümlesine dayandığı duruyor.
Nerede duruyoruz: Kılavuz yolu 25 vakanın 25'inde doğru tanıyı gösterdi. Grafın kendi sıralaması ilk sırada %20 — zayıf.
Sırada ne var: Grafa hastalık eklemek: külliyat 229 ICD kodu tanıyor, graf 69. Ulaşılamayan tanı sıralanamıyor.

5 · Tanıdan tedaviye modelsiz kural motoru · kılavuza bağlı

kurallar veri dosyasında, kodda değil

Ne kullanıyoruz: Kılavuzlar bir kez okunup eğer-ise kurallarına çevrildi; koşum anında model yok. Her öneri kılavuzun kendi cümlesine bağlı, yani "geçen ay bu hastaya ne önerdin" sorusunun cevabı var.
Bedeli ne: Kapsam: yazılmamış durumda sistem susuyor. Bilinçli — makul görünen yanlış bir öneri, sessizlikten tehlikeli. Ve kapsam boşluğu ölçülebiliyor; bir model yorumunun hata oranı ölçülemiyor.
Nerede duruyoruz: Kanıtsız destek iddiası 0. Tuzak ve alakasız metinde 2039/2039 kez doğru sustu. Bağımsız kapsam sınavı (WHO ICD-11'den 772 terim) %36.
Sırada ne var: Kapsam. Yazılmamış durumda sistem susuyor — bilinçli, ama kapanması gereken bir boşluk. İçerik henüz gerçek mevzuat değil, dosya bunu kendi içinde söylüyor.

6 · Ghost screen not → HBYS'nin kendi alanları

API izni yok · kullanıcı gibi davranıyor

Ne kullanıyoruz: Uygulama kullanıcı gibi davranıyor: hastane sisteminin ekrandaki alanlarını okuyup dolduruyor. Hiçbir API izni, veri tabanı erişimi ya da satıcı işbirliği gerekmiyor.
Neden önemli: Bir HBYS entegrasyonu normalde sözleşme, veri tabanı erişimi ve satıcı işbirliği ister. Burada kurulum için hastane BT'sinden hiçbir şey istenmiyor — tek bir sunucu yapılandırılıyor, her iş istasyonu değil.
Nerede duruyoruz: macOS'ta çalışıyor. Alınan entegrasyon izni: 0. Windows kolu henüz bir kez bile koşturulmadı.
Sırada ne var: Windows. Platforma bağlı her şey tek katmanda, yani port o katmanı değiştiriyor — başka hiçbir yeri değil.

7 · Ölçüm disiplini neyi hata sayıyoruz, ve neden

üç kapı · eşikler koşumdan önce yazılı

Ne ölçüyoruz: Üç kapı, üç ayrı payda: GENEL yanlış duyulan sözcük (≤%10), KLİNİK kaybolan ilaç/tetkik/miktar (≤%5), UYDURMA söylenmemiş klinik terim (=0). Eşikler sayılar çıkmadan önce yazıldı.
Neden üç ayrı sayı: Kelime hata oranı bütün kelimeleri eşit sayıyor. "ııı Metformin bin miligram yani" zararsız; "Metformin 500 miligram" hastaya yanlış doz verdiriyor. Ham oranları benzer.
Nerede duruyoruz: 14 insan kaydı, dördü gerçek muayene. Bedelsiz sayılan her fark, onu silen kodu adıyla göstermek zorunda.

8 · Elenenler ve açık işler ne düştü, ne kaldı

hiçbiri varsayımla elenmedi · kararlar koşumdan önce yazılı

Denenip elenenler

Seçilen aday listede yok: Sortformer ölçüldü, pyannote'u geçti (konuşmacı ayrımı %98.3 ↔ %81.2) ve ayrıştırıcı olarak seçildi.

Aday	Sonuç	Neden sevk edilmedi
pyannote community-1	Ölçüldü	Önceden yazılmış üç ölçütün üçünden sıfırını tuttu
DiariZen	Tavan ölçümü	Lisansı ticari kullanıma kapalı
Whisper large-v3	Fark yok	İki katı bellek, karşılığında hiçbir şey
Türkçe ince ayar	Ham WER iyileşti	Klinik terimlerde kayıp — hedeflenen sayı yanlış sayıydı
Hotwords kanalı	Ölçüldü, zararlı	Gerçek kayıtta GENEL %8.8 → %14.3
Dış terim külliyatı	Ölçüldü	581 adayın gerçek referanslarda geçen sayısı: 1
TDK sözlük sesi	Kaynak ölü	473 sözcüğün hepsinde ses kodu boş döndü
Sentetik ses (TTS)	Ölçüldü	İnsanın kaçırdığını kaçırmıyor: insan WER 0.125, sentez 0.066–0.082
CALLHOME ayar seti	Reddedildi	0.42 sn altını siliyor; hastanın "Yok."u 0.3–0.5 sn

Bugün açık olanlar

Klinik kapı — eşiğin 0.4 puan üstünde. Kaçan dokuz öğenin beşi miktar.
Uydurma bulgu — 49 form kutusunda 16 uydurma; en büyük açık iş.
Refakatçi — odada üç kişi varsa rol doğruluğu %0. Arıza rol atamasında değil ayrıştırmada: sevk edilen hat iki küme açıyor. Sortformer'a geçiş kararı verildi (üç kümeyi açıyor); kalan iş üretim imajına NeMo'yu almak. Ardından hasta ile refakatçiyi ayırmak — üç küme açılınca doğan yeni iş.
Tanı grafı sığ — hastalık başına dört civarında bulgu, ve 69 hastalık. Külliyat 229 ICD kodu tanıyor.
Kural içeriği gerçek mevzuat değil — motor çalışıyor, bağımsız kapsam %36.
Windows — kol bir kez bile koşturulmadı.
Referans gövdesi küçük — 14 kayıt, dördü gerçek muayene. Her yeni kayıt tabloyu değiştirebilir.

Okunmuş veri ile gerçek konuşma

Türkçe için ölçülmüş: Common Voice (okunmuş) %10.6 · topluluk verisi (doğal) %36.5–40.9 — alan değişimi hatayı dört katına çıkarabiliyor.
Bizde bu bozulma yok: %9.7 okunmuş → %8.8 gerçek; tanıma katmanının lehine bir bulgu.
Rol ayrımında tersi: orada okunmuş kayıt yanıltıcı.