برخی از الگوریتم‌ها در حال حاضر هم‌تراز با پروتکل‌های استاندارد مراقبتی توسعه یافته توسط انسان برای مدیریت بیماری و گاهی نیز بهتر از آنها عمل می‌کنند.
هوش مصنوعی خود را با عملکرد انسان در کارایی و دقت طبقه‌بندی سرطان پوست و در روش‌های تشخیصی تصویربرداری پزشکی مطابقت داده است. با این حال، ضعف این یافته‌ها این است که اکثر این مدل‌ها به صورت گذشته‌نگر آزمایش شده‌اند و فاقد مطالعات پزشکی کنترل‌شده تصادفی هستند. همین امر در مورد صدها دستگاه پزشکی مجهز به هوش مصنوعی که توسط سازمان‌های نظارتی تأیید شده‌اند، مشکل‌ساز می‌شود، اگرچه فاقد مطالعات کنترل‌شده تصادفی هستند.
به نقل از اس‌اف، یک مثال مدل اپیک سپسیس(Epic Sepsis) است، یک مدل پیش‌بینی اختصاصی برای سپسیس یا گندخونی که عفونتی در کل بدن است که با آزمایش‌های خون تشخیص داده می‌شود. این مدل در صدها بیمارستان ایالات متحده استفاده می‌شود، اما به اندازه کافی آزمایش نشده است و توانایی ضعیفی از خود در شناسایی بیماران سپتیک نشان داده است.
بررسی استفاده از هوش مصنوعی در رادیولوژی نشان داد که مطالعات کمی به نگرش رادیولوژیست‌ها و پزشکان نسبت به پذیرش نوآوری‌های هوش مصنوعی پرداخته‌اند. اینها تنها برخی از مسائل عدم قطعیت در مورد استفاده از سیستم‌های هوش مصنوعی در محیط بالینی است.
به منظور درک واضح‌تر از هوش مصنوعی در پزشکی، در یک بررسی گسترده ارزیابی شد که چه مطالعات تصادفی برای الگوریتم‌های هوش مصنوعی در دسترس بوده که قبل از سال ۲۰۲۳ در شرایط بالینی استفاده شده است. این تجزیه و تحلیل پتانسیل هوش مصنوعی را برای بهبود مراقبت، ترکیب رفتار و علائم بیمار و کارایی تصمیم‌گیری بالینی بررسی کرد. همچنین مناطقی را شناسایی کرد که به تحقیقات بیشتری نیاز دارند.
این بررسی شامل ۸۶ مطالعه تصادفی بود که عمدتا بر روی گوارش(۴۳ درصد) متمرکز بودند، پس از آن ۱۱ مطالعه در مورد رادیولوژی(۱۳ درصد)، پنج مورد در مورد جراحی(۶ درصد) و پنج مطالعه در مورد قلب(۶ درصد) قرار داشتند. از ۸۶ مطالعه تجزیه و تحلیل شده، تنها ۱۸ مطالعه تصادفی شده اثر هوش مصنوعی را بر مدیریت کیفیت مراقبت در عمل بالینی ارزیابی کردند.