سامانه هوش مصنوعی مایکروسافت چند صد پرونده از دشوارترین موارد واقعی پزشکی را در آزمونی شبیه ویزیت واقعی پزشک بررسی کرد و در ۸۳ درصد آن‌ها به تشخیص درست رسید. اما پزشکان عمومی با وجود دسترسی به کتاب‌های پزشکی و اینترنت، تنها در ۳۶ درصد موارد به تشخیص درست رسیدند. نتایج این پژوهش پس از داوری در مجله ساینس منتشر شده است.
بیشتر سامانه‌های هوش مصنوعی پزشکی را با آزمون‌های چندگزینه‌ای می‌سنجند، اما در این آزمون نه پرونده کاملی در کار بود و نه گزینه‌ای برای انتخاب، و هوش مصنوعی فقط چند خط درباره بیمار در اختیار داشت. سامانه خودش باید تصمیم می‌گرفت چه بپرسد، کدام آزمایش‌ها را درخواست کند و چه زمانی برای اعلام تشخیص به اندازه کافی مطمئن است، زیرا به گفته یکی از پزشکان این طرح، بیماران هرگز با خلاصه‌ای مرتب از وضعیت خود به مطب نمی‌آیند. این سامانه برای رسیدن به تشخیص مانند گروه کوچکی از پزشکان مجازی عمل می‌کند که با یکدیگر بحث می‌کنند.
در این آزمون هر پرسش و هر آزمایش هزینه مشخصی داشت. وقتی از هوش مصنوعی خواسته شد هزینه‌ها را پایین نگه دارد، باز هم حدود ۸۰ درصد موارد را درست تشخیص داد و هزینه‌اش کمتر از نصف هزینه پزشکان بود. این صرفه‌جویی اهمیت دارد، زیرا آزمایش‌های غیرضروری هم پول را هدر می‌دهند و هم انتظار بیماران را طولانی‌تر می‌کنند. هوش مصنوعی در پرونده‌های معمول اورژانس نیز با اختلاف زیادی بهتر از پزشکان عمل کرد.
البته پزشکانی که در این مقایسه شرکت داشتند پزشک عمومی بودند، نه متخصص، و هر کدام به‌تنهایی و بدون مشورت با همکاران کار می‌کردند. پرونده‌ها نیز فقط به شکل متن ارائه شده بودند و به همین دلیل نه کسی می‌توانست بیمار را معاینه کند و نه نتایج تصویربرداری او را ببیند.
این سامانه هنوز برای درمان بیماران واقعی به کار نمی‌رود و جای پزشکان را نگرفته است، اما شاید روزی بیماران علائم خود را پیش از هر کس برای هوش مصنوعی شرح دهند. در گام بعدی قرار است پژوهشی در بیمارستانی در آمریکا انجام شود که در آن بیماران واقعی مستقیماً با این سامانه گفت‌وگو کنند.
