Надежность моделей машинного обучения в таких ответственных приложениях, как диагностика опухолей головного мозга, критически зависит от качества обучающих данных. В данной статье представлен анализ четырех широко используемых наборов данных МРТ головного мозга: Chakrabarty, Br35H, Bhuvaji и Figshare. Мы оцениваем эти наборы данных по ключевым критериям достоверности, включая происхождение данных, целостность меток, независимость выборки, репрезентативность и соблюдение этических норм. Наши результаты показывают, что только набор данных Figshare удовлетворяет большинству основных стандартов качества. Остальные три демонстрируют серьезные недостатки, такие как неправильная маркировка, скрытое дублирование и этические нарушения, которые ставят под угрозу их научную достоверность. Контролируемые эксперименты дополнительно демонстрируют, что эти проблемы качества данных могут искусственно завышать производительность модели на значительные величины, подрывая надежность эталонных данных. Мы приходим к выводу, что такие наборы данных, как Chakrabarty, Br35H и Bhuvaji, требуют существенной структурной доработки, прежде чем их можно будет ответственно использовать в клинической разработке ИИ.
The reliability of machine learning models in high-stakes applications like brain tumor diagnosis depends critically on the quality of training data. This paper presents a forensic audit of four widely used brain MRI datasets: Chakrabarty, Br35H, Bhuvaji, and Figshare. We evaluate these datasets against key validity criteria, including data provenance, label integrity, sample independence, representativeness, and ethical compliance. Our findings reveal that only the Figshare dataset satisfies most essential quality standards. The remaining three exhibit profound flaws – such as label inaccuracies, undisclosed duplication, and ethical lapses – that compromise their scientific validity. Controlled experiments further demonstrate that these data-quality issues can artificially inflate model performance by significant margins, undermining benchmark reliability. We conclude that datasets like Chakrabarty, Br35H, and Bhuvaji require substantial structural revision before they can be responsibly used in clinical AI development.