8a136c71fe
- Created `classification.py` for comparing image-level and patient-level classification results using various CNN models. - Implemented `create_patient_groups.py` to extract features, generate PCA/t-SNE plots, and identify patient groups via K-means clustering. - Added `figure6.py` to generate boxplots for test accuracy across multiple seeds. - Developed `simple_patient_tsne.py` to perform t-SNE visualization of patient groups and save results in a manifest file. - Introduced `simple_patient_manifest.csv` to store patient IDs, classes, image counts, and associated images.
8.9 KiB
8.9 KiB
| 1 | patient_id | class | n_images | images |
|---|---|---|---|---|
| 2 | Benign_00 | Benign | 13 | B_021;B_022;B_023;B_024;B_025;B_035;B_066;B_067;B_074;B_075;B_086;B_087;B_088 |
| 3 | Benign_01 | Benign | 16 | B_014;B_015;B_016;B_017;B_018;B_019;B_020;B_036;B_037;B_038;B_039;B_040;B_041;B_089;B_090;B_091 |
| 4 | Benign_02 | Benign | 9 | B_070;B_071;B_072;B_073;B_081;B_082;B_083;B_084;B_085 |
| 5 | Benign_03 | Benign | 10 | B_101;B_102;B_103;B_104;B_105;B_106;B_107;B_108;B_109;B_110 |
| 6 | Benign_04 | Benign | 6 | B_111;B_112;B_113;B_114;B_115;B_116 |
| 7 | Benign_05 | Benign | 4 | B_026;B_027;B_028;B_029 |
| 8 | Benign_06 | Benign | 12 | B_030;B_031;B_042;B_043;B_044;B_045;B_060;B_061;B_062;B_063;B_064;B_065 |
| 9 | Benign_07 | Benign | 3 | B_001;B_002;B_003 |
| 10 | Benign_08 | Benign | 7 | B_032;B_033;B_034;B_117;B_118;B_119;B_120 |
| 11 | Benign_09 | Benign | 7 | B_068;B_069;B_076;B_077;B_078;B_079;B_080 |
| 12 | Benign_10 | Benign | 7 | B_006;B_007;B_008;B_056;B_057;B_058;B_059 |
| 13 | Benign_11 | Benign | 10 | B_009;B_010;B_011;B_012;B_013;B_053;B_054;B_055;B_092;B_093 |
| 14 | Benign_12 | Benign | 5 | B_047;B_048;B_049;B_050;B_051 |
| 15 | Benign_13 | Benign | 4 | B_004;B_005;B_046;B_052 |
| 16 | Benign_14 | Benign | 7 | B_094;B_095;B_096;B_097;B_098;B_099;B_100 |
| 17 | Malignant_00 | Malignant | 22 | M_157;M_158;M_159;M_160;M_161;M_162;M_163;M_164;M_165;M_166;M_170;M_171;M_259;M_260;M_261;M_264;M_265;M_352;M_353;M_354;M_355;M_359 |
| 18 | Malignant_01 | Malignant | 14 | M_367;M_368;M_369;M_370;M_371;M_372;M_373;M_374;M_375;M_376;M_377;M_378;M_379;M_380 |
| 19 | Malignant_02 | Malignant | 11 | M_248;M_249;M_250;M_251;M_252;M_253;M_254;M_255;M_256;M_257;M_258 |
| 20 | Malignant_03 | Malignant | 26 | M_002;M_003;M_004;M_005;M_006;M_007;M_059;M_060;M_061;M_062;M_063;M_064;M_065;M_066;M_067;M_068;M_069;M_070;M_071;M_072;M_073;M_074;M_075;M_076;M_077;M_078 |
| 21 | Malignant_04 | Malignant | 8 | M_192;M_193;M_194;M_195;M_196;M_197;M_198;M_199 |
| 22 | Malignant_05 | Malignant | 12 | M_029;M_326;M_327;M_328;M_329;M_330;M_331;M_332;M_341;M_342;M_343;M_344 |
| 23 | Malignant_06 | Malignant | 9 | M_036;M_356;M_357;M_358;M_360;M_361;M_362;M_363;M_364 |
| 24 | Malignant_07 | Malignant | 11 | M_483;M_484;M_485;M_486;M_487;M_488;M_489;M_490;M_491;M_492;M_493 |
| 25 | Malignant_08 | Malignant | 6 | M_228;M_229;M_230;M_231;M_232;M_233 |
| 26 | Malignant_09 | Malignant | 15 | M_019;M_020;M_021;M_022;M_023;M_024;M_025;M_026;M_027;M_028;M_086;M_087;M_088;M_538;M_542 |
| 27 | Malignant_10 | Malignant | 18 | M_030;M_037;M_038;M_039;M_040;M_041;M_042;M_043;M_387;M_388;M_389;M_390;M_391;M_392;M_393;M_512;M_513;M_514 |
| 28 | Malignant_11 | Malignant | 25 | M_001;M_017;M_018;M_539;M_540;M_541;M_543;M_544;M_545;M_546;M_547;M_548;M_549;M_550;M_551;M_552;M_553;M_554;M_555;M_556;M_557;M_558;M_559;M_560;M_561 |
| 29 | Malignant_12 | Malignant | 8 | M_079;M_080;M_081;M_082;M_323;M_324;M_325;M_507 |
| 30 | Malignant_13 | Malignant | 12 | M_288;M_289;M_290;M_291;M_292;M_293;M_294;M_295;M_296;M_297;M_298;M_299 |
| 31 | Malignant_14 | Malignant | 19 | M_209;M_210;M_211;M_212;M_213;M_214;M_215;M_216;M_217;M_218;M_219;M_220;M_221;M_222;M_223;M_224;M_225;M_226;M_227 |
| 32 | Malignant_15 | Malignant | 21 | M_394;M_395;M_396;M_397;M_398;M_399;M_400;M_401;M_402;M_403;M_404;M_405;M_406;M_407;M_408;M_409;M_410;M_411;M_412;M_413;M_414 |
| 33 | Malignant_16 | Malignant | 32 | M_008;M_009;M_015;M_053;M_054;M_055;M_056;M_057;M_058;M_151;M_152;M_153;M_154;M_155;M_156;M_269;M_270;M_271;M_272;M_273;M_274;M_275;M_276;M_277;M_278;M_279;M_284;M_285;M_286;M_287;M_365;M_366 |
| 34 | Malignant_17 | Malignant | 5 | M_016;M_523;M_524;M_525;M_526 |
| 35 | Malignant_18 | Malignant | 13 | M_446;M_447;M_448;M_449;M_450;M_451;M_452;M_453;M_454;M_455;M_456;M_457;M_458 |
| 36 | Malignant_19 | Malignant | 6 | M_440;M_441;M_442;M_443;M_444;M_445 |
| 37 | Malignant_20 | Malignant | 26 | M_280;M_282;M_283;M_300;M_301;M_302;M_303;M_304;M_305;M_306;M_307;M_308;M_309;M_310;M_311;M_312;M_313;M_314;M_315;M_316;M_317;M_318;M_319;M_320;M_321;M_322 |
| 38 | Malignant_21 | Malignant | 13 | M_110;M_111;M_112;M_113;M_114;M_115;M_116;M_117;M_118;M_119;M_120;M_121;M_137 |
| 39 | Malignant_22 | Malignant | 8 | M_240;M_241;M_242;M_243;M_244;M_245;M_246;M_247 |
| 40 | Malignant_23 | Malignant | 12 | M_180;M_181;M_182;M_183;M_184;M_185;M_186;M_187;M_188;M_189;M_190;M_191 |
| 41 | Malignant_24 | Malignant | 21 | M_089;M_090;M_091;M_092;M_093;M_094;M_095;M_096;M_097;M_098;M_099;M_100;M_101;M_102;M_103;M_104;M_105;M_106;M_107;M_108;M_109 |
| 42 | Malignant_25 | Malignant | 15 | M_122;M_123;M_124;M_125;M_126;M_127;M_128;M_129;M_130;M_131;M_132;M_133;M_134;M_135;M_136 |
| 43 | Malignant_26 | Malignant | 12 | M_508;M_509;M_510;M_511;M_515;M_516;M_517;M_518;M_519;M_520;M_521;M_522 |
| 44 | Malignant_27 | Malignant | 9 | M_044;M_045;M_046;M_047;M_048;M_049;M_050;M_051;M_052 |
| 45 | Malignant_28 | Malignant | 13 | M_427;M_428;M_429;M_430;M_431;M_432;M_433;M_434;M_435;M_436;M_437;M_438;M_439 |
| 46 | Malignant_29 | Malignant | 8 | M_459;M_460;M_461;M_462;M_463;M_464;M_465;M_466 |
| 47 | Malignant_30 | Malignant | 16 | M_167;M_168;M_169;M_172;M_173;M_174;M_175;M_176;M_177;M_178;M_179;M_262;M_263;M_266;M_267;M_268 |
| 48 | Malignant_31 | Malignant | 9 | M_200;M_201;M_202;M_203;M_204;M_205;M_206;M_207;M_208 |
| 49 | Malignant_32 | Malignant | 17 | M_031;M_032;M_033;M_034;M_035;M_415;M_416;M_417;M_418;M_419;M_420;M_421;M_422;M_423;M_424;M_425;M_426 |
| 50 | Malignant_33 | Malignant | 7 | M_381;M_382;M_383;M_384;M_385;M_386;M_527 |
| 51 | Malignant_34 | Malignant | 10 | M_528;M_529;M_530;M_531;M_532;M_533;M_534;M_535;M_536;M_537 |
| 52 | Malignant_35 | Malignant | 16 | M_467;M_468;M_469;M_470;M_471;M_472;M_473;M_474;M_475;M_476;M_477;M_478;M_479;M_480;M_481;M_482 |
| 53 | Malignant_36 | Malignant | 16 | M_083;M_084;M_085;M_494;M_495;M_496;M_497;M_498;M_499;M_500;M_501;M_502;M_503;M_504;M_505;M_506 |
| 54 | Malignant_37 | Malignant | 6 | M_234;M_235;M_236;M_237;M_238;M_239 |
| 55 | Malignant_38 | Malignant | 15 | M_333;M_334;M_335;M_336;M_337;M_338;M_339;M_340;M_345;M_346;M_347;M_348;M_349;M_350;M_351 |
| 56 | Malignant_39 | Malignant | 19 | M_010;M_011;M_012;M_013;M_014;M_138;M_139;M_140;M_141;M_142;M_143;M_144;M_145;M_146;M_147;M_148;M_149;M_150;M_281 |
| 57 | Normal_00 | Normal | 12 | N_014;N_015;N_016;N_017;N_018;N_019;N_020;N_046;N_047;N_396;N_397;N_413 |
| 58 | Normal_01 | Normal | 6 | N_132;N_133;N_134;N_400;N_401;N_414 |
| 59 | Normal_02 | Normal | 4 | N_317;N_318;N_322;N_323 |
| 60 | Normal_03 | Normal | 19 | N_358;N_359;N_360;N_361;N_362;N_363;N_364;N_365;N_366;N_367;N_368;N_369;N_370;N_371;N_372;N_373;N_406;N_407;N_408 |
| 61 | Normal_04 | Normal | 8 | N_324;N_328;N_329;N_330;N_331;N_333;N_335;N_411 |
| 62 | Normal_05 | Normal | 5 | N_169;N_170;N_171;N_172;N_173 |
| 63 | Normal_06 | Normal | 8 | N_065;N_066;N_098;N_099;N_100;N_106;N_107;N_292 |
| 64 | Normal_07 | Normal | 9 | N_345;N_346;N_347;N_348;N_350;N_351;N_352;N_353;N_354 |
| 65 | Normal_08 | Normal | 5 | N_174;N_182;N_183;N_184;N_185 |
| 66 | Normal_09 | Normal | 8 | N_297;N_298;N_307;N_308;N_309;N_310;N_311;N_312 |
| 67 | Normal_10 | Normal | 17 | N_131;N_144;N_145;N_146;N_147;N_148;N_149;N_150;N_151;N_152;N_153;N_154;N_155;N_156;N_157;N_415;N_416 |
| 68 | Normal_11 | Normal | 12 | N_280;N_281;N_282;N_283;N_284;N_285;N_286;N_287;N_288;N_294;N_295;N_296 |
| 69 | Normal_12 | Normal | 9 | N_336;N_337;N_338;N_339;N_340;N_341;N_342;N_343;N_410 |
| 70 | Normal_13 | Normal | 4 | N_033;N_355;N_356;N_357 |
| 71 | Normal_14 | Normal | 8 | N_115;N_116;N_117;N_118;N_119;N_120;N_121;N_349 |
| 72 | Normal_15 | Normal | 6 | N_203;N_204;N_205;N_207;N_208;N_209 |
| 73 | Normal_16 | Normal | 7 | N_223;N_224;N_225;N_226;N_227;N_228;N_229 |
| 74 | Normal_17 | Normal | 5 | N_158;N_164;N_165;N_166;N_167 |
| 75 | Normal_18 | Normal | 5 | N_240;N_241;N_242;N_243;N_398 |
| 76 | Normal_19 | Normal | 15 | N_255;N_256;N_257;N_258;N_259;N_260;N_261;N_262;N_263;N_264;N_265;N_266;N_267;N_268;N_269 |
| 77 | Normal_20 | Normal | 7 | N_050;N_051;N_052;N_053;N_054;N_055;N_056 |
| 78 | Normal_21 | Normal | 9 | N_039;N_040;N_041;N_042;N_043;N_044;N_045;N_206;N_254 |
| 79 | Normal_22 | Normal | 9 | N_135;N_136;N_137;N_138;N_139;N_140;N_141;N_142;N_143 |
| 80 | Normal_23 | Normal | 12 | N_073;N_074;N_075;N_076;N_077;N_078;N_079;N_080;N_190;N_191;N_192;N_193 |
| 81 | Normal_24 | Normal | 7 | N_008;N_009;N_010;N_011;N_012;N_013;N_412 |
| 82 | Normal_25 | Normal | 10 | N_386;N_387;N_388;N_389;N_390;N_391;N_392;N_393;N_394;N_395 |
| 83 | Normal_26 | Normal | 8 | N_210;N_313;N_314;N_315;N_316;N_319;N_320;N_321 |
| 84 | Normal_27 | Normal | 12 | N_064;N_067;N_068;N_069;N_070;N_071;N_072;N_195;N_196;N_197;N_198;N_199 |
| 85 | Normal_28 | Normal | 5 | N_034;N_035;N_036;N_038;N_230 |
| 86 | Normal_29 | Normal | 6 | N_004;N_005;N_127;N_128;N_129;N_130 |
| 87 | Normal_30 | Normal | 6 | N_021;N_022;N_023;N_024;N_037;N_385 |
| 88 | Normal_31 | Normal | 9 | N_231;N_232;N_233;N_234;N_235;N_236;N_237;N_238;N_239 |
| 89 | Normal_32 | Normal | 5 | N_059;N_060;N_061;N_062;N_063 |
| 90 | Normal_33 | Normal | 4 | N_027;N_028;N_029;N_030 |
| 91 | Normal_34 | Normal | 6 | N_188;N_189;N_194;N_279;N_291;N_293 |
| 92 | Normal_35 | Normal | 9 | N_270;N_271;N_272;N_273;N_274;N_275;N_276;N_277;N_278 |
| 93 | Normal_36 | Normal | 9 | N_211;N_212;N_213;N_214;N_215;N_216;N_217;N_218;N_219 |
| 94 | Normal_37 | Normal | 3 | N_220;N_221;N_222 |
| 95 | Normal_38 | Normal | 9 | N_101;N_102;N_103;N_104;N_105;N_108;N_109;N_110;N_111 |
| 96 | Normal_39 | Normal | 10 | N_244;N_245;N_246;N_247;N_248;N_249;N_250;N_251;N_252;N_253 |
| 97 | Normal_40 | Normal | 7 | N_175;N_176;N_177;N_178;N_179;N_180;N_181 |
| 98 | Normal_41 | Normal | 5 | N_168;N_402;N_403;N_404;N_405 |
| 99 | Normal_42 | Normal | 4 | N_025;N_026;N_031;N_032 |
| 100 | Normal_43 | Normal | 6 | N_299;N_300;N_301;N_302;N_303;N_304 |
| 101 | Normal_44 | Normal | 5 | N_325;N_326;N_327;N_332;N_334 |
| 102 | Normal_45 | Normal | 12 | N_374;N_375;N_376;N_377;N_378;N_379;N_380;N_381;N_382;N_383;N_384;N_409 |
| 103 | Normal_46 | Normal | 7 | N_001;N_002;N_003;N_006;N_007;N_057;N_058 |
| 104 | Normal_47 | Normal | 5 | N_048;N_049;N_200;N_201;N_202 |
| 105 | Normal_48 | Normal | 7 | N_081;N_082;N_083;N_084;N_085;N_086;N_087 |
| 106 | Normal_49 | Normal | 9 | N_088;N_089;N_090;N_091;N_186;N_187;N_289;N_290;N_399 |
| 107 | Normal_50 | Normal | 2 | N_305;N_306 |
| 108 | Normal_51 | Normal | 4 | N_112;N_113;N_114;N_344 |
| 109 | Normal_52 | Normal | 5 | N_159;N_160;N_161;N_162;N_163 |
| 110 | Normal_53 | Normal | 6 | N_092;N_093;N_094;N_095;N_096;N_097 |
| 111 | Normal_54 | Normal | 5 | N_122;N_123;N_124;N_125;N_126 |