Add scripts for patient classification and visualization

- Created `classification.py` for comparing image-level and patient-level classification results using various CNN models.
- Implemented `create_patient_groups.py` to extract features, generate PCA/t-SNE plots, and identify patient groups via K-means clustering.
- Added `figure6.py` to generate boxplots for test accuracy across multiple seeds.
- Developed `simple_patient_tsne.py` to perform t-SNE visualization of patient groups and save results in a manifest file.
- Introduced `simple_patient_manifest.csv` to store patient IDs, classes, image counts, and associated images.

results/classification_results.json

@@ -0,0 +1,52 @@
+[
+  {
+    "model": "VGG16",
+    "image_cv": 0.992,
+    "image_test": 1.0,
+    "image_nfeat": 5000,
+    "patient_cv": 0.9122,
+    "patient_test": 0.8933,
+    "patient_nfeat": 200,
+    "drop": 0.1067
+  },
+  {
+    "model": "DenseNet121",
+    "image_cv": 0.9875,
+    "image_test": 0.9955,
+    "image_nfeat": 5000,
+    "patient_cv": 0.9367,
+    "patient_test": 0.8711,
+    "patient_nfeat": 1000,
+    "drop": 0.1243
+  },
+  {
+    "model": "EfficientNetB1",
+    "image_cv": 0.9829,
+    "image_test": 0.9955,
+    "image_nfeat": 5000,
+    "patient_cv": 0.9158,
+    "patient_test": 0.8844,
+    "patient_nfeat": 1000,
+    "drop": 0.111
+  },
+  {
+    "model": "MobileNetV2",
+    "image_cv": 0.9875,
+    "image_test": 0.9955,
+    "image_nfeat": 2000,
+    "patient_cv": 0.913,
+    "patient_test": 0.8889,
+    "patient_nfeat": 750,
+    "drop": 0.1066
+  },
+  {
+    "model": "ResNet50",
+    "image_cv": 0.967,
+    "image_test": 0.9773,
+    "image_nfeat": 750,
+    "patient_cv": 0.8742,
+    "patient_test": 0.8622,
+    "patient_nfeat": 400,
+    "drop": 0.1151
+  }
+]

results/simple_patient_manifest.csv

@@ -0,0 +1,111 @@
+patient_id,class,n_images,images
+Benign_00,Benign,13,B_021;B_022;B_023;B_024;B_025;B_035;B_066;B_067;B_074;B_075;B_086;B_087;B_088
+Benign_01,Benign,16,B_014;B_015;B_016;B_017;B_018;B_019;B_020;B_036;B_037;B_038;B_039;B_040;B_041;B_089;B_090;B_091
+Benign_02,Benign,9,B_070;B_071;B_072;B_073;B_081;B_082;B_083;B_084;B_085
+Benign_03,Benign,10,B_101;B_102;B_103;B_104;B_105;B_106;B_107;B_108;B_109;B_110
+Benign_04,Benign,6,B_111;B_112;B_113;B_114;B_115;B_116
+Benign_05,Benign,4,B_026;B_027;B_028;B_029
+Benign_06,Benign,12,B_030;B_031;B_042;B_043;B_044;B_045;B_060;B_061;B_062;B_063;B_064;B_065
+Benign_07,Benign,3,B_001;B_002;B_003
+Benign_08,Benign,7,B_032;B_033;B_034;B_117;B_118;B_119;B_120
+Benign_09,Benign,7,B_068;B_069;B_076;B_077;B_078;B_079;B_080
+Benign_10,Benign,7,B_006;B_007;B_008;B_056;B_057;B_058;B_059
+Benign_11,Benign,10,B_009;B_010;B_011;B_012;B_013;B_053;B_054;B_055;B_092;B_093
+Benign_12,Benign,5,B_047;B_048;B_049;B_050;B_051
+Benign_13,Benign,4,B_004;B_005;B_046;B_052
+Benign_14,Benign,7,B_094;B_095;B_096;B_097;B_098;B_099;B_100
+Malignant_00,Malignant,22,M_157;M_158;M_159;M_160;M_161;M_162;M_163;M_164;M_165;M_166;M_170;M_171;M_259;M_260;M_261;M_264;M_265;M_352;M_353;M_354;M_355;M_359
+Malignant_01,Malignant,14,M_367;M_368;M_369;M_370;M_371;M_372;M_373;M_374;M_375;M_376;M_377;M_378;M_379;M_380
+Malignant_02,Malignant,11,M_248;M_249;M_250;M_251;M_252;M_253;M_254;M_255;M_256;M_257;M_258
+Malignant_03,Malignant,26,M_002;M_003;M_004;M_005;M_006;M_007;M_059;M_060;M_061;M_062;M_063;M_064;M_065;M_066;M_067;M_068;M_069;M_070;M_071;M_072;M_073;M_074;M_075;M_076;M_077;M_078
+Malignant_04,Malignant,8,M_192;M_193;M_194;M_195;M_196;M_197;M_198;M_199
+Malignant_05,Malignant,12,M_029;M_326;M_327;M_328;M_329;M_330;M_331;M_332;M_341;M_342;M_343;M_344
+Malignant_06,Malignant,9,M_036;M_356;M_357;M_358;M_360;M_361;M_362;M_363;M_364
+Malignant_07,Malignant,11,M_483;M_484;M_485;M_486;M_487;M_488;M_489;M_490;M_491;M_492;M_493
+Malignant_08,Malignant,6,M_228;M_229;M_230;M_231;M_232;M_233
+Malignant_09,Malignant,15,M_019;M_020;M_021;M_022;M_023;M_024;M_025;M_026;M_027;M_028;M_086;M_087;M_088;M_538;M_542
+Malignant_10,Malignant,18,M_030;M_037;M_038;M_039;M_040;M_041;M_042;M_043;M_387;M_388;M_389;M_390;M_391;M_392;M_393;M_512;M_513;M_514
+Malignant_11,Malignant,25,M_001;M_017;M_018;M_539;M_540;M_541;M_543;M_544;M_545;M_546;M_547;M_548;M_549;M_550;M_551;M_552;M_553;M_554;M_555;M_556;M_557;M_558;M_559;M_560;M_561
+Malignant_12,Malignant,8,M_079;M_080;M_081;M_082;M_323;M_324;M_325;M_507
+Malignant_13,Malignant,12,M_288;M_289;M_290;M_291;M_292;M_293;M_294;M_295;M_296;M_297;M_298;M_299
+Malignant_14,Malignant,19,M_209;M_210;M_211;M_212;M_213;M_214;M_215;M_216;M_217;M_218;M_219;M_220;M_221;M_222;M_223;M_224;M_225;M_226;M_227
+Malignant_15,Malignant,21,M_394;M_395;M_396;M_397;M_398;M_399;M_400;M_401;M_402;M_403;M_404;M_405;M_406;M_407;M_408;M_409;M_410;M_411;M_412;M_413;M_414
+Malignant_16,Malignant,32,M_008;M_009;M_015;M_053;M_054;M_055;M_056;M_057;M_058;M_151;M_152;M_153;M_154;M_155;M_156;M_269;M_270;M_271;M_272;M_273;M_274;M_275;M_276;M_277;M_278;M_279;M_284;M_285;M_286;M_287;M_365;M_366
+Malignant_17,Malignant,5,M_016;M_523;M_524;M_525;M_526
+Malignant_18,Malignant,13,M_446;M_447;M_448;M_449;M_450;M_451;M_452;M_453;M_454;M_455;M_456;M_457;M_458
+Malignant_19,Malignant,6,M_440;M_441;M_442;M_443;M_444;M_445
+Malignant_20,Malignant,26,M_280;M_282;M_283;M_300;M_301;M_302;M_303;M_304;M_305;M_306;M_307;M_308;M_309;M_310;M_311;M_312;M_313;M_314;M_315;M_316;M_317;M_318;M_319;M_320;M_321;M_322
+Malignant_21,Malignant,13,M_110;M_111;M_112;M_113;M_114;M_115;M_116;M_117;M_118;M_119;M_120;M_121;M_137
+Malignant_22,Malignant,8,M_240;M_241;M_242;M_243;M_244;M_245;M_246;M_247
+Malignant_23,Malignant,12,M_180;M_181;M_182;M_183;M_184;M_185;M_186;M_187;M_188;M_189;M_190;M_191
+Malignant_24,Malignant,21,M_089;M_090;M_091;M_092;M_093;M_094;M_095;M_096;M_097;M_098;M_099;M_100;M_101;M_102;M_103;M_104;M_105;M_106;M_107;M_108;M_109
+Malignant_25,Malignant,15,M_122;M_123;M_124;M_125;M_126;M_127;M_128;M_129;M_130;M_131;M_132;M_133;M_134;M_135;M_136
+Malignant_26,Malignant,12,M_508;M_509;M_510;M_511;M_515;M_516;M_517;M_518;M_519;M_520;M_521;M_522
+Malignant_27,Malignant,9,M_044;M_045;M_046;M_047;M_048;M_049;M_050;M_051;M_052
+Malignant_28,Malignant,13,M_427;M_428;M_429;M_430;M_431;M_432;M_433;M_434;M_435;M_436;M_437;M_438;M_439
+Malignant_29,Malignant,8,M_459;M_460;M_461;M_462;M_463;M_464;M_465;M_466
+Malignant_30,Malignant,16,M_167;M_168;M_169;M_172;M_173;M_174;M_175;M_176;M_177;M_178;M_179;M_262;M_263;M_266;M_267;M_268
+Malignant_31,Malignant,9,M_200;M_201;M_202;M_203;M_204;M_205;M_206;M_207;M_208
+Malignant_32,Malignant,17,M_031;M_032;M_033;M_034;M_035;M_415;M_416;M_417;M_418;M_419;M_420;M_421;M_422;M_423;M_424;M_425;M_426
+Malignant_33,Malignant,7,M_381;M_382;M_383;M_384;M_385;M_386;M_527
+Malignant_34,Malignant,10,M_528;M_529;M_530;M_531;M_532;M_533;M_534;M_535;M_536;M_537
+Malignant_35,Malignant,16,M_467;M_468;M_469;M_470;M_471;M_472;M_473;M_474;M_475;M_476;M_477;M_478;M_479;M_480;M_481;M_482
+Malignant_36,Malignant,16,M_083;M_084;M_085;M_494;M_495;M_496;M_497;M_498;M_499;M_500;M_501;M_502;M_503;M_504;M_505;M_506
+Malignant_37,Malignant,6,M_234;M_235;M_236;M_237;M_238;M_239
+Malignant_38,Malignant,15,M_333;M_334;M_335;M_336;M_337;M_338;M_339;M_340;M_345;M_346;M_347;M_348;M_349;M_350;M_351
+Malignant_39,Malignant,19,M_010;M_011;M_012;M_013;M_014;M_138;M_139;M_140;M_141;M_142;M_143;M_144;M_145;M_146;M_147;M_148;M_149;M_150;M_281
+Normal_00,Normal,12,N_014;N_015;N_016;N_017;N_018;N_019;N_020;N_046;N_047;N_396;N_397;N_413
+Normal_01,Normal,6,N_132;N_133;N_134;N_400;N_401;N_414
+Normal_02,Normal,4,N_317;N_318;N_322;N_323
+Normal_03,Normal,19,N_358;N_359;N_360;N_361;N_362;N_363;N_364;N_365;N_366;N_367;N_368;N_369;N_370;N_371;N_372;N_373;N_406;N_407;N_408
+Normal_04,Normal,8,N_324;N_328;N_329;N_330;N_331;N_333;N_335;N_411
+Normal_05,Normal,5,N_169;N_170;N_171;N_172;N_173
+Normal_06,Normal,8,N_065;N_066;N_098;N_099;N_100;N_106;N_107;N_292
+Normal_07,Normal,9,N_345;N_346;N_347;N_348;N_350;N_351;N_352;N_353;N_354
+Normal_08,Normal,5,N_174;N_182;N_183;N_184;N_185
+Normal_09,Normal,8,N_297;N_298;N_307;N_308;N_309;N_310;N_311;N_312
+Normal_10,Normal,17,N_131;N_144;N_145;N_146;N_147;N_148;N_149;N_150;N_151;N_152;N_153;N_154;N_155;N_156;N_157;N_415;N_416
+Normal_11,Normal,12,N_280;N_281;N_282;N_283;N_284;N_285;N_286;N_287;N_288;N_294;N_295;N_296
+Normal_12,Normal,9,N_336;N_337;N_338;N_339;N_340;N_341;N_342;N_343;N_410
+Normal_13,Normal,4,N_033;N_355;N_356;N_357
+Normal_14,Normal,8,N_115;N_116;N_117;N_118;N_119;N_120;N_121;N_349
+Normal_15,Normal,6,N_203;N_204;N_205;N_207;N_208;N_209
+Normal_16,Normal,7,N_223;N_224;N_225;N_226;N_227;N_228;N_229
+Normal_17,Normal,5,N_158;N_164;N_165;N_166;N_167
+Normal_18,Normal,5,N_240;N_241;N_242;N_243;N_398
+Normal_19,Normal,15,N_255;N_256;N_257;N_258;N_259;N_260;N_261;N_262;N_263;N_264;N_265;N_266;N_267;N_268;N_269
+Normal_20,Normal,7,N_050;N_051;N_052;N_053;N_054;N_055;N_056
+Normal_21,Normal,9,N_039;N_040;N_041;N_042;N_043;N_044;N_045;N_206;N_254
+Normal_22,Normal,9,N_135;N_136;N_137;N_138;N_139;N_140;N_141;N_142;N_143
+Normal_23,Normal,12,N_073;N_074;N_075;N_076;N_077;N_078;N_079;N_080;N_190;N_191;N_192;N_193
+Normal_24,Normal,7,N_008;N_009;N_010;N_011;N_012;N_013;N_412
+Normal_25,Normal,10,N_386;N_387;N_388;N_389;N_390;N_391;N_392;N_393;N_394;N_395
+Normal_26,Normal,8,N_210;N_313;N_314;N_315;N_316;N_319;N_320;N_321
+Normal_27,Normal,12,N_064;N_067;N_068;N_069;N_070;N_071;N_072;N_195;N_196;N_197;N_198;N_199
+Normal_28,Normal,5,N_034;N_035;N_036;N_038;N_230
+Normal_29,Normal,6,N_004;N_005;N_127;N_128;N_129;N_130
+Normal_30,Normal,6,N_021;N_022;N_023;N_024;N_037;N_385
+Normal_31,Normal,9,N_231;N_232;N_233;N_234;N_235;N_236;N_237;N_238;N_239
+Normal_32,Normal,5,N_059;N_060;N_061;N_062;N_063
+Normal_33,Normal,4,N_027;N_028;N_029;N_030
+Normal_34,Normal,6,N_188;N_189;N_194;N_279;N_291;N_293
+Normal_35,Normal,9,N_270;N_271;N_272;N_273;N_274;N_275;N_276;N_277;N_278
+Normal_36,Normal,9,N_211;N_212;N_213;N_214;N_215;N_216;N_217;N_218;N_219
+Normal_37,Normal,3,N_220;N_221;N_222
+Normal_38,Normal,9,N_101;N_102;N_103;N_104;N_105;N_108;N_109;N_110;N_111
+Normal_39,Normal,10,N_244;N_245;N_246;N_247;N_248;N_249;N_250;N_251;N_252;N_253
+Normal_40,Normal,7,N_175;N_176;N_177;N_178;N_179;N_180;N_181
+Normal_41,Normal,5,N_168;N_402;N_403;N_404;N_405
+Normal_42,Normal,4,N_025;N_026;N_031;N_032
+Normal_43,Normal,6,N_299;N_300;N_301;N_302;N_303;N_304
+Normal_44,Normal,5,N_325;N_326;N_327;N_332;N_334
+Normal_45,Normal,12,N_374;N_375;N_376;N_377;N_378;N_379;N_380;N_381;N_382;N_383;N_384;N_409
+Normal_46,Normal,7,N_001;N_002;N_003;N_006;N_007;N_057;N_058
+Normal_47,Normal,5,N_048;N_049;N_200;N_201;N_202
+Normal_48,Normal,7,N_081;N_082;N_083;N_084;N_085;N_086;N_087
+Normal_49,Normal,9,N_088;N_089;N_090;N_091;N_186;N_187;N_289;N_290;N_399
+Normal_50,Normal,2,N_305;N_306
+Normal_51,Normal,4,N_112;N_113;N_114;N_344
+Normal_52,Normal,5,N_159;N_160;N_161;N_162;N_163
+Normal_53,Normal,6,N_092;N_093;N_094;N_095;N_096;N_097
+Normal_54,Normal,5,N_122;N_123;N_124;N_125;N_126