Penyakit kulit tropis masih menjadi salah satu masalah kesehatan di Indonesia, sementara keterbatasan jumlah dokter spesialis kulit menyebabkan akses terhadap diagnosis dini belum merata. Perkembangan kecerdasan buatan membuka peluang pemanfaatan model berbasis citra sebagai pendukung diagnosis, namun penelitian yang membandingkan pendekatan Convolutional Neural Network (CNN) dan Vision-Language Model (VLM) sekaligus mengevaluasi kemampuan interpretabilitasnya masih terbatas. Penelitian ini bertujuan membandingkan kinerja EfficientNet-B4 sebagai model CNN, LLaVA-7B Zero-Shot, dan LLaVA-7B yang di-fine-tuning menggunakan Quantized Low-Rank Adaptation (QLoRA) pada subset dataset Derm1M. Dataset yang digunakan berupa subset Derm1M yang terdiri atas 5.500 citra dari lima kelas penyakit kulit dengan distribusi seimbang. Evaluasi kinerja dilakukan menggunakan metrik accuracy, precision, recall, dan F1-score, sedangkan kualitas penjelasan visual dianalisis menggunakan Grad-CAM berdasarkan metrik Average Drop, Average Increase, dan Structural Similarity Index Measure (SSIM). Hasil penelitian menunjukkan bahwa model LLaVA-7B yang di-fine-tuning menggunakan QLoRA memperoleh kinerja klasifikasi terbaik dengan akurasi sebesar 77,45% dan macro F1-score sebesar 77,62%, melampaui EfficientNet-B4 yang mencapai akurasi 67,45% serta LLaVA-7B Zero-Shot dengan akurasi 29,82%. Namun demikian, hasil analisis Grad-CAM menunjukkan bahwa EfficientNet-B4 menghasilkan penjelasan visual yang lebih baik. Model ini memperoleh nilai Average Increase tertinggi serta mencatat konsistensi spasial terbaik dengan nilai rata-rata SSIM sebesar 53%, dibandingkan LLaVA-7B QLoRA yang memperoleh nilai 26%. Penelitian ini menyimpulkan bahwa model dengan akurasi klasifikasi tertinggi belum tentu menghasilkan kualitas penjelasan visual terbaik, sehingga terdapat trade-off antara kinerja prediksi dan interpretabilitas yang perlu dipertimbangkan dalam penerapan kecerdasan buatan pada diagnosis penyakit kulit.