Ekspresi wajah merupakan media komunikasi non-verbal yang biasa digunakan oleh manusia untuk menggambarkan keadaan emosinya. Seiring berkembangnya teknologi, banyak penelitian yang membahas tentang sistem pengenalan ekspresi wajah yang sangat berguna dalam bidang industri, kesehatan hingga deteksi kebohongan. Namun tantangan untuk mendapatkan mengembangkan sistem pengenalan ekspresi wajah yaitu akurasinya yang kecil. Sehingga tujuan penelitian ini adalah mengembangkan model CNN yang mampu mengenali 4 kelas ekspresi wajah yaitu angry, happy, neutral dan sad. Dataset yang digunakan sebanyak 18.623 gambar greyscale berukuran 48x48 piksel. Dataset dibagi menjadi 2 yaitu 80% data training dan 20% data validasi. Data di training menggunakan 4 optimizer yaitu Adam, Adamax, Nadam dan SGD. Untuk menguji performa akhir model, penelitian ini menggunakan data test sebanyak 40 data gambar yang belum pernah dikenali model disaat training. Dalam mengembangkan CNN, penelitian ini menggunakan teknik augmentasi data dan hyperparameter. Model yang berhasil dibangun terdiri dari 24 layer. Berdasarkan proses training, model yang menggunakan optimizer Adam memiliki performa akurasi terbaik selama pelatihan. Sedangkan hasil penelitian, model yang diuji menggunakan data test menunjukkan akurasi 97,5%, presisi 100%, recall 97,5%, dan F1-score 98,7%.