Dr. Gusti Ayu Putri Saptawati, M.Comm
STE-ITB
Dr. Agung Dewandaru, ST, M.Sc
STEI-ITB
Abstrak
Salah satu tahap dalam job recruitment adalah job interview yang merupakan tahap yang membutuhkan banyak resource termasuk biaya, tenaga, dan waktu. Tahap ini dapat dipermudah atau diperkecil kebutuhan resource-nya dengan web application interview summarization system yang dibangun. Web application interview summarization system dapat mempermudah tahap job interview pada job recruitment dengan menjawab permasalahan yang ditemukan saat ini. Web application dikembangkan dengan menggunakan arsitektur client-server dan microservice dengan mekanisme komunikasi REST API. Pengujian pada web application interview summarization system dilakukan secara manual testing berdasarkan kebutuhan fungsional dan dibagi menjadi level komponen dan level sistem. Pengujian pada level komponen dan level sistem memenuhi kebutuhan fungsional yang menjawab permasalahan job interview. Pemilihan arsitektur client-server dan microservice serta mekanisme komunikasi berbasis REST API tepat untuk digunakan pada web application interview summarization system ditimbang dari architecture goal yang sesuai dengan kebutuhan interview summarization system. Web application interview summarization system dapat dikembangkan kembali dengan memperhatikan kembali mekanisme penyimpanan dan validasi yang tepat .
Kata kunci: interview summarization, job recruitment
Pendahuluan.
Salah satu tahap pada proses rekrutmen adalah tahap wawancara pekerjaan, yaitu tahap yang terdiri dari percakapan antara pelamar pekerjaan dengan perwakilan perusahaan, baik secara langsung melalui interaksi fisik maupun tidak langsung melalui media konferensi seperti Zoom dan Google Meet. Dari wawancara tersebut, akan didapatkan transkrip atau catatan dari jawaban-jawaban yang diberikan oleh pelamar. Berdasarkan jawaban tersebut, perusahaan akan memperhatikan kata-kata kunci tertentu yang memiliki nilai yang relevan bagi perusahaan. Kemudian, perusahaan akan menentukan level untuk setiap kompetensi yang dibutuhkan oleh perusahaan berdasarkan kata-kata kunci tersebut. Hal ini dilakukan agar perusahaan dapat menilai pelamar dan menentukan kecocokan pelamar tersebut dengan perusahaan.
Kebutuhan solusi teknologi untuk membantu tahap interview pada proses job recruitment ini dapat dijawab dengan membuat web application interview summarization system berbasis machine learning. Solusi ini merupakan web application dimana tahap interview dapat dipangkas kebutuhan resource-nya dengan dievaluasi hasil summarization interview-nya secara otomatis oleh interview summarization system. Fokus pada penelitian ini adalah pengembangan web application yang dapat memproses interview menjadi hasil ringkasan interview dengan mengintegrasikan hasil model speech to text dan model text summarization.
Metode Penelitian
Ada 2 (dua) tahap utama untuk menyimpulkan kompetensi pelamar dari ringkasan wawancara (interview). Tahap 1 adalah tahap ekstraksi fitur dari teks wawancara. Model IndoBERT, XLM-RoBERTa, dan Cohere digunakan untuk mengekstraksi fitur dari teks. Sedangkan tahap 2 adalah tahap text similarity yaitu menggunakan text similarity biasa tanpa adanya modifikasi. Metode ini membandingkan seluruh teks pada teks transkrip dengan deskripsi setiap level pada suatu kompetensi. Selain itu, diimplementasikan juga metode text similarity dengan modifikasi top-N pooling, yaitu dengan membandingkan setiap kalimat pada teks transkrip secara terpisah dengan deskripsi setiap level pada suatu kompetensi.
Hal ini dilakukan untuk bisa mengukur kemiripan teks. Setelah itu, dilakukan penilaian kemiripan menggunakan cosine similarity antara setiap kalimat pada teks transkrip dan deskripsi setiap level pada setiap kompetensi pada kamus kompetensi. Selanjutnya, digunakan penilaian berbasis top-N pooling dengan cara mengambil kalimat sejumlah N yang paling relevan dan berpengaruh pada proses penilaian kemiripan teks, dengan kata lain kalimat-kalimat dengan nilai cosine similarity tertinggi untuk masing-masing level pada setiap kompetensi untuk kemudian dirata-rata untuk mendapatkan nilai kemiripan akhir untuk masing-masing level pada setiap kompetensi. Lalu, dilakukan evaluasi terhadap data tes untuk mengecek berapa teks pada data tes yang memiliki level kompetensi yang sama dengan prediksi level kompetensi yang dihasilkan oleh model berdasarkan nilai kemiripan level tertinggi pada suatu kompetensi
Evaluasi Hasil Eksperimen
Berdasarkan eksperimen yang telah dilakukan, ditemukan bahwa pada ketiga model yang digunakan, konfigurasi yang menggunakan metode text similarity tanpa modifikasi memberikan akurasi yang sedikit lebih baik daripada konfigurasi yang menggunakan metode text similarity dengan modifikasi top-N pooling. Berdasarkan eksperimen yang telah dilakukan, ditemukan bahwa pada kedua metode text similarity yang digunakan, model IndoBERT, XLM-RoBERTa, dan Cohere menghasilkan nilai akurasi terbaik yang sama, meskipun dengan konfigurasi parameter yang berbeda. Akan tetapi, ketiga model memiliki waktu komputasi yang berbeda, dengan model tercepat adalah Cohere, diikuti dengan IndoBERT pada posisi kedua tercepat, dan XLM-RoBERTa sebagai model yang membutuhkan waktu komputasi terbanyak. Cohere memiliki waktu komputasi tercepat karena model Cohere sudah memiliki server khusus yang menyediakan layanan API untuk menggunakan yang dapat diakses oleh pengguna dengan batasan tertentu, sesuai dengan jenis layanan dibeli.
Kesimpulan
Metode text similarity Metode tanpa modifikasi lebih cocok digunakan untuk melakukan proses penilaian kompetensi daripada metode text similarity dengan modifikasi top-N pooling. Kelebihan dari metode text similarity tanpa modifikasi adalah didapatkannya konteks keseluruhan dari sebuah teks sehingga lebih cocok untuk teks yang memiliki kalimat-kalimat dengan konteks yang saling berhubungan serta biaya komputasi yang relatif kecil. Kekurangan dari metode text similarity tanpa modifikasi adalah sensitifnya perubahan nilai kemiripan terhadap perubahan konten pada teks.
Kelebihan dari metode text similarity dengan modifikasi top-N pooling adalah didapatkannya kalimat-kalimat dengan konteks yang paling relevan terhadap suatu teks sehingga lebih cocok untuk teks yang hanya memiliki relevansi pada sebagian isinya. Kekurangan dari metode text similarity dengan modifikasi top-N pooling adalah hilangnya konteks keseluruhan dari teks serta biaya komputasi yang cukup besar
Indonesian 
English