Evolusi dari agile methodology memaksa perusahaan untuk selalu berinovasi dan memberikan layanan secepat mungkin. Saat delivery cycle time mengalami penurunan, kompleksitas teknis sangat dibutuhkan untuk memberikan pengalaman yang positif bagi pengguna dalam meningkatkan daya saing.
Untuk memenuhi proses integrasi yang berkelanjutan beberapa perusahaan mulai mencoba untuk beralih ke process automated (pengujian otomatis). Saat process automated dapat menghemat waktu, perusahaan dapat menggunakan waktu tersebut untuk menganalisis potensi kegagalan. Ketika satu produk yang diuji memiliki penyebaran yang bebeda dan fitur yang sangat kompleks, maka dibutuhkan pembagian antara pengujian otomatis dengan various layers. Secara umum, Environment, Automation framework, test themselves dan product itself dapat dimasukan ke dalam proses ini.
Seperti dapat dilihat pada table di atas, reliability (keandalan) dari setiap layers memiliki efek kumulatif dari hasil otomasi. Dalam kasus tersebut, jika perusahaan menganggap reliability setiap lapisan adalah 95%, maka reliability hasil otomasi keseluruhan menjadi 81%. Ini artinya ada sekitar 380 tes (19% dari kurang lebih 2000 tes) yang gagal karena ketidakkonsistenan dalam layer tersebut.
Untuk menganalisa kegagalan ini cukup memakan waktu, selain itu, beberapa dari proses ini dapat dilaporkan sebagai product defects dan memiliki label sebagai “nonreproducible,” “open in error,” dan lain sebagainya.
Pada Backup Exec, Veritas melihat perlunya mengatasi ketidakefisienan ini dengan beberapa parameter yang perlu dimonitor dan direkam dalam setiap automated process. Veritas memiliki data yang cukup untuk membangun model yang lebih prediktif, tujuannya adalah untuk memprediksi probabilitas adakah kegagalan dalam pengujian produk atau tidak. Cara tersebut dapat dilakukan jika kegagalan memiliki dampak terbanyak.
Dengan menginput data dari Dev, QA SME dan statistical analysis techniques, parameter-parameter yang mempengaruhi hasil tes dapat diidentifikasi. Seperti pada tabel di bawah ini yang mencantumkan beberapa parameter.
Pada kolom terakhir terlihat “Possible Product Issue” yang menunjukan hasil tes. Jika produk tersebut menghasilkan masalah akan ditulis dengan satu (1) dan jika tidak akan ditulis dengan nol (0).
Data tersebut kemudian diolah ke dalam algoritma machine learning yang relevan untuk dilakukan pengujian sehingga dapat memberikan akurasi yang optimal. Teknik ini dinamakan dengan Random Forest.
Random forest merupakan teknik regresi seperti hutan acak karena melakukan perhitungan decision tree beberapa kali (200, 300, 400, dst) sehingga membentuk sebuah forrest.
Random forrest memberikan tingkat akurasi yang cukup tinggi sebesar 85% karena mengambil rataan (average) dari sekian banyak prediksi (misal 323 out of 380 failures) dan selanjutnya data-data tersebut dimasukan ke dalam automation framework untuk dapat digunakan.
Ini merupakan contoh bagaimana AI dapat melakukan praktik dalam membangun fitur yang lebih modern dan efiesien.
