Pedagang yang ingin mencoba ide perdagangan di pasar langsung sering membuat kesalahan dengan mengandalkan sepenuhnya pada hasil backtesting untuk menentukan apakah sistem akan menguntungkan. Walaupun backtesting dapat memberikan informasi berharga kepada pedagang, sering kali menyesatkan, dan itu hanya satu bagian dari proses evaluasi.
Pengujian out-of-sample dan pengujian kinerja maju memberikan konfirmasi lebih lanjut mengenai efektivitas sistem dan dapat menunjukkan warna sebenarnya sistem sebelum uang tunai nyata ada di telepon. Korelasi yang baik antara hasil pengujian backtesting, out-of-sample dan forward sangat penting untuk menentukan kelayakan sistem perdagangan.
Dasar-Dasar Backtesting
Backtesting mengacu pada penerapan sistem perdagangan ke data historis untuk memverifikasi bagaimana sistem akan melakukan selama periode waktu yang ditentukan. Banyak platform perdagangan saat ini mendukung pengujian ulang. Pedagang dapat menguji ide dengan beberapa penekanan tombol dan mendapatkan wawasan tentang keefektifan suatu ide tanpa mempertaruhkan dana dalam akun perdagangan. Backtesting dapat mengevaluasi ide-ide sederhana, seperti bagaimana crossover rata-rata bergerak akan melakukan pada data historis, atau sistem yang lebih kompleks dengan berbagai input dan pemicu.
Selama suatu gagasan dapat dikuantifikasi, ia dapat diuji ulang. Beberapa pedagang dan investor mungkin mencari keahlian programmer yang memenuhi syarat untuk mengembangkan ide menjadi bentuk yang dapat diuji. Biasanya, ini melibatkan seorang programmer yang mengkodekan ide ke dalam bahasa yang dipandu oleh platform perdagangan. Programmer dapat memasukkan variabel input yang ditentukan pengguna yang memungkinkan pedagang untuk "men-tweak" sistem.
Contohnya adalah dalam sistem crossover moving average sederhana yang disebutkan di atas: Pedagang akan dapat memasukkan (atau mengubah) panjang dari dua moving average yang digunakan dalam sistem. Trader dapat melakukan tes ulang untuk menentukan panjang rata-rata bergerak mana yang akan melakukan yang terbaik pada data historis.
Studi Optimasi
Banyak platform perdagangan juga memungkinkan untuk studi optimasi. Ini mencakup memasuki kisaran input yang ditentukan dan membiarkan komputer "melakukan perhitungan" untuk mengetahui input apa yang akan melakukan yang terbaik. Optimalisasi multi-variabel dapat menghitung untuk dua atau lebih variabel untuk menentukan kombinasi apa yang akan mencapai hasil terbaik.
Misalnya, pedagang dapat memberi tahu program masukan apa yang ingin mereka tambahkan ke dalam strategi mereka; ini kemudian akan dioptimalkan ke bobot ideal mereka mengingat data historis yang diuji.
Backtesting bisa sangat menarik karena sistem yang tidak menguntungkan seringkali dapat secara ajaib diubah menjadi mesin penghasil uang dengan beberapa optimasi. Sayangnya, mengutak-atik sistem untuk mencapai tingkat profitabilitas masa lalu yang paling besar sering mengarah pada sistem yang berkinerja buruk dalam perdagangan riil. Over-optimisasi ini menciptakan sistem yang terlihat bagus hanya di atas kertas.
Curve fitting adalah penggunaan analitik optimisasi untuk menciptakan jumlah tertinggi perdagangan yang menang dengan laba terbesar pada data historis yang digunakan dalam periode pengujian. Meskipun terlihat mengesankan dalam hasil pengujian ulang, pemasangan kurva mengarah ke sistem yang tidak dapat diandalkan karena hasilnya dirancang khusus untuk data dan periode waktu tertentu.
Menguji dan mengoptimalkan memberikan banyak manfaat bagi pedagang, tetapi ini hanya bagian dari proses ketika mengevaluasi sistem perdagangan potensial. Langkah pedagang berikutnya adalah menerapkan sistem ke data historis yang belum pernah digunakan pada fase pengujian awal awal.
Data Dalam-Contoh vs. Luar-Sampel
Saat menguji gagasan tentang data historis, sebaiknya menyimpan periode waktu data historis untuk tujuan pengujian. Data historis awal tempat ide diuji dan dioptimalkan disebut sebagai data dalam sampel. Set data yang telah dicadangkan dikenal sebagai data out-of-sample. Pengaturan ini merupakan bagian penting dari proses evaluasi karena memberikan cara untuk menguji ide pada data yang belum menjadi komponen dalam model optimisasi.
Akibatnya, gagasan itu tidak akan terpengaruh dengan cara apa pun oleh data out-of-sample, dan pedagang akan dapat menentukan seberapa baik sistem mungkin melakukan pada data baru, yaitu, dalam perdagangan kehidupan nyata.
Sebelum memulai backtesting atau optimisasi apa pun, pedagang dapat menyisihkan persentase dari data historis yang akan disediakan untuk pengujian di luar sampel. Salah satu metode adalah dengan membagi data historis menjadi tiga dan memisahkan sepertiga untuk digunakan dalam pengujian di luar sampel. Hanya data dalam sampel yang harus digunakan untuk pengujian awal dan optimasi apa pun.
Gambar di bawah ini menunjukkan garis waktu di mana sepertiga dari data historis dicadangkan untuk pengujian di luar sampel, dan dua pertiga digunakan untuk pengujian dalam sampel. Meskipun gambar di bawah ini menggambarkan data out-of-sample pada awal tes, prosedur tipikal akan memiliki bagian out-of-sample segera sebelum kinerja ke depan.
Garis waktu yang mewakili panjang relatif data sampel dan sampel di luar yang digunakan dalam proses backtesting. Gambar oleh Julie Bang © Investopedia 2020
Korelasi mengacu pada kesamaan antara kinerja dan tren keseluruhan dari dua set data. Metrik korelasi dapat digunakan dalam mengevaluasi laporan kinerja strategi yang dibuat selama periode pengujian (fitur yang disediakan sebagian besar platform perdagangan). Semakin kuat korelasi antara keduanya, semakin baik probabilitas bahwa suatu sistem akan berkinerja baik dalam pengujian kinerja maju dan perdagangan langsung.
Gambar di bawah ini menggambarkan dua sistem berbeda yang diuji dan dioptimalkan pada data in-sample, kemudian diterapkan pada data out-of-sample. Bagan di sebelah kiri menunjukkan sistem yang jelas kurva-cocok untuk bekerja dengan baik pada data in-sample dan benar-benar gagal pada data out-of-sample. Bagan di sebelah kanan menunjukkan sistem yang berkinerja baik pada data masuk dan keluar sampel.
Dua kurva ekuitas. Data perdagangan sebelum setiap panah kuning mewakili pengujian dalam sampel. Perdagangan yang dihasilkan antara panah kuning dan merah menunjukkan pengujian di luar sampel. Perdagangan setelah panah merah berasal dari fase pengujian kinerja maju.
Setelah sistem perdagangan telah dikembangkan menggunakan data dalam sampel, siap untuk diterapkan pada data di luar sampel. Pedagang dapat mengevaluasi dan membandingkan hasil kinerja antara data dalam sampel dan di luar sampel.
Jika ada sedikit korelasi antara pengujian dalam sampel dan di luar sampel, seperti bagan kiri pada gambar di atas, kemungkinan sistem telah dioptimalkan secara berlebihan dan tidak akan berkinerja baik dalam perdagangan langsung. Jika ada korelasi kuat dalam kinerja, seperti yang terlihat pada bagan kanan, tahap evaluasi berikutnya melibatkan jenis tambahan pengujian di luar sampel yang dikenal sebagai pengujian kinerja ke depan.
Dasar-Dasar Pengujian Kinerja Maju
Pengujian kinerja ke depan, juga dikenal sebagai perdagangan kertas, memberi pedagang satu set data out-of-sample untuk mengevaluasi suatu sistem. Pengujian kinerja ke depan adalah simulasi perdagangan aktual dan melibatkan mengikuti logika sistem di pasar langsung. Ini juga disebut perdagangan kertas karena semua perdagangan dieksekusi di atas kertas saja; yaitu, entri dan keluar perdagangan didokumentasikan bersama dengan untung atau rugi apa pun untuk sistem, tetapi tidak ada perdagangan nyata yang dieksekusi.
Aspek penting dari pengujian kinerja maju adalah mengikuti logika sistem secara tepat; jika tidak, menjadi sulit, jika bukan tidak mungkin, untuk secara akurat mengevaluasi langkah proses ini. Pedagang harus jujur tentang setiap entri dan keluar perdagangan dan menghindari perilaku seperti perdagangan memetik ceri atau tidak termasuk perdagangan di atas kertas merasionalisasi bahwa "Saya tidak akan pernah mengambil perdagangan itu." Jika perdagangan terjadi mengikuti logika sistem, itu harus didokumentasikan dan dievaluasi.
Banyak broker menawarkan akun perdagangan simulasi di mana perdagangan dapat ditempatkan dan laba dan rugi yang sesuai dihitung. Menggunakan akun perdagangan yang disimulasikan dapat menciptakan suasana semi-realistis untuk berlatih perdagangan dan menilai sistem lebih jauh.
Gambar di atas juga menunjukkan hasil untuk pengujian kinerja maju pada dua sistem. Sekali lagi, sistem yang diwakili dalam bagan kiri gagal melakukan jauh melampaui pengujian awal pada data dalam sampel. Sistem yang ditunjukkan pada bagan kanan, bagaimanapun, terus berkinerja baik melalui semua fase, termasuk pengujian kinerja ke depan. Sebuah sistem yang menunjukkan hasil positif dengan korelasi yang baik antara pengujian kinerja in-sample, out-of-sample, dan forward siap diimplementasikan di pasar langsung.
Garis bawah
Backtesting adalah alat berharga yang tersedia di sebagian besar platform perdagangan. Membagi data historis menjadi beberapa set untuk menyediakan pengujian dalam-sampel dan out-of-sampel dapat memberikan pedagang dengan cara yang praktis dan efisien untuk mengevaluasi ide dan sistem perdagangan. Karena sebagian besar pedagang menggunakan teknik pengoptimalan dalam pengujian ulang, penting untuk kemudian mengevaluasi sistem pada data bersih untuk menentukan kelayakannya.
Melanjutkan pengujian out-of-sample dengan pengujian kinerja ke depan memberikan lapisan keamanan lain sebelum menempatkan sistem di pasar yang mempertaruhkan uang tunai nyata. Hasil positif dan korelasi yang baik antara backtesting in-sample dan out-of-sample dan pengujian kinerja ke depan meningkatkan kemungkinan bahwa suatu sistem akan berkinerja baik dalam perdagangan aktual.
