Global — All Universities
Distribusi per Region
Top Countries
Manajemen User
Knowledge Base
Upload dokumen, video, atau link — AI analisis dan assign ke kampus otomatis
Settings
Konfigurasi AI Agent, koneksi email, dan integrasi webhook.
Konfigurasi AI Agent yang menggerakkan AI Counsellor.
Model & Koneksi AI
Base URL dan API Key mengarah ke endpoint Gemini (atau kompatibel). Key tidak pernah dikirim ke browser dalam bentuk asli.
Fallback Provider (AI Cadangan)
Dipakai otomatis kalau provider utama di atas gagal/timeout — bukan provider terpisah untuk dipilih manual, murni jaring pengaman.
Sumber Data Grounding
Data apa saja yang boleh dijadikan konteks oleh AI saat membuat pitch/rekomendasi.
Fallback & Keamanan
Kontrol darurat — semua fitur AI Counsellor tetap jalan dengan reasoning rule-based jika AI dimatikan.
Monitoring
Statistik pemakaian AI sejak server terakhir restart.
Baca inbox khusus lewat IMAP + App Password (bukan OAuth) — AI deteksi kampus & usulkan perubahan data dari tiap email masuk secara real-time (IMAP IDLE), tanpa perlu klik Cek Sekarang.
Koneksi IMAP
App Password didapat dari Google Account → Security → App Passwords (butuh 2-Step Verification aktif).
Whitelist & Jadwal
Batasi domain pengirim yang diproses AI, dan seberapa sering inbox dicek.
Email baru dideteksi real-time lewat sambungan live. Interval ini cuma jaring pengaman kalau sambungan live sempat putus.
Status Pengecekan
Satu API key untuk hubungkan Dashboard ke platform manapun (n8n, Zapier, Make, form website, WhatsApp bot, dll) — kirim lead masuk lewat 1 URL tetap, atau daftarkan tujuan untuk terima notifikasi keluar.
API Key Umum
Key ini memberi akses yang sama seperti login admin — kirim lewat header X-API-Key di tiap request dari platform luar. Generate ulang akan langsung mematikan key lama.
Tambah Webhook Keluar
Daftarkan URL tujuan di platform lain — Dashboard kirim notifikasi POST ke sana tiap ada lead baru/diterapkan.
Kelola pilihan dropdown yang dipakai di data kampus — tambah, ubah nama, atau hapus value. Perubahan langsung berlaku di semua form (Tambah Kampus, Edit, Bulk Edit).
Riwayat pola masalah yang pernah ditemukan pada Sync Web Scraper (situs resmi kampus) dan bagaimana sudah diperbaiki, plus keterbatasan yang masih ada. Diperbarui manual setiap kali ada perbaikan baru pada scraper.
✅ Sudah diperbaiki
Sitemap situs ternyata daftar sitemap lain, bukan daftar halaman
Gejala: Sebagian kategori (fees/admissions/programs/scholarships) tidak ketemu padahal halamannya ada di situs.
Contoh: University of Sydney — sitemap.xml-nya cuma berisi daftar sitemap lain (corporate/courses/students), bukan langsung daftar halaman.
Perbaikan: Scraper sekarang mendeteksi kalau sebuah sitemap ternyata berisi sitemap lain, lalu otomatis masuk lebih dalam sampai ketemu daftar halaman aslinya.
Situs redirect ke domain lain (www ↔ non-www, http ↔ https)
Gejala: Semua kategori gagal ditemukan sekaligus, bukan cuma satu.
Contoh: University of Adelaide — www.adelaide.edu.au redirect ke adelaide.edu.au (tanpa "www"), tapi scraper tetap mencocokkan link pakai alamat sebelum redirect sehingga semua link asli dianggap "beda domain" dan diabaikan.
Perbaikan: Scraper sekarang mengikuti alamat hasil redirect yang sebenarnya untuk mencocokkan link, bukan alamat awal yang diinput.
AI/heuristik salah pilih halaman (artikel berita)
Gejala: Kategori "admissions"/"scholarships" terisi tapi mengarah ke artikel berita, bukan halaman resmi.
Contoh: University of Sydney — link ke artikel berita "...student receives scholarship" ikut kepilih karena mengandung kata "scholarship".
Perbaikan: Link yang berbentuk artikel berita/blog atau punya pola tanggal di alamatnya (mis. /news/2026/08/...) sekarang otomatis dikeluarkan dari daftar kandidat sebelum AI/heuristik memilih.
Sync gagal total saat AI (Gemini) kena rate limit
Gejala: Sync scraper langsung jatuh ke metode lama (heuristik kata kunci) begitu Gemini merespons "429 Too Many Requests".
Perbaikan: Sebelum menyerah ke metode lama, scraper sekarang coba dulu lewat AI alternatif (endpoint & model dari tab "AI Agent" di Settings ini). Sudah terbukti jalan langsung di kasus nyata (Imperial College London, Simon Fraser University, BHMS, Kyoto University).
Homepage dianggap "tidak bisa diakses" padahal cuma lag sesaat
Gejala: Kampus dengan situs yang sebenarnya normal (terbukti bisa diakses manual) tiba-tiba muncul sebagai "tidak bisa diakses" saat sync.
Contoh: Peking University, The University of Tokyo — situsnya cepat dan normal saat dicek langsung, tapi sempat gagal saat sync karena koneksi ke situs yang lokasinya jauh kadang tidak stabil sesaat.
Perbaikan: Scraper sekarang otomatis coba sekali lagi kalau homepage gagal diakses karena koneksi putus/timeout (bukan karena situsnya benar-benar menolak dengan respons error). Tidak menjamin 100% berhasil kalau situsnya memang sering tidak stabil, tapi mengurangi kejadian "tidak ditemukan" yang sebenarnya cuma gangguan sesaat.
Situs redirect lewat halaman/JavaScript, bukan redirect resmi (HTTP)
Gejala: Semua kategori gagal ditemukan meski homepage-nya "berhasil" diakses (statusnya 200 OK).
Contoh: Chaoyang University of Technology — alamat resminya cuma berisi halaman kosong yang otomatis mengarahkan browser ke domain lain lewat tag <meta refresh>/JavaScript, bukan lewat redirect resmi yang bisa diikuti otomatis (beda dari kasus Adelaide di atas).
Perbaikan: Scraper sekarang mendeteksi halaman kosong berisi redirect semacam ini dan otomatis mengikuti ke alamat tujuannya.
Kategori "ditemukan" padahal isinya cuma halaman kosong yang sama (situs SPA)
Gejala: Semua kategori tercatat "ditemukan" (tidak ada peringatan sama sekali), tapi tetap saja programs/fees dsb. kosong — lebih menyesatkan daripada kategori yang jujur tercatat "tidak ditemukan".
Contoh: University of Cambridge — situsnya berbasis JavaScript (single-page app) yang selalu menampilkan halaman yang sama persis untuk alamat apa pun, jadi 4 tebakan alamat kategori yang berbeda-beda semuanya "berhasil" diakses tapi isinya identik satu sama lain (bukan halaman fees/programs/scholarships yang sungguhan).
Perbaikan: Scraper sekarang membandingkan isi setiap halaman kategori yang ditemukan; kalau isinya persis sama dengan kategori lain atau dengan homepage-nya sendiri, dianggap bukan halaman asli dan ditandai "tidak ditemukan" (jujur), bukan dianggap berhasil.
Homepage gagal total tidak pernah dicoba lewat browser anti-deteksi
Gejala: Situs yang gagal diakses di level koneksi (timeout, 403 cepat, connection reset) tidak pernah mendapat kesempatan dicoba ulang lewat browser khusus anti-blokir yang sebenarnya sudah tersedia di sistem.
Contoh: ASU, TongJi University, Universitas Indonesia, LCB Canada, University of Lincoln New Zealand.
Perbaikan: Browser anti-deteksi sekarang juga otomatis dicoba kalau homepage gagal total, bukan cuma saat ketemu teks tanda blokir di halaman yang berhasil diambil. Terbukti langsung: TongJi yang tadinya benar-benar tidak bisa diakses, sekarang berhasil dapat 20.000 karakter konten asli.
Situs dengan sertifikat SSL yang salah/tidak cocok domain
Gejala: Browser anti-deteksi menolak membuka halaman sama sekali, walau situsnya sebenarnya baik-baik saja isinya.
Contoh: Independent Colleges (Ireland) — sertifikat SSL situs ini justru terdaftar untuk domain forwarding pihak lain (kesalahan konfigurasi hosting mereka sendiri), sehingga browser menganggapnya berbahaya dan menolak membuka.
Perbaikan: Browser anti-deteksi (fallback terakhir) sekarang tetap melanjutkan membuka halaman meski sertifikatnya bermasalah, karena ini memang jalur terakhir yang dicoba. Terbukti langsung: Independent Colleges sekarang berhasil diambil datanya secara lengkap (info kursus, kontak, dsb).
🔬 Riset: apakah ada tool lain yang lebih baik dari browser anti-deteksi yang dipakai sekarang?
Dicoba: nodriver (tool open-source populer, sempat diklaim di berbagai benchmark online lebih sulit terdeteksi situs). Diuji langsung berhadap-hadapan dengan tool yang sudah dipakai sekarang (patchright), pada 4 situs nyata yang masih gagal diakses.
Hasil: Tidak ada peningkatan nyata. 2 situs (ASU, LCB Canada) tetap gagal identik di kedua tool — karena penyebabnya bukan soal "terlalu mudah terdeteksi sebagai bot" (ASU: situs benar-benar diblokir aktif oleh Cloudflare; LCB Canada: server aslinya justru sedang down, bukan blokir sama sekali). Untuk Universitas Indonesia, tool yang sudah dipakai sekarang (patchright) malah yang berhasil, bukan nodriver. Kesimpulan: tidak diganti — tool yang sudah ada sudah cukup baik, masalah yang tersisa memang bukan sesuatu yang bisa diperbaiki dengan sekadar ganti tool scraping.
⚠️ Keterbatasan yang masih ada
Homepage situs resmi tidak bisa diakses sama sekali
Contoh: University of Melbourne, Monash University, University of Otago, Griffith University, Arizona State University, KEDGE Business School, Universitas Indonesia.
Kemungkinan situs memblokir akses otomatis (proteksi bot) atau responsnya terlalu lambat. Bentuknya bisa beda-beda — ada yang langsung ditolak (403), ada yang timeout, ada juga yang koneksinya sempat tersambung lalu diputus paksa saat diakses (kasus Universitas Indonesia). Semuanya sama-sama pemblokiran dari sisi situs, belum ada solusi — butuh cara akses yang lebih menyerupai browser asli, belum dikerjakan.
Situs tanpa sitemap dan menu navigasi dimuat lewat JavaScript
Contoh: University of Toronto, National University of Singapore, University of British Columbia, Tsinghua University, Chaoyang University of Technology (setelah redirect-nya diikuti).
Link ke halaman fees/admissions dsb. tidak kelihatan oleh scraper karena baru muncul setelah JavaScript situsnya jalan di browser. Scraper saat ini cuma baca HTML mentahnya, belum bisa menjalankan JavaScript seperti browser.
Info fees tidak berbentuk satu halaman yang bisa ditemukan
Contoh: University of Adelaide.
Kemungkinan info fees ditampilkan per-jurusan atau lewat kalkulator interaktif, bukan satu halaman ringkasan yang bisa ditemukan lewat link atau sitemap.
Kata kunci kategori kadang terlalu umum
Contoh: Imperial College London — "scholarships" kepilih ke halaman biografi peraih Nobel karena mengandung kata "award".
Beda dari kasus artikel berita di atas (sudah difilter), ini halaman biografi biasa yang lolos filter karena tidak berbentuk artikel bertanggal. Belum diperbaiki.
Update Email
Antrian review — AI membaca email masuk, mendeteksi kampus, dan mengusulkan perubahan data.
Consultation Inbox
Konsultasi yang otomatis tercatat dari AI Counsellor, plus lead dari platform luar lewat Webhook Integrasi (perlu direview lalu Terapkan).
-
Log Aktivitas
Semua tambah/ubah/hapus data oleh tim, dan riwayat login — bisa dilihat siapa saja yang sedang login.
Approval Sync
New data from sync (Web Scraper/ApplyBoard/GSP) that conflicts with a manually-locked field — choose to keep the old value, use the new one, or enter your own.
EventHub
Ranking universitas berdasarkan event yang diikuti, disinkron otomatis dari EventHub.
Filter berdasarkan tanggal sinkron terakhir (EventHub tidak mengirim tanggal event asli).
📘 English Republic
Daftar course dan harga.
🧭 Genius Hub
Info studi per negara untuk referensi tim PDM.
🏠 Accommodation
Daftar akomodasi per negara untuk referensi tim PDM.