kalau kita membicarakan Big Data…
mungkin kita pernah dengan tentang Data Governance.
data governance sediri bisa di katakan sebagai data integrity, data quality dan data security.
nah pertanyaan-nya apakah lebih baik seorang data engineer bergantung dengan tools yang sudah ada seperti apace airflow atau data engineer tsb bekerja sama dengan sys engineer untuk membuat sebuah logging data?
Halo kak dock1st! 
Saya coba bantu jawab ya. Jawabannya tergantung pada kebutuhan dan konteks spesifik dari organisasi atau proyek yang sedang dikerjakan.
Apache Airflow merupakan alat yang berguna untuk mengelola aliran data, menjadikannya pilihan yang baik jika data engineer ingin fokus pada tugas-tugas pemrosesan data. Namun, jika ada kebutuhan khusus terkait logging data yang tidak tercakup oleh alat yang sudah ada, bekerjasama dengan seorang sys engineer dapat menjadi solusi yang baik untuk membangun logging data sesuai dengan kebutuhan yang spesifik.
Pada akhirnya, penting untuk mempertimbangkan faktor-faktor seperti kompleksitas proyek, tim yang tersedia, dan kebutuhan bisnis untuk membuat keputusan yang tepat dalam memilih pendekatan terbaik. Semoga jawaban tsb membantu ya
Sepengalaman saya pakai apache airflow di proyek, sebenernya cukup bagus.
Tapi saya juga percaya bahwa kerja sama dengan sys engineer dapat menjadi nilai tambah dalam membangun logging data yang handal. Sys engineer memiliki pengetahuan mendalam tentang infrastruktur dan keamanan sistem, yang sangat penting dalam menjaga integritas dan keamanan data
SEbaiknya sih memang diskusi tim lintas departemen antara data engineer dan sys engineer dilu menurut saya buat bahas kebutuhannya