https://demanejar.github.io/(c) Copyright Demanejar. Một website nhỏ về bigdata được viết bởi team Demanejar. 2026-01-02T21:02:53+07:00 demanejar https://demanejar.github.io/ Jekyll © 2026 demanejar /assets/img/favicons/favicon.ico /assets/img/favicons/favicon-96x96.png 2025-04-12T20:52:00+07:00 2026-01-02T21:02:08+07:00 https://demanejar.github.io/posts/k8s/ demanejar

Một số tìm hiểu ban đầu về k8s. Mối liên hệ giữa containerd và docker Low level run time hiện tại chủ yếu là runc High level runtime hiện tại chủ yếu là dùng containerd graph TD; A[Docker CLI]-->|docker run ...|B[Docker Engine]; B[Docker Daemon]; B -->C[Containerd]; C --> D[Open Container Initiative OCI. 2015 by Docker]; D --> |Implement|E[runc Gola...

2024-12-03T20:52:00+07:00 2026-01-02T21:02:08+07:00 https://demanejar.github.io/posts/selenium-middleware-custom-scrapy/ demanejar

Scrapy có cung cấp thư viện scrapy-selenium cho phép việc sử dụng Seleinum để lấy dữ liệu trang web trước khi trả về cho spdier xử lý. Tuy nhiên trong 1 số trường hợp ví dụ mình không muốn dùng selenium bình thường mà mình muốn dùng undetected-chromedriver vì nó giúp bypass Cloudflare trên website, muốn add proxy thông qua extension của chrome, muốn scroll lên xuống và một số hành động trước kh...

2024-10-01T20:52:00+07:00 2026-01-02T21:02:08+07:00 https://demanejar.github.io/posts/some-trick-crawler/ demanejar

Biến của Javascript có thể chứa dữ liệu cần thiết khi crawl website render bằng Javascript Khi crawl các trang web render bằng Javascript như bài viết trước chúng ta phải sử dụng một trình biên dịch phía trước để dịch các đoạn mã Javascript này để chúng render ra HTML trước khi tiến hành phân tích. Tuy nhiên rất nhiều trang web khi load HTML về nó đã mang dữ liệu rồi. Ví dụ như Youtube khi loa...

2024-03-14T20:52:00+07:00 2026-01-02T21:02:08+07:00 https://demanejar.github.io/posts/data-lineage-tracking-and-visualization-solution-with-spline/ demanejar

Spline là một công cụ OpenSource cho phép tự động theo dõi Data Lineage và Data Pipeline Structure. Công việc phổ biến nhất của nó là theo dõi và trực quan hóa Data Lineage cho Spark. Tổng quan Spline Spline là một công cụ mã nguồn mở và miễn phí để theo dõi tự động dòng dữ liệu (data lineage) và cấu trúc đường dẫn dữ liệu (pipeline structure) trong các dự án. Phổ biến là việc sử dụng Spline ...

2024-02-18T20:52:00+07:00 2026-01-02T21:02:08+07:00 https://demanejar.github.io/posts/airflow-ha/ demanejar

Trong bài này mình sẽ hướng dẫn cài đặt Airflow và cài HA cho nó. môi trường sử dụng là máy ảo virtualbox tạo 2 máy ảo với địa chỉ cố định, add user và cập quyền ssh từ host VAGRANT_COMMAND = ARGV[0] Vagrant.configure("2") do |config| if VAGRANT_COMMAND == "ssh" config.ssh.username = 'vagrant' end config.vm.box = "ubuntu/bionic64" # Chọn box bạn muốn sử dụng # Kh...