Skip to content

Docker se Kubernetes na ivola ni bulibuli sa bokoci: Veivueti docker system prune --volumes, overlay2 Inodes, kei na . etcd Na itaba

E duidui na naba ni leqa tubukoso ena veimatanitu. Na draunipepa oqo e vakayagataka na 911, na naba me baleti Amerika kei Kenada. E levu tale na vanua era vakayagataka na 112, 999, se dua tale na naba. Vaqara na naba me baleta na nomu vanua ..

Cici docker compose down -v, docker system prune -a --volumes, docker volume rm, se kubectl delete pvc ena tabana ni terminal cala ena buli e dua na sala totolo duadua me bokoci kina e dua na PostgreSQL bula, MySQL, MariaDB, Redis, MongoDB, se SQLite itukutuku ni ivola. E sega ni vaka na o misini vakaidina na itaba ka toso ki na dua na 7-siga na bin ni vakayagataki tale, Docker ni draiva ni voliumu ni vanua (/var/lib/docker/volumes/<name>/_data) kei na Kuberneti local-path / hostPath vakarautaka sara ga na ivakarau ni POSIX unlink() kei rmdir() kaci vakadodonu me baleta na faile ni mataivalu ni Linux e tiko e ra (ext4, XFS, se Btrfs). Na volavola kece e yaco ena mataivalu ni Linux oya ni oti na ivakaro e rawa ni volai na buloko ni itukutuku galala ena disiki. Kevaka e sinai na nomu disiki ni veiqaravi ki na 100 na pasede (0 bytes free) ni bera ni dua e cici . docker system prune --volumes ena dua na rere, veitalanoa disiki ni dauveiqaravi 100% taucoko, itukutuku WAL bloat ni itukutuku, kei na vakabulabulataki ni zero-vanua; me baleta na bokoci ni faile ni Linux sega ni vakaisulu ena taudaku ni koniteina, raica na . vakacalaka rm -rf se Veisau-Bokoca ena ext4, XFS, APFS, kei na NTFS: wilika-duadua ga na vakavoui kei na ceuceu ni inode kei misini vakaidina VMDK, VHDX, kei na qcow2 itaba ni sinucodo kei na veivakabulai ni hypervisor. Kevaka e tara na outage ni bulibuli oqo na qaravi ni tauvimate e valenibula, vakau ni leqa tubukoso, se na ivakarau ni taqomaki ni veiqaravi raraba, qirita na nomu naba ni leqa tubukoso ni vanua (911 e Merika kei Kenada, . 112 ena veiyasa i Urope, . 999 ena Matanitu Cokovata) se raica na noda dairekita ni . naba ni leqa tubukoso.

Cakava oqo ena gauna oqo

  1. **KAKUA ni cici docker compose up -d, systemctl restart docker, se vakavoutaka na pod ni Kubernetes **: Na kena buli tale na koniteina se tekivutaki tale na tevoro ni Docker e vola na megabytes ni vou . overlay2 metadata, koniteina ni JSON ni itukutuku, kei na faile ni itukutuku lasu vou e tekivutaki (initdb) vakadodonu ena dela ni dodonu . ext4 se XFS buloko na vanua e dabe tiko kina na nomu ivoli sa bokoci ena vica na sekodi sa oti.
  2. Raica ena 5 na sekodi kevaka na iwalewale ni koniteina (postgres, mysqld, redis-server, node, python) e se cici tikoga ena vakanananu (ps aux kei sudo lsof +L1): Kevaka e dua e bokoca na faile ena loma ni dua na ivoli vakavodoki se sega ni semati e dua na ivoli sega ni kilai ni se cici tikoga na koniteina, na kernel ni Linux e maroroya 100 na pasede ni faile ni itukutuku sega ni semati bula ena disiki me vaka ga na ID ni iwalewale ni koniteina (PID) e taura e dua na ivakamacala ni faile dolavi (FD). E rawa ni o kopitaka na faile oqori vakadodonu mai na . /proc/<PID>/fd/ se /proc/<PID>/root/ kei na zero ni itukutuku ni bera ni tu na koniteina.
  3. **Kevaka e sa tu vakadua na koniteina ka sa bokoci na ivola (docker compose down -v se docker system prune --volumes), vakamamacataka na disiki ni mataivalu e vola sara ga **: Tarova na tevoro ni Docker (sudo systemctl stop docker.socket docker.service containerd) o koya gona na koniteina ni taudaku kei na veisele ni bula me muduka na volavola ni itukutuku ki na . /var/lib/docker, qai vakaduria tale /var/lib/docker (se na vu / veiwasei) wilika-ga (sudo mount -o remount,ro /) se taura e dua na iyaloyalo ni voliumu ni o ni ivakatagedegede ni buloko totolo (AWS EBS Snapshot, GCP Persistent Disk Snapshot, DigitalOcean Volume Snapshot) ni bera ni tara e dua na ka.
  4. Kevaka o sa tiko ena Kubernetes (kubectl delete pvc se kubectl delete namespace), raica na Voliumu Tudei (PV) ReclaimPolicy (kubectl get pv) vakatotolo:
  5. Kevaka na . PV tiko persistentVolumeReclaimPolicy: Retain, na nomu itukutuku e sega ni bokoci: na . PV toso ga ki na Released ituvaki kei na nomu disiki ni o (EBS, Azure Disk, Ceph RBD, NFS) e 100 na pasede na kena vakayagataki.
  6. Kevaka mada ga . kubectl delete pvc sa vesuki tu ena Terminating, Kuberneti Vakaoti (kubernetes.io/pvc-protection) tarova na draiva ni CSI mai na kena bokoci na maroroi ni yavu me vaka ga ni dua na Pod e se vakaraitaka tikoga na PVC oqori. Kakua ni bokoca na Pod me yacova ni o sa kopitaka na itukutuku mai na Pod cici tiko.
  7. Iyaloyalo ni veiwasei ni buloko e ra (dd / ddrescue ena SSH) ki na dua na disiki e taudaku se duatani na ivoli ni o ni bera ni cici . ext4magic, extundelete, se PhotoRec: Kakua vakadua ni cicivaka na faile carvers ka vola na faile ni output ki na dua ga na iwasewase ni disiki mai na kena o sa vakabulai tiko . /var/lib/docker/volumes.
  8. Me baleta na vakacacani se vakacalaka ni Kubernetes ilawalawa ni matanitu (kubectl delete crd / namespace), tu vakadua kube-apiserver ka vakalesuya mai na nomu vou . etcd iyaloyalo (etcdctl snapshot restore): Kevaka na ituvaki ni ilawalawa ena . etcd a bokoci ni se tiko ga na ivoli ni maroroi ni o e ra, vakalesui mai . etcd vakabulai kece PV, PVC, Secret, kei na ConfigMap veika ena dua ga na gauna.

Danger

Kakua vakadua ni kauta laivi na kubernetes.io/pvc-protection se kubernetes.io/pv-protection vakaotia na kubectl patch ... -p '{"metadata":{"finalizers":null}}' ni sa curu tu e dua na PVC ena . Terminating: Na kena vakaoti na ka duadua ga e maroroya tiko na nomu draiva ni CSI ni o (aws-ebs-csi-driver, pd.csi.storage.gke.io, Longhorn, Rook-Ceph) mai na kena soli e dua na iyaya DeleteVolume API kaci me vakarusa na nomu disiki ni buli. Ni sa curu tu na PVC ena . Terminating, na Pod e se cici tikoga kei na voliumu e se vakavodoki tikoga: cici . kubectl exec se kubectl cp (se pg_dump / mysqldump) ena gauna sara ga oqo me vakabulai kina na 100 na pasede ni nomu itukutuku ni bera ni cava na Pod.


Vunikau ni vakatulewa: bokoci na ivoli Docker, overlay2 tabana, se vakatovotovo ni PVC ni Kubernetes

Vakayagataka na flowchart oqo me digitaki kina na sala ni vakabulabulataki totolo duadua ni zero-lusi yavutaki ena kevaka e se bula tikoga na iwalewale ni koniteina, kevaka e a tokoni na ivoli mai na disiki ni vanua se na maroroi ni CSI ni o, kei na cava na faile ni veiqaravi . /var/lib/docker:

flowchart TD
    Start["Na itukutuku ni bulibuli e yali ni oti na Docker se Kubernetes bokoca na ivakaro"] --> WhichEnv{"Na ituvatuva cava & ivakaro e vakavuna na lusi?"}

    WhichEnv -->|"Docker: Koniteina se cici tikoga (Faile sega ni semati ena loma ni Voliumu/Konteina)"| ProcRescue["Veivueti Dolava na ivakamacala ni faile sega ni semati ena sudo lsof + L1 kei na / proc / PID / fd / N se / proc / PID / waka /"]

    WhichEnv -->|"Docker: Koniteina tudei & Voliumu bokoci (volavola sobu -v / musuka --ivola)"| StopDocker["Cici sara: sudo ivakarauctl tarova na docker.sokete docker koniteina"]

    WhichEnv -->|"Kubernetes: bokoca laivi na pvc / pv / ituvatuva ni ituvaki / vanua ni yaca"| K8sCheck{"E se cici tikoga na Pod SE sa tudei tu na PVC ena kena vakaoti?"}

    K8sCheck -->|"Io: Pod se cici tikoga (vakaotia na kena tarovi na CSI bokoca)"| K8sExec["KUA ni bokoca na Pod -> Cicivaka na kubectl exec / pg_dump / tar ena stdout ki na disiki ni vanua ena gauna sara ga oqo"]
    K8sCheck -->|"Sega: Pod sa yali -> Raica na kubectl rawata na pv"| ReclaimCheck{"Na cava na iTuvatuva ni Veivakalesui mai ni PV?"}

    ReclaimCheck -->|"Maroroya (PV ituvaki = Vakagalalataki)"| ClearClaimRef["100% itukutuku bulabula -> Vakadodonutaka na PV me kau tani kina na spec."]
    ReclaimCheck -->|"Bokoca (O EBS / PD / Loaloa / Vanua-Sala)"| CloudOrLocal{"Voliumu CSI ni o se disiki ni mataivalu ni vanua?"}

    CloudOrLocal -->|"CSI ni o (AWS EBS/GCP/Azure/Cef)"| CloudSnap["Raica na o ni veivakacegui ni vakayagataki tale ni Bin / EBS vakataki koya na itaba / Ceph RBD benu (rbd benu ls)"]
    CloudOrLocal -->|"Disiki ni Node ni vanua (sala ni vanua / sala ni mataivalu)"| StopDocker

    StopDocker --> RemountRO["Vakavoutaka na iwasewase ni mataivalu wilika-duadua (vakavoutaka -o vakavoutaka,ro) SE Uciwai ni buloko ni iyaloyalo ena SSH"]
    RemountRO --> HostFS{"Na cava na veiqaravi ni faile / var / lib / docker?"}
    HostFS -->|"ext4."| Ext4Rec["Vakayagataka na debugfs / ext4magic ivolaniveisiga Inode veisautaki lesu (-e dua na ivakatakilakila ni gauna)"]
    HostFS -->|"XFS / Btrfs"| CarveRec["Vakayagataka na waka ni Btrfs / xfs_irecover / sainitaki ni saini vakaitaukei me baleta na SQLite, Postgres Heap, se InnoDB .ibd"]

Wasewase 1: Na sala e bokoca dina kina o Docker kei na Kubernetes na ivoli ena disiki

Ni bera ni cici e dua na ivakaro ni vakabulabulataki, kila na vanua e bula kina vakayago na nomu itukutuku ena Linux na mataivalu kei na cava e tara dina na ivakaro ni bokoca:

Mataqali maroroi & Bokoca na ivakaro Sala ni faile ni mataivalu ena Node ni Linux Na cava e cakava dina na ivakaro ni Delete . Na iwalewale ni vakabulai totolo
Vakayacani na iVola ni Docker (docker volume rm se docker compose down -v) /var/lib/docker/volumes/<vol_name>/_data Sega ni semati na faile e loma _data/ ka kauta laivi na itukutuku ni dairekita mai na . /var/lib/docker/volumes/metadata.db (boltdb). Tarova sara na Docker, vakaduria tale /var/lib/docker wilika-ga, ka vakabula tale na inodes sega ni semati ena ext4magic / debugfs se na saini ni ceuceu.
Volimu ni Docker sega ni kilai (docker run -v /var/lib/mysql + . docker rm -v se docker system prune --volumes) /var/lib/docker/volumes/<64-char-hex-id>/_data docker system prune --volumes bokoca na veivola kece sara e sega ni kilai ka vakayacani ka sega ni vakaraitaki tiko ena gauna oqo ena dua mada ga na koniteina sa tu rawa. Tarova na Docker ena gauna sara ga oqo; kevaka e tiko vei iko na so tale* na koniteina tarova ka sega ni *musuki na kena ivoli, raica na kena vo /var/lib/docker/volumes/*/_data folda taumada ni bera ni ceuti na buloko sega ni wasei.
Koniteina ni volavola (docker rm <container> ni sa volai na itukutuku ena taudaku ni dua na ivola) /var/lib/docker/overlay2/<layer-id>/diff/ Sega ni semati na koniteina e cake diff/ dairekita ena loma ni . overlay2 draiva ni maroroi. Tarova na Docker ena gauna sara ga oqo ka vakabula tale na vunikau ni dairekita sega ni semati mai na . ext4 ivolaniveisiga se XFS buloko.
Katubaleka ni Docker ena macOS se katubaleka (docker system prune --volumes) Ena loma ni dua ga na iyaloyalo ni disiki ni misini vakaidina: -/Library/Containers/com.docker.docker/Data/vms/0/data/Docker.raw (macOS) se %LocalAppData%\Docker\wsl\disk\docker_data.vhdx (Katubaleka WSL2). Vakauta unlink() ena loma ni VM ni Linux, kei na kevaka . discard/TRIM sa cakacaka tiko ena Docker.raw / docker_data.vhdx, vakacuruma na qara lailai ena faile ni mataivalu. Biuta na Docker ni katubaleka ena loma ni 5 na sekodi, kopitaka Docker.raw se docker_data.vhdx ki na dua na draiva e taudaku, ka cici . ext4magic / PhotoRec me baleta na iyaloyalo ni disiki vakaidina.
** PVC ni Kubernetes kei na Delete Vakalesui mai na lawatu ena Ceph RBD (Rook-Ceph) se Lavo** Tobu ni OSD ni Ceph (rbd) se /var/lib/longhorn/replicas/. Kevaka csi-rbdplugin sa trash vakatara (rbd trash), na iyaloyalo ni RBD e toso ki na Ceph na benu ni benu; ke sega era sega ni mapetaki na buloko. Cici rbd trash ls --pool <pool> ena loma ni rook-ceph-tools pod y restaurar con . rbd trash restore.

Wase 2: Vakabulai na faile ni itukutuku dolavi mai na dua na koniteina se cici tikoga (/proc/<pid>/fd/)

Wati: e se cici tikoga na koniteina ena gauna oqo? Vakavuqa, e dua na idinia e cicivaka e dua na ivola ni toki ni ivolakerekere, e dua na cakacaka ni cron ni veivakasavasavataki, se dua na ivoladusidusi . rm -rf /var/lib/postgresql/data/* se rm /app/data/production.sqlite3 ena loma ni dua na koniteina ni cici, se bokoca na folder ni veivauci-ulunivanua ni mataivalu e rukuna . /opt/app/data ni sa tiko na koniteina (postgres, mysqld, mariadbd, redis-server, mongod, gunicorn, node) e se tu ga ka cici tiko.

Ena Linux, e dua na faile e sega ni bokoci mai na disiki ni . rm se unlink() e vakatokai. Na kena buloko ni disiki kei na inode tikoga 100 na pasede vakarautaki ka wiliki me yacova na iotioti ni iwalewale e taura tiko e dua na ivakamacala ni faile dolavi (FD) ki na inode oya e sogota se lako tani.

Kalawa 1: Vaqara na ID ni iwalewale ni mataivalu (PID) ni iwalewale ni koniteina .

Ena node ni mataivalu ni Linux (sega ni tiko ena loma ni koniteina), kunea na mataivalu . PID ni nomu itukutuku se iwalewale ni kerekere:

sudo lsof +L1 | grep -E "postgres|mysqld|mariadbd|sqlite|redis|mongo|node|python|java"
Raica na kena itinitini:
COMMAND     PID   USER   FD   TYPE DEVICE  SIZE/OFF NLINK    NODE NAME
mysqld    18492    999   14u   REG  259,1 482344960     0 1849201 /var/lib/mysql/app_prod/users.ibd (deleted)
mysqld    18492    999   15u   REG  259,1 125829120     0 1849202 /var/lib/mysql/app_prod/orders.ibd (deleted)
mysqld    18492    999   16u   REG  259,1  79691776     0 1849190 /var/lib/mysql/ibdata1 (deleted)
python3   22104   1000    4u   REG  259,1  89128960     0 3102944 /data/production.sqlite3 (deleted)
Raica na duru 1.1. NLINK: e kaya 0, kei na yaca ni faile e cava ena ** .(deleted)**. Na faile sa yali vakadua mai na . ls /var/lib/docker/volumes/..., ia na veibaiti yadua (482 MB ena users.ibd, 89 MB ena production.sqlite3) e se bula tiko ga e loma . /proc/<PID>/fd/<FD>.

Kalawa 2: Kopitaka na faile ni itukutuku sega ni semati vakadodonu mai na . /proc/<PID>/fd/

Kakua ni sega ni tarova se tekivutaka tale na koniteina. Ni se cici tikoga na iwalewale, kopitaka na ivakamacala ni faile raw vakadodonu ki na dua na folder taqomaki ena nomu itikotiko:

sudo mkdir -p /root/proc_emergency_rescue

# Example 1: Rescuing an unlinked SQLite3 database (PID 22104, FD 4)
sudo cp /proc/22104/fd/4 /root/proc_emergency_rescue/production.sqlite3
# Check if PID 22104 also holds the -wal file open (e.g. FD 5) and copy it too:
sudo cp /proc/22104/fd/5 /root/proc_emergency_rescue/production.sqlite3-wal

# Example 2: Automatically rescuing ALL open (deleted) MySQL/Postgres files for PID 18492
for fd in /proc/18492/fd/*; do
    target=$(sudo readlink "$fd" 2>/dev/null)
    if echo "$target" | grep -q "(deleted)"; then
        fd_num=$(basename "$fd")
        clean_name=$(echo "$target" | sed 's/ (deleted)//; s/\//_/g')
        echo "Rescuing FD $fd_num -> $clean_name"
        sudo cp "$fd" "/root/proc_emergency_rescue/${fd_num}${clean_name}"
    fi
done

Kalawa 3: E vinaka cake sara: Cicivaka e dua na dump vakasama bula (pg_dump / mysqldump / .backup) ni bera ni sogota na koniteina na FDs .

Kevaka postgres se mysqld se cici tikoga kei na kena faile ni itukutuku dolavi ena vakanananu kei na . /proc/<PID>/fd/, tovolea mo vakaciciva e dua na dump vakasama bula ena dela ni sokete ni unix sa tu rawa se na veitaratara ni TCP taumada:

# If the database engine can still read its open file descriptors:
docker exec <container_name> pg_dumpall -U postgres > /root/proc_emergency_rescue/live_dump.sql
# Or for MySQL:
docker exec <container_name> mysqldump -u root -p --all-databases --single-transaction > /root/proc_emergency_rescue/live_mysql.sql
*(Itukutuku: Dolava ka sogota na PostgreSQL .1, .2 faile ni iwasewase ena veimataqali iwalewale ni tamata cakacaka dinamika, me vakakina pg_dump e rawa ni vakacacani ena teveli sega ni maroroi; cokovata e dua na taro SQL bula kei na kena vakadewataki na dolavi kece /proc/<pid>/fd/* ena taucoko postgres PIDs ni gone e vakabula na itukutuku ni teveli ni teveli e rawa ni levu duadua.) *


iwasewase 3: Vakalesui mai e dua na ivoli ni Docker bokoci ena . ext4 se XFS ni oti na kena tu vakadua na koniteina

Vakacava ke o cici . docker compose down -v se docker system prune --volumes, o koya gona na koniteina sa tu vakadua kei na veika kece . /proc/<pid>/fd/ vakamacalataki ni sa sogo? Sega ni bera o sa tiko ena dua na veitaucici me baleta na disiki ni taudaku volavola ena Linux ni mataivalu.

Kalawa 1: Vakaceguya na faile ni Linux ni mataivalu ena loma ni 10 na sekodi .

  1. ** Tarova na Docker, koniteina, kubelet, kei na cron ena gauna sara ga oqo** me kakua kina ni dua na koniteina, vakadidike ni bula, se na rotator ni itukutuku e vola e dua tale na baiti ki na /var/lib/docker:
    sudo systemctl stop docker.socket docker.service containerd.service cron.service
    
  2. Raica na misini ni buloko cava kei na faile e taura /var/lib/docker:
    df -Th /var/lib/docker
    
    Filesystem     Type  Size  Used Avail Use% Mounted on
    /dev/nvme0n1p1 ext4  100G   42G   58G  42% /
    
  3. Remount na veiwasei Wilika-Walega (se vakadrodroya e dua na iyaloyalo ni veiwasei raw ena SSH ki na dua tale na misini):
  4. Kevaka /var/lib/docker e tiko ena kena iwasewase vakatabui se LVM ivoli (me kena ivakaraitaki /dev/nvme0n1p2 se /dev/mapper/vg0-docker), vakavoutaka tale na wiliwili-duadua ena gauna sara ga oqo:
    sudo mount -o remount,ro /var/lib/docker
    
  5. Kevaka /var/lib/docker e tiko ena vu / veiwasei (/), tovolea mo vakasaurarataka na iwasewase ni yavu wili-duadua ena kena vakayagataki na kernel Magic SysRq vakavuna (echo u | sudo tee /proc/sysrq-trigger) se sudo mount -o remount,ro /.
  6. ** Kevaka o tiko ena dua na VPS ni o (AWS EC2, GCP, DigitalOcean, Hetzner, Linode) **: Lako sara ki na nomu console ni itukutuku ni o ka kiliki ** Cakava na iyaloyalo ** ena ivoli ni buloko ni dauveiqaravi (se vakadrodroi na misini ni buloko raw ena SSH ki na dua na ikarua ni dauveiqaravi: sudo dd if=/dev/nvme0n1p1 bs=4M status=progress | gzip -1 | ssh user@backup-server "cat > /mnt/storage/docker_host_raw.img.gz").

Kalawa 2: Raica kevaka e se dabe tikoga na nomu itukutuku ena DUA tale na ivoli unpruned se . overlay2 iWalewale

Ni bera ni o ceuta na buloko ni disiki sega ni vakarautaki, vakadeitaka ni nomu itukutuku e sega ni maroroi dina ena dua na ulunivanua ni vesuki se dua na ivoli duidui na yacana ka bula tiko:

# Search the entire /var/lib/docker tree read-only for any surviving database files:
sudo find /var/lib/docker -name "PG_VERSION" -o -name "ibdata1" -o -name "*.sqlite*" -o -name "*.db" -o -name "dump.rdb" -o -name "WiredTiger" 2>/dev/null
Ena veimacawa, era dau rere na vakailesilesi ni oti na nodra cici . docker volume rm app_db_data, solo para descubrir con . find /var/lib/docker oya docker-compose.yml sa bulia dina projectname_app_db_data (ka se 100 na pasede tikoga ena disiki) ni . app_db_data e dua na ivola makawa sega ni vakayagataki mai na ono na vula sa oti.

Kalawa 3: Vakalesui mai ni sega ni semati na Docker ivola ni veidusimaki ena . ext4 vakayagataka na ext4 iVolatukutuku (ext4magic kei debugfs)

Gauna cava docker volume rm bokoca /var/lib/docker/volumes/<vol_name>/_data ena dua ext4 ivakarau ni faile, ext4 zeros mai na veidusimaki ni buloko vakadodonu (i_block / levu ni vunikau) ena teveli ni inode bula. Ia, na ** .ext4 ivolaniveisiga (node <8>, vakalevu 128 MB ki na 1024 MB buffer ni mama vakavolivolita) ** se taura tikoga na ilavelave ni itukutuku makawa ni teveli ni inode dodonu kei na buloko ni dairekita mai na dodonu ni bera . docker compose down -v e vakamatei.

+-------------------------------------------------------------------------+
| HOW ext4magic RECOVERS A DELETED DOCKER VOLUME FROM THE EXT4 JOURNAL    |
|                                                                         |
| Live Inode Table on Disk (After docker volume rm):                      |
|   Inode #918402 (users.ibd): [Size = 0, Extent Pointers = ZEROED]       |
|                                                                         |
| Ext4 Journal Ring Buffer (Inode <8> on Disk):                           |
|   Transaction #41902 (10 mins ago):                                     |
|   Inode #918402 (users.ibd): [Size = 482MB, Extents = Blocks 9000..9999]|
|                                                                         |
| -> ext4magic reads the old Inode Copy from Journal Transaction #41902   |
|    and extracts Blocks 9000..9999 directly to your rescue drive.        |
+-------------------------------------------------------------------------+

Cici ext4magic me baleta na nomu wiliwili-duadua na veiwasei (se na .img ilavelave ni iyaloyalo ena dua na ikarua ni dauveiqaravi), vakaraitaka e dua na gauna (-a) mai na 5 na miniti ni bera ni o cici docker compose down -v se docker system prune --volumes:

# Install ext4magic on your rescue machine (never on the affected partition)
sudo apt-get install -y ext4magic e2fsprogs

# Dump the ext4 journal from the frozen partition / image to a file in RAM (/dev/shm)
sudo debugfs -R "dump <8> /dev/shm/ext4_journal.copy" /dev/nvme0n1p1

# Recover all files deleted under var/lib/docker/volumes after (Current Time - 15 minutes)
sudo mkdir -p /mnt/external_rescue/docker_recovered
sudo ext4magic /dev/nvme0n1p1 \
  -j /dev/shm/ext4_journal.copy \
  -f var/lib/docker/volumes \
  -a $(date -d "-15 minutes" +%s) \
  -r -d /mnt/external_rescue/docker_recovered
- -j /dev/shm/ext4_journal.copy: Wilika na itaba ni ivolaniveisiga o maroroya ena RAM ni oti ga na kena tarovi na Docker. - -f var/lib/docker/volumes: Taketetaka na vunikau ni dairekita ni ivoli dodonu ni Docker (kila: biuta laivi na iliuliu / ena ext4magic sala veiwekani). - -a $(date -d "-15 minutes" +%s): Tukuna ext4magic me tara tale na vunikau ni dairekita ena kena vakayagataki na ilavelave ni inode e vakayagataki ena 15 na miniti sa oti (ni bera sara ga na bokoci vakacalaka). - -r: Vakalesuya mai na dairekita taucoko ka sega ni dua na buloko e volai; kevaka -r calata na faile volai vakatikina, cicivaka e dua na ikarua ni pasi sosomitaka . -r kei na -m (vakacacani vakamaqosa + ivakarau ni veivakaduiduitaki ni ivolaniveisiga).

Kalawa 4: Ceuta na SQLite kaukauwa, PostgreSQL, se na noqu faile ni InnoDB ni sa vakaruguti na ivolaniveisiga (XFS se ext4)

Warning

**Na cava XFS sega ni tokona ext4magic ka gadrevi kina na wiliwili-duadua ga vakatotolo **: Sega ni vaka ext4, ka vola taucoko na ilavelave ni inode 256-baiti ki na kena ivolaniveisiga, . XFS deltas inaki ni itukutuku ni itukutuku ka vakayagataka tale vakalevu na inode B-vunikau galala (agi). Kevaka /var/lib/docker dabe ena dua na XFS veiwasei (vakadeitaki ena RHEL, Vatu Linux, AlmaLinux, kei na Linux ni Amazon), sega ni vakacurumi /var/lib/docker se vakavodoki / wilika-ga ena loma ni vica na sekodi sa ikoya na ikalawa bibi duadua ni bera na ceuti.

Kevaka e vakayagataka na host ** .XFS** se kevaka na . ext4 ivolaniveisiga sa vakaruguti tu ena veidusimaki ni inode, vakayagataka na saini kei na ituvatuva ni ceuceu me baleta na iyaloyalo ni disiki raw (docker_host_raw.img):

  1. **Me baleta na itukutuku ni SQLite3 (.sqlite, .db - me kena ivakaraitaki, Daunivakatawa, O ka tarava, iVukevuke ni Vale, Gitea, Dauniveiqaravi) **: Na itukutuku kece ni SQLite3 e tekivu ena dua na ulutaga ni ASCII sega ni vakatitiqataki 16-baiti ena baiti 0 ni kena imatai ni 4 kilobaiti na draunipepa: 53 51 4c 69 74 65 20 66 6f 72 6d 61 74 20 33 00 ("SQLite format 3\0"), ka maroroya na levu ni tabana ni itukutuku dodonu ( ).Bytes 16..17, vakalevu 4096) kei na levu taucoko ni itukutuku ena draunipepa (Bytes 28..31, na iwiliwili taucoko ni 32 na tiki ni endian levu) ena loma sara ga ni ulutaga vata ga oqori.
  2. Cici PhotoRec kei na [File Opt] -> [x] sqlite vakatara, se vakaraica na veiwasei vakadodonu ena . grep -ab "SQLite format 3" me kunei na offset ni baiti dodonu ni nomu faile ni SQLite bokoci ka kauta laivi ena . dd:
    # Find the exact byte offsets of every "SQLite format 3" header on the partition:
    sudo grep -ab "SQLite format 3" /dev/nvme0n1p1
    
    Ni sa kau tani, cici . sqlite3 carved.db ".recover" | sqlite3 repaired.db me tara tale na draunipepa ni draunikau B-vunikau kece e sega ni vakacacani.

Tip

**Na sala me vakarautaki kina na kena dodonu . dd levu ni baiti ni dua na faile SQLite3 sega ni semati mai na kena ulutaga **: Vakadua grep -ab "SQLite format 3" solia vei iko na itekitekivu ni baiti OFFSET ni nomu itukutuku ni SQLite bokoci, wilika na baiti . 16..17 (uint16 levu ni draunipepa, me kena ivakaraitaki, 0x1000 = 4096 baiti) kei na baiti 28..31 (uint32 wiliwili ni draunipepa levu, me kena ivakaraitaki, 25000 draunipepa) vakayagataka hexdump -C -s OFFSET -n 32. Vakavuqa Page Size x Page Count e solia vei iko na balavu ni baiti dodonu mo sivia ki na . dd (iflag=skip_bytes,count_bytes) ni sa veitarataravi na faile ena disiki.

  1. ** Me baleta na noqu SQL / MariaDB InnoDB (.ibd faile ni teveli)**: Na InnoDB kece .ibd teveli e tiko kina na veitarataravi 16 KB (16,384 baiti) draunipepa e tiko kina na . FIL_PAGE_INDEX (0x45BF) ulutaga kei na duatani ni teveli space_id. Vakayagataka na Percona / TwinDB undrop-for-innodb (stream_parser + . c_parser) iyaya ni cakacaka me scan /dev/nvme0n1p1 vei ira kece 16 KB InnoDB ivakatakilakila ni draunipepa ka biuta na laini kece vakadodonu ki na faile ni TSV / SQL me baleta na kena vakacurumi tale.
  2. Me baleta na faile ni itukutuku ni PostgreSQL ($PGDATA/base/<db_oid>/<relfilenode>): PostgreSQL maroroya na teveli yadua me vaka na veitarataravi 8 KB (8,192 baiti) draunipepa ni isoqoni e tiko kina PageHeaderData (pd_lower, pd_upper, pd_special). Vakayagataki pg_filedump se pglazarus / pdu me dikevi na vanua ni disiki sega ni vakarautaki me baleta na 8 KB draunipepa e veiganiti kei na ituvatuva ni tuple ni duru ni nomu teveli (HeapTupleHeaderData) ka vakavoutaka na veitarataravi.

iKa 4 ni Wasewase: Kubernetes PVC, PV, kei na etcd Vakabulabulataki ni leqa tubukoso

Ena Kuberneti (EKS, GKE, AKS, k3s, RKE2, kubeadm, OpenShift), vakacalaka na kena bokoci e dua na Kerekere ni Volume Tudei (kubectl delete pvc), e dua na Seti ni Matanitu, se dua na vanua ni yaca taucoko (kubectl delete ns prod) muria e dua na ituvatuva duidui sara mai na Docker tu vakataki koya.

iTuvatuva A: Na PVC e vakaraitaka Terminating (Na Veivakabulai ni Vakaoti)

Cici:

kubectl get pvc -n <namespace>
Kevaka na . STATUS kolomu e kaya Terminating, cegu vakalailai: na nomu itukutuku e se bera ni bokoci. - Cava na vuna? Na PVC kece ni Kubernetes e buli Mai na Kubernetes 1.9 vakataki koya e okati kina finalizers: [kubernetes.io/pvc-protection]. - Me vaka ga ni dua na Pod e se vakavodoki tikoga na PVC oya, na daunilewa ni Kubernetes e sega ni via vakacavara na bokoci ni PVC ka ** sega vakadua ni kaciva na draiva ni CSI . DeleteVolume RPC**. - Cakacaka totolo: Kakua ni ** SEGA ** bokoca se tekivutaka tale na Pod, ka cakava ** SEGA ** vakadodonutaka na finalizer. Vakabira sara na itukutuku kece mai na Pod cici tiko ki na nomu misini ni vanua se dua na pakete S3:
# Stream a compressed tar backup or pg_dump out of the still-running pod immediately:
kubectl exec -n <namespace> <pod-name> -- pg_dumpall -U postgres > ./rescued_k8s_db.sql
# Or tar an entire mounted volume directory out over stdout:
kubectl exec -n <namespace> <pod-name> -- tar czf - /var/lib/postgresql/data > ./rescued_pvc_files.tar.gz

iVakaraitaki B: Sa bokoci na PVC, kei na . kubectl get pv vakaraitaka na Voliumu Tudei ena . Released matanitu (ReclaimPolicy: Retain)

Cici:

kubectl get pv
Kevaka na nomu Voliumu Tudei (pv-prod-postgres) e se volai tu ga kei na . STATUS: Released (baleta ni kena vakayagataki na Kalasi ni Maroroi reclaimPolicy: Retain), 100 na pasede ni nomu itukutuku e se dabe tikoga ka sega ni vakayagataki ena disiki e ra. Ia, e sega ni vakatara o Kubernetes me laiva e dua na PVC vou me vauci ki na dua na . Released PV baleta ni PV e se tiko ga kina e dua na . spec.claimRef dusia na PVC makawa sa bokoci UID.

Na sala me caka kina e dua na . Released PV Available tale ena 10 na sekodi kei na zero itukutuku ni yali: 1. Edita na ka ni Volume Tudei ka bokoca na . spec.claimRef buloko:

kubectl patch pv <your-pv-name> --type json -p '[{"op": "remove", "path": "/spec/claimRef"}]'
2. Cici kubectl get pv tale: na ituvaki e veisau sara ga mai na Released ki na Available. 3. Vakavoutaka na nomu . PersistentVolumeClaim (vakamacalataka volumeName: <your-pv-name> kei na veiganiti ni rawa/maroroiKalasiYaca). Ena vauci ki na PV sa tu oqo ena gauna sara ga oqo kei na faile kece sara e sega ni vakacacani.

iTuvatuva C: Vakalesui mai e dua na ituvaki ni ilawalawa ni Kubernetes sa bokoci mai na dua na etcd iyaloyalo (etcdctl snapshot restore)

Vakacava ke dua e cici . kubectl delete namespace prod se helm uninstall ka bokoca laivi na 200 Kubernetes vakaraitaka, veika vuni, ConfigMaps, kei na ivakamacala ni PV ena dua na vakatulewa vakataki koya . kubeadm, k3s, se RKE2 lewa na waqavuka?

  1. Vakasaqara na nomu itukutuku vou etcd itaba (ena kena ivakarau ena /var/lib/rancher/k3s/server/db/snapshots/, /var/lib/rancher/rke2/server/db/snapshots/, se na nomu ituvatuva . /var/backups/etcd/snapshot.db).
  2. Vakadeitaka na dina ni iyaloyalo ni bera ni o tara na ilawalawa bula:
    ETCDCTL_API=3 etcdctl snapshot status /path/to/snapshot.db --write-out=table
    
  3. **Tu vakadua kube-apiserver kei etcd ena node ni waqavuka ni lewa (s) **:
  4. Ena kubeadm (pods tudei): Toso /etc/kubernetes/manifests/kube-apiserver.yaml kei /etc/kubernetes/manifests/etcd.yaml vakalekaleka ki na /root/manifests_hold/ o koya gona kubelet tarova ruarua na koniteina savasava, qai lesu tale /var/lib/etcd ki na /var/lib/etcd.bak.
  5. Ena k3s: Cici sudo systemctl stop k3s kei sudo k3s server --cluster-reset --cluster-reset-restore-path=/path/to/snapshot.
  6. Vakalesui mai na etcd dairekita ni itukutuku ena kubeadm:
    sudo ETCDCTL_API=3 etcdctl snapshot restore /path/to/snapshot.db \
      --data-dir=/var/lib/etcd \
      --name=<control-plane-node-name> \
      --initial-cluster=<node-name>=https://<node-ip>:2380 \
      --initial-advertise-peer-urls=https://<node-ip>:2380
    
  7. Toso etcd.yaml kei kube-apiserver.yaml lesu tale ki /etc/kubernetes/manifests/. Ena loma ga ni 30 na sekodi, . kube-apiserver semati tale ki na vakalesui mai . etcd sitoa kei na veika kece e bokoci na Yaca, Vuni, Mape ni Config, kei na Volume Tudei e basika tale mai.

Wase 5: Vakaukauwataka na Docker kei na Kubernetes na ivoli me baleta na bokoci vakacalaka

Ni sa vakalesui mai na nomu itukutuku ni buli iyaya, vakayacora na va na guardrails ni taravale oqo me rawa kina vua e dua na CLI typo me kakua tale ni bokoca e dua na ivoli bula:

  • Veisautaka na veibuli kece ni Kubernetes StorageClass mai reclaimPolicy: Delete ki na reclaimPolicy: Retain: Ena kena ivakarau, tara-ena o Kalasi ni Maroroi (gp2, gp3, standard-rwo) vakawasoma ki na reclaimPolicy: Delete, kena ibalebale na kena bokoci e dua na PVC e vakarusa na disiki ni o. Cakava e dua na StorageClass kei na reclaimPolicy: Retain (se vakadodonutaka na PVs sa tu rawa kei na kubectl patch pv <pv-name> -p '{"spec":{"persistentVolumeReclaimPolicy":"Retain"}}') me bokoci kina e dua na PVC se Namespace e sega vakadua ni bokoci na ivola ni buloko e tiko e ra.
  • ** Vakatara na AWS EBS vakayagataki tale ni Bin / GCP ituvatuva ni iyaloyalo / Velero kei na CSI iyaloyalo **: Vakatara na AWS EBS vakayagataki tale ni Bin maroroya e dua na ivola ni EBS bokoci me baleta na 7 ki na 30 na siga kevaka mada ga e kaciva na draiva ni CSI . DeleteVolume.
  • Kakua vakadua ni vakayagataka docker system prune --volumes ena volavola ni veivakasavasavataki vakataki koya se CI/CD daucici: Kevaka e dua na koniteina ni itukutuku ni bulibuli vakalekaleka (Exited (1)) ena gauna sara ga e cici kina e dua na cakacaka ni cron . docker system prune -a --volumes -f, Docker vakasamataka na kena ivoli sega ni kilai "sega ni vakayagataki" ka bokoca vakadua. Luvata --volumes mai na veivolavolai kece ni veivakasavasavataki.
  • Vakayagataka na veivauci matailalai ni mataivalu (/srv/prod_data/postgres:/var/lib/postgresql/data) se na itukutuku ni taudaku ni veiqaravi me baleta na cakacaka ni bulibuli ni matanitu: Sega ni vaka na /var/lib/docker/volumes/, vakaitikotiko na veivauci-ulunivanua dairekita ena taudaku . /var/lib/docker/ era sega vakadua ni tara mai vei docker compose down -v, docker volume rm, se docker system prune --volumes.

Na naba ni leqa tubukoso ni yasana kei na veitaratara ni galala ni digidigi

Ni dua na koniteina se Kubernetes maroroi ni bokoci e tara na cakacaka ni valenibula ni valenibula, vakau ni veitaqomaki raraba, se itukutuku vakatamata vakalawataki, vakalevutaka sara ga:

  • Amerika kei Kenada: Qiri 911 kevaka e dua na koniteina ni ilawalawa ni vakacacani e vakaleqa na veiqaravi ni tauvimate ni valenibula, ivakarau ni EHR, se na vakau ni leqa tubukoso. Ripotetaka na veivakacacani ni koniteina ni veivakatorocaketaki se na veika e yaco ena initaneti ki na CISA (1-844-Say-CISA / cisa.gov/report) se na Vanua ni Veitaqomaki ena Initaneti ni Kenada (1-833-CYBER-88).
  • Matanitu Cokovata: Qiri 999 me baleta na veivakarerei ki na bula se na veivakatorocaketaki bibi ni NHS. Ena ruku ni UK GDPR, vakarusai tudei se yali na kena rawati na itukutuku ni tamata yadua ka sega e dua na vakasukasuka e rawa ni vakalesui mai e gadrevi kina na vakatovotovotaki ni dua na itukutuku ni cala ni 72-auwa ki na ICO (0303 123 1113).
  • Matanitu o Iurope: Qiri 112 ena veimatanitu lewe ni EU kece. Na veisoqosoqo ena ruku ni NIS2 veidusimaki e dodonu me ra vakauta e dua na ivakasala taumada ki na nodra CSIRT ni matanitu ena loma ni 24 na auwa ni dua na veiqaravi bibi ni vakacacani, kei na vakayali ni itukutuku vakatamata tudei e vakavuna na GDPR Tikina e 33 ripotetaki ena loma ni 72 na auwa.
  • Ositerelia kei Niusiladi: Qiri 000 e Ositerelia se 111 e Niusiladi; ripotetaka na veika bibi e yaco ena veivakatorocaketaki ki na ACSC (1300 CYBER1).
  • Idia kei Esia-Pasifika: Qiri 112 e Idia me baleta na veivuke vakatotolo; ripotetaka na veika e yaco ena veitaqomaki ni o se koniteina ki na CERT-Ena (incident@cert-in.org.in) ena loma ni katubaleka ni 6 na auwa e dodonu me vakayacori.

Na taro e dau tarogi wasoma .

E docker compose down -v bokoca na veiulunivanua ni vesuki ni mataivalu (./data:/var/lib/mysql) se duadua ga na ivola ni Docker vakayaca kei na sega ni kilai?

`docker compose down -v` E bokoca ga na ivoli vakayacani e vakaraitaki ena `volumes:` iwasewase ni `docker-compose.yml` kei na Voliumu sega ni kilai e vakacurumi ki na koniteina .; o koya sega vakadua bokoca na faile ena loma ni dua na ulunivanua ni vesuki ni mataivalu (me vaka na `- /opt/mysql_data:/var/lib/mysql` se `- ./postgres_data:/var/lib/postgresql/data`). Kevaka e vakayagataka na nomu faile ni volavola e dua na sala ni mataivalu ka tekivu ena . `/` se `./`, raica na folder oqori ena host ena gauna oqo: na nomu faile e se 100 na pasede tikoga.

Na cava e docker system prune --volumes bokoca na noqu ivoli ni itukutuku niu sa tarova ga na koniteina me baleta na 2 na miniti me vakavoutaki kina e dua na veisau ni vanua?

Waraka vakavinaka na duidui ni . `docker stop` kei `docker rm`: kevaka e dua na koniteina e . `Stopped / Exited` (rairai ena `docker ps -a`), `docker system prune --volumes` e cakava sega bokoca na kena ivoli baleta ni koniteina sa tu vakadua e se vakaraitaka tikoga vei ira. Ia, kevaka o cici . `docker rm ` (me buli tale na koniteina kei na kuila vou) se kevaka o sa sivia . `docker system prune -a --volumes` (ka imatai ni bokoca na koniteina kece e tu vakadua kei na qai bokoca na ivoli kece e sa sega ni vakacurumi ki na dua na koniteina), na ivoli e yaco me "dangling" na milisekodi na koniteina e tarova e kau laivi ka sa bokoci sara ga ni oti oya.

E rawa niu vakabula tale e dua na ivoli ni Docker bokoci ena loma ni Docker ni katubaleka ena dua na Mac (Apple Silicon / Intel) se na katubaleka (WSL2)?

Io, kevaka o biuta na Docker katubaleka ena gauna sara ga oqo me rawa kina ni cegu na misini vakaidina . `fstrim` me baleta na disiki vakaidina. Ena macOS, Docker maroroya na ivola kece ni Linux ena loma . `-/Library/Containers/com.docker.docker/Data/vms/0/data/Docker.raw`; ena katubaleka WSL2, ena loma `%LocalAppData%\Docker\wsl\disk\docker_data.vhdx`. Kopitaka oqori `.raw` se `.vhdx` faile ki na dua na SSD e taudaku ena gauna sara ga oqo, vakacuruma kina na wiliwili-ga ena Linux (vakayagataka `losetup -Pr` baleta `.raw` se `qemu-nbd -r` baleta `.vhdx`), ka cici . `ext4magic` se `PhotoRec` me baleta na veika vakaidina `ext4` veiwasei e loma.

Vakacava kevaka au bokoca e dua na Kubernetes ni matanitu kei na . kubectl delete statefulset postgres? E vakaotia talega oqori na noqu PVCs?

Sega. Ena kena ivakarau ena Kubernetes (vakavo ga `persistentVolumeClaimRetentionPolicy.whenDeleted: Delete` a vakarautaki vakamatata ena Kubernetes 1.27+), cici `kubectl delete statefulset` bokoca na lewa ni matanitu kei na kena Pods, biuta kece `PersistentVolumeClaims` (`data-postgres-0`, `data-postgres-1`) kei na nodra itukutuku taumada 100 na pasede sega ni vakacacani .. Vakayagataka tale ga na nomu . `StatefulSet` YAML vakaraitaka na yaca vata ga kei na . `volumeClaimTemplates`, kei na Pods vou ena vakacurumi tale vakataki koya ki na kena sa tu rawa . `data-postgres-0` Na PVC.

E rawa vakacava meu rawata na faile ena loma ni dua na Docker . overlay2 dairekita ni sa sega ni via tekivu na koniteina (CrashLoopBackOff / Exited (1))?

Kakua ni bokoca na koniteina sa vakacacani. Me vaka ga ni se tiko ga na koniteina sa tarova tu ena 2019. `docker ps -a`, na kena volai na tabana kei na ivoli mounts era sa taucoko sara ena disiki. E rawa ni o vakabira na faile vakadodonu mai na koniteina sa tu vakadua ena kena vakayagataki . `docker cp :/var/lib/postgresql/data /root/rescued_data`, se kunea na kena itikotiko dodonu . `overlay2` sala ena cici `docker inspect --format '{{.GraphDriver.Data.UpperDir}}'` kei na wiliki ni dairekita oqori vakadodonu me vaka . `root`.

Vakacava ke dua e bokoca e dua na Kubernetes . Namespace (kubectl delete ns prod) kei na PVC kece era . reclaimPolicy: Delete ena AWS EBS se GCP?

Kevaka na draiva ni CSI ni o (`ebs.csi.aws.com` se `pd.csi.storage.gke.io`) sa vakayacori `DeleteVolume` baleta `reclaimPolicy` sa `Delete`, raica e tolu na rede ni veitaqomaki ena ivakatagedegede ni o ena gauna sara ga oqo: (1) raica **AWS vakayagataki tale ni Bin me baleta na EBS Voliumu** ena AWS EC2 vakacegu (kevaka e dua na lawa ni maroroi e cakacaka tiko ena akaude/tags, na ivola ni EBS bokoci e dabe ena Bin ni vakayagataki tale ka rawa ni vakalesui mai ena 1 kiliki); (2) raica **AWS vakasukasuka / DLM / GCP ituvatuva ni itaba** me baleta na itaba ni ivoli vakaitaukei ni gauna oqo; kei na (3) raica kevaka e vakadewataka tiko na nomu itukutuku na WAL/binlogs (`WAL-G`, `pgBackRest`, `Litestream`) ki na dua na pakete S3/GCS.


Na idusidusi veiwekani


Na ivurevure kei na idusidusi vakamatanitu .

  • Na ivola vakamatanitu ni Kubernetes (kubernetes.io / Yavu ni kompiuta ni vanua ni o): Na ka ni maroroi ena veitaqomaki ni vakayagataki (kubernetes.io/pvc-protection Vakaoti), Vakalesui mai ni Voliumu Tudei (Retain vs. Delete), kei na Veiqaravi . etcd Veisoqosoqo me baleta na Kubernetes (etcdctl snapshot restore).
  • (docs.docker.com): * Vakarautaka na itukutuku ena Docker: iVola, Veivauci ni veiulunivanua, overlay2 Na ituvatuva ni draiva ni maroroi, kei na ivakadinadina ni Prune *.
  • Na isoqosoqo ni Linux (kernel.org): *Na /proc Na ivakarau ni faile (procfs Dolava na faile ni ivakamacala ni vakabulai ena . /proc/<pid>/fd/) kei na Ext4 iVolatukutuku ni iVolatukutuku *.
  • ext4magic Na ivola ni cakacaka (ext4magic.sourceforge.net): *Inode ni veilewai kei na ivolaniveisiga ni veisau ni vakabulabulataki ena Ext3 / Ext4 faile ni faile *.
  • Inisitute ni Matanitu ni ivakatagedegede kei na tekinolaji (NIST) (Amerika): Ivola vakatabakidua 800-190: iDusidusi ni veitaqomaki ni koniteina ni kerekere & Vakalesui mai ni veika e yaco.