amazon-ecs-agent: ecs-agent container exiting or crashing or stopped
just upgraded ecs-agent to 1.14 and docker to 1.13.1 and starting seeing random ecs-agent container disconnecting from ecs-cluster
ecs-agent logs
ecr.us-east-1.amazonaws.com/REDACTED:latest) (STOPPED->STOPPED) - Exit: 1"
2017-03-12T22:43:59Z [INFO] Removing Container Reference: REDACTED from Image State- sha256:7aea920f139a4e2337f05649ed4a7e092b671bf6533e21e19fa8d0669d0e75b3
2017-03-12T22:43:59Z [INFO] Saving state! module="statemanager"
2017-03-12T22:44:01Z [INFO] Saving state! module="statemanager"
2017-03-12T22:44:10Z [INFO] Cleaning up task's containers and data module="TaskEngine" task="REDACTED:1 arn:aws:ecs:us-east-1:REDACTED:task/f03394b5-fc1f-4d4b-9898-1289f06ef90a, Status: (STOPPED->STOPPED) Containers: REDACTED (STOPPED->STOPPED),]"
2017-03-12T22:44:10Z [INFO] Removing container module="TaskEngine" task="REDACTED:1 arn:aws:ecs:us-east-1:REDACTED:task/f03394b5-fc1f-4d4b-9898-1289f06ef90a, Status: (STOPPED->STOPPED) Containers: [REDACTED (STOPPED->STOPPED),]" container="REDACTED(REDACTED.dkr.ecr.us-east-1.amazonaws.com/REDACTED:latest) (STOPPED->STOPPED) - Exit: 1"
2017-03-12T22:44:10Z [INFO] Removing Container Reference: REDACTED from Image State- sha256:7aea920f139a4e2337f05649ed4a7e092b671bf6533e21e19fa8d0669d0e75b3
2017-03-12T22:44:10Z [INFO] Saving state! module="statemanager"
2017-03-12T22:44:11Z [INFO] Saving state! module="statemanager"
^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@
audit log
17-03-12T22:43:21Z 200 172.17.0.10:51988 "/v2/credentials" "aws-sdk-nodejs/2.6.2 linux/v6.9.2" arn:aws:ecs:us-east-1:REDACTED:task/29570878-b181-44b0-bf83-c0041f70308f GetCredentials 1 REDACTED arn:aws:ecs:us-east-1:REDACTED:container-instance/39b5555c-29f0-40e4-92c0-68d286ba0ade
2017-03-12T22:43:29Z 200 172.17.0.10:52015 "/v2/credentials" "aws-sdk-go/1.5.5 (go1.7.3; linux; amd64)" arn:aws:ecs:us-east-1:REDACTED:task/b7f8caa5-75c3-4e61-a9d0-04b6affb519d GetCredentials 1 REDACTED arn:aws:ecs:us-east-1:REDACTED:container-instance/39b5555c-29f0-40e4-92c0-68d286ba0ade
2017-03-12T22:43:33Z 200 172.17.0.10:52020 "/v2/credentials" "aws-sdk-go/1.5.5 (go1.7.3; linux; amd64)" arn:aws:ecs:us-east-1:REDACTED:task/c953201a-06ff-442d-924d-561a3e6f967d GetCredentials 1 REDACTED arn:aws:ecs:us-east-1:REDACTED:container-instance/39b5555c-29f0-40e4-92c0-68d286ba0ade
2017-03-12T22:43:56Z 200 172.17.0.10:52072 "/v2/credentials" "aws-sdk-go/1.5.5 (go1.7.3; linux; amd64)" arn:aws:ecs:us-east-1:REDACTED:task/ff5f25dc-0dcb-4049-b758-a2fc38ef7f7d GetCredentials 1 REDACTED:aws:ecs:us-east-1:REDACTED:container-instance/39b5555c-29f0-40e4-92c0-68d286ba0ade
2017-03-12T22:43:56Z 200 172.17.0.11:56262 "/v2/credentials" "aws-sdk-go/1.5.5 (go1.7.3; linux; amd64)" arn:aws:ecs:us-east-1:REDACTED:task/1b431364-1344-4f76-a685-19d5c57b0848 GetCredentials 1 REDACTED-ecs arn:aws:ecs:us-east-1:REDACTED:container-instance/39b5555c-29f0-40e4-92c0-68d286ba0ade
docker log
time="2017-03-12T22:44:30.345331816Z" level=debug msg="devmapper: DeleteDevice START(hash=a7c00fc2e139eefeef4209b547a92e2121ecf106bee3c0d2acf0b6aa4fddcca5 syncDelete=false)"
time="2017-03-12T22:44:30.345356805Z" level=debug msg="devmapper: deactivateDevice START(a7c00fc2e139eefeef4209b547a92e2121ecf106bee3c0d2acf0b6aa4fddcca5)"
time="2017-03-12T22:44:30.345418346Z" level=debug msg="devmapper: deactivateDevice END(a7c00fc2e139eefeef4209b547a92e2121ecf106bee3c0d2acf0b6aa4fddcca5)"
time="2017-03-12T22:44:30.360273479Z" level=debug msg="devmapper: unregisterDevice(27838, a7c00fc2e139eefeef4209b547a92e2121ecf106bee3c0d2acf0b6aa4fddcca5)"
time="2017-03-12T22:44:30.360968795Z" level=debug msg="devmapper: DeleteDevice END(hash=a7c00fc2e139eefeef4209b547a92e2121ecf106bee3c0d2acf0b6aa4fddcca5 syncDelete=false)"
time="2017-03-12T22:44:30.361018761Z" level=debug msg="devmapper: DeleteDevice START(hash=a7c00fc2e139eefeef4209b547a92e2121ecf106bee3c0d2acf0b6aa4fddcca5-init syncDelete=false)"
time="2017-03-12T22:44:30.361028821Z" level=debug msg="devmapper: deactivateDevice START(a7c00fc2e139eefeef4209b547a92e2121ecf106bee3c0d2acf0b6aa4fddcca5-init)"
time="2017-03-12T22:44:30.361057155Z" level=debug msg="devmapper: deactivateDevice END(a7c00fc2e139eefeef4209b547a92e2121ecf106bee3c0d2acf0b6aa4fddcca5-init)"
time="2017-03-12T22:44:30.386539876Z" level=debug msg="devmapper: unregisterDevice(27837, a7c00fc2e139eefeef4209b547a92e2121ecf106bee3c0d2acf0b6aa4fddcca5-init)"
time="2017-03-12T22:44:30.387158712Z" level=debug msg="devmapper: DeleteDevice END(hash=a7c00fc2e139eefeef4209b547a92e2121ecf106bee3c0d2acf0b6aa4fddcca5-init syncDelete=false)"
time="2017-03-12T22:44:30.387892604Z" level=debug msg="Calling GET /v1.17/containers/34323187c6f0e2560bb1a3b70c9afe255a880ca36d51df6552e0822ff5da254f/json"
time="2017-03-12T22:44:30.387955093Z" level=error msg="Handler for GET /v1.17/containers/34323187c6f0e2560bb1a3b70c9afe255a880ca36d51df6552e0822ff5da254f/json returned error: No such container: 34323187c6f0e2560bb1a3b70c9afe255a880ca36d51df6552e0822ff5da254f"
time="2017-03-12T22:44:33.470099444Z" level=debug msg="Calling DELETE /v1.17/containers/REDACTED-e0af9cd5acdcd7b30700?v=1"
About this issue
- Original URL
- State: closed
- Created 7 years ago
- Comments: 29 (13 by maintainers)
Hi @samuelkarp,
Thanks for the analysis.
Yes, so we had a network issue around 2017-05-21T00:15:05Z. Basically our NAT failed, which prevented the agent from connected to ECS. During this time, it probably went into extended retries. After the network issue was fixed, the agent still wasn’t able to join the cluster.
For the 2nd issue, I restarted the agent to see if it would help, but once it gets into that state, it seems to never recover. I’m not when the restart was. I think it was the 22nd or 23rd.
I’m sending you the agent state file by email.
Thanks -james