2025. 5. 27.ㆍTech
안녕하세요. 케이뱅크 IT인프라팀에서 시스템 운영 업무를 담당하는 이범희입니다.
금융권에서도 클라우드 환경에서 고객 서비스 제공을 시작한 지 벌써 수년째로 접어들고 있습니다. 당행에서도 이미 2022년 빅데이터 플랫폼 클라우드 전환을 시작으로 채널계 및 다양한 영역의 업무 시스템을 AWS 클라우드에서 운영하고 있습니다.
이후 클라우드 기반 시스템 구축에 대한 수요는 지속적으로 증가하고 있는데, 이번 글에서는 보이지 않지만 핵심적인 요소인 '백업'을 AWS 클라우드 환경에서는 어떻게 할 수 있는지 소개드리고자 합니다.
목차
- 백업의 목적
- AWS Backup 서비스 구성
- 마무리
1. 백업의 목적
소개에 앞서 단순한 데이터 보호 목적의 백업 보다는 금융 기관에서 왜 백업을 해야 하는지에 대해서 먼저 설명 드려보겠습니다.
1999년 1월 2일, 금융감독원은 금융기관에 대한 검사,감독 업무 수행을 통하여 건전한 신용 질서와 공정한 금융거래 관행을 확립하고 예금자 및 투자자 등 금융 수요자를 보호함으로써 국민경제 발전에 기여하기 위해 설립되었습니다.
특히, 금융기관의 정보기술 부문 안전성 확보를 위해 금융감독원은 다음과 같은 내용을 포함한 총 75조로 구성된「전자금융감독규정」을 제정하였습니다.
1. 전자금융거래 당사자의 권리와 의무
2. 전자금융거래의 안전성 확보 및 이용자 보호
3. 전자금융업의 허가, 등록 및 업무
4. 전자금융업무에 대한 감독
이 가운데 "전자금융거래의 안전성 확보 및 이용자 보호" 에 해당하는 조항에는 다음과 같은 내용이 포함되어 있고
제 13조: 전산자료 보호대책
제 14조: 정보처리시스템 보호대책
해당 내용에는 전산자료의 유출 및 파괴 등을 방지하고, 정보처리시스템의 안전한 운영을 위해 전산자료를 정기적으로 백업하고 그 결과를 검증할 것을 명시하고 있습니다.
이에 금융기관에서 백업의 목적은
정보처리시스템의 안전한 운영을 위해 전산자료를 정기적으로 백업하여 금융감독원이 제정한 전자금융감독규정을 준수하고 예금자 및 투자자 등 금융 수요자를 보호하는 것
이라고 이해하면 될 것 같습니다.
[자료 출처]
- 금융감독원 설립 안내 및 목적 :
https://www.fss.or.kr/fss/main/contents.do?menuNo=200233
- 전자금융감독규정 : https://www.law.go.kr/행정규칙/전자금융감독규정
2. AWS Backup 서비스 구성
그럼 본격적으로 AWS 클라우드 환경에서는 백업을 어떻게 할 수 있는지 실제 구성 사례를 바탕으로 자세히 설명드리겠습니다.
2.1 검토
일반적으로 기업에서는 Netbackup, Acronis, Veeam 등의 상용 백업 솔루션과 디스크, Tape 미디어 등의 저장매체를 활용하여 운영체제와 데이터를 백업하고 있습니다. 클라우드 환경에서도 동일한 구성이 가능하지만 온프레미스 환경 대비 지원 범위의 제약과 복잡한 구성 절차로 인해 어려움이 따릅니다.
이러한 어려움을 해소하기 위한 방법으로 AWS에서는 보다 간편하고 효율적인 백업 환경 구성을 위한 완전관리형 서비스인 AWS Backup을 제공하고 있습니다.
AWS Backup은 여러 가용 영역(AZ)에 걸쳐 데이터를 자동으로 복제 및 저장하며, 99.999999999%(11 9's)의 내구성을 보장하여 별도의 *원격지 소산이 필요 없습니다. 또한 저장소 요금을 제외한 추가적인 서비스 사용료 없이 다양한 AWS 서비스에 대한 백업이 가능하다는 장점도 있으므로 사용 목적 및 요구 사항에 따라 기존 상용 백업 솔루션의 대안이 될 수 있습니다.
* 원격지 소산 : 케이뱅크에서는 앞서 언급한 전자금융감독규정의 정보처리시스템 보호대책(제14조)규정을 준수하기 위해 온프레미스 환경에서는 정보처리시스템의 운영체제 및 설정 내용 등을 백업하고 원격 안전지역에 디스크 및 Tape 미디어로 소산하고 있습니다.
클라우드 환경에서는 금융위원회의 법령 해석에 따라 클라우드컴퓨팅서비스 이용절차를 준수하고 AWS Backup과 같이 여러 가용 영역에 중복 저장할 경우 원격지 소산에 대한 요건을 충족한다고 판단할 수 있습니다.
케이뱅크에서는 기존에 EC2 인스턴스를 AMI 및 EBS snapshot을 통해 백업하고, 해당 백업 데이터를 소산 목적으로 온프레미스 환경으로 전송하는 비효율적인 구조를 동반하고 있었습니다.
이에 따라 다음과 같은 목적으로 AWS Backup 서비스를 통한 EC2 백업 체계를 개선하기로 하였습니다.
- 정책 기반의 중앙 통합 관리 체계로 전환
1) 서비스 형태의 백업 솔루션 도입으로 운영 복잡도 감소
2) 정책 표준화와 일관된 정책 적용 및 관리 체계 수립 - 클라우드 환경에 적합한 백업 소산 구조 개선 및 비용 효율화
1) 백업 데이터를 온프레미스로 이관하지 않고 AWS 내 안전하게 저장하여 전용회선 사용량 감소
2) 저장소 비용 외 추가적인 서비스 사용료 없이 백업이 가능하여 운영 비용 절감
[자료 출처]
- AWS Backup :
https://aws.amazon.com/ko/backup/
- Resilience in AWS Backup :
https://docs.aws.amazon.com/aws-backup/latest/devguide/disaster-recovery-resiliency.html
- 클라우드를 통한 전산자료 소산에 대한 금융위원회의 법령 해석 :
https://better.fsc.go.kr/fsc_new/replyCase/LawreqDetail.do?stNo=11&muNo=117&muGpNo=75&lawreqIdx=4200
2.2 구성
구성에 앞서, 백업 운영과 VPC, EC2 등 클라우드 인프라 운영을 위한 *권한 분리와 통제를 고려하여 필요한 IAM 권한을 정의하였습니다.
* 권한 분리와 통제 : 케이뱅크에서는 앞서 언급한 전자금융감독규정의 전산자료 보호대책(13조)규정을 준수하기 위해 접근 권한을 최소한으로 부여하고, 적절한 접근권한 관리 및 통제를 수행하고 있습니다.
이에 따라, 클라우드 상에서 새로운 서비스를 도입할 때에는 해당 서비스에 요구되는 IAM 역할(IAM Role)을 사전에 식별하고, IAM 담당자가 역할에 포함된 권한을 상세히 검토한 후 업무 목적에 필요한 최소 권한만을 부여하는 방식으로 권한 관리를 수행하고 있습니다.
공식 문서를 통해 다음의 IAM 역할 및 여기에 포함된 관리형 정책을 확인할 수 있었으며
- IAM 역할
AWSBackupDefaultServiceRole - 포함된 정책
1) AWSBackupServiceRolePolicyForBackup
2) AWSBackupServiceRolePolicyForRestores
위 정책을 IAM 담당자와 함께 상세하게 검토한 후, 업무 목적에 적합하도록 커스터마이징된 새로운 IAM 권한 그룹을 생성하였습니다.
EC2 인스턴스 백업을 위해 필요한 정책을 세부적으로 살펴보면,
1) AWSBackupServiceRolePolicyForBackup 정책 중 일부
...
{
"Sid" : "EBSCopyPermissions",
"Effect" : "Allow",
"Action" : [
"ec2:CopySnapshot"
],
"Resource" : "arn:aws:ec2:*::snapshot/*"
},
{
"Sid" : "EC2CopyPermissions",
"Effect" : "Allow",
"Action" : [
"ec2:CopyImage"
],
"Resource" : "*"
},
{
"Sid" : "EBSTagAndDeletePermissions",
"Effect" : "Allow",
"Action" : [
"ec2:CreateTags",
"ec2:DeleteSnapshot"
],
"Resource" : "arn:aws:ec2:*::snapshot/*"
},
{
"Sid" : "EC2Permissions",
"Effect" : "Allow",
"Action" : [
"ec2:CreateImage",
"ec2:DeregisterImage",
"ec2:DescribeSnapshots",
"ec2:DescribeTags",
"ec2:DescribeImages",
"ec2:DescribeInstances",
"ec2:DescribeInstanceAttribute",
"ec2:DescribeInstanceCreditSpecifications",
"ec2:DescribeNetworkInterfaces",
"ec2:DescribeElasticGpus",
"ec2:DescribeSpotInstanceRequests",
"ec2:DescribeSnapshotTierStatus"
],
...
{
"Sid" : "BackupVaultPermissions",
"Effect" : "Allow",
"Action" : [
"backup:DescribeBackupVault",
"backup:CopyIntoBackupVault"
],
"Resource" : "arn:aws:backup:*:*:backup-vault:*"
},
{
"Sid" : "BackupVaultCopyPermissions",
"Effect" : "Allow",
"Action" : [
"backup:CopyFromBackupVault"
],
"Resource" : "*"
},
...
{
"Sid" : "KMSPermissions",
"Effect" : "Allow",
"Action" : "kms:DescribeKey",
"Resource" : "*"
},
{
"Sid" : "KMSCreateGrantPermissions",
"Effect" : "Allow",
"Action" : "kms:CreateGrant",
"Resource" : "*",
"Condition" : {
"Bool" : {
"kms:GrantIsForAWSResource" : "true"
}
}
},
{
"Sid" : "KMSEC2Permissions",
"Effect" : "Allow",
"Action" : [
"kms:GenerateDataKeyWithoutPlaintext",
"kms:ReEncryptTo",
"kms:ReEncryptFrom"
],
...
2) AWSBackupServiceRolePolicyForRestores 정책 중 일부
...
{
"Sid" : "EBSPermissions",
"Effect" : "Allow",
"Action" : [
"ec2:CreateVolume",
"ec2:DeleteVolume"
],
"Resource" : [
"arn:aws:ec2:*::snapshot/*",
"arn:aws:ec2:*:*:volume/*"
]
},
{
"Sid" : "EC2DescribePermissions",
"Effect" : "Allow",
"Action" : [
"ec2:DescribeImages",
"ec2:DescribeInstances",
"ec2:DescribeSnapshots",
"ec2:DescribeVolumes",
"ec2:DescribeAccountAttributes",
"ec2:DescribeAddresses",
"ec2:DescribeAvailabilityZones",
"ec2:DescribeSecurityGroups",
"ec2:DescribeSubnets",
"ec2:DescribeVpcs",
"ec2:DescribeInternetGateways",
"ec2:DescribeSnapshotTierStatus"
],
...
{
"Sid" : "KMSPermissions",
"Effect" : "Allow",
"Action" : [
"kms:Decrypt",
"kms:Encrypt",
"kms:GenerateDataKey",
"kms:ReEncryptTo",
"kms:ReEncryptFrom",
"kms:GenerateDataKeyWithoutPlaintext",
"kms:DescribeKey"
],
...
{
"Sid" : "KMSCreateGrantPermissions",
"Effect" : "Allow",
"Action" : "kms:CreateGrant",
"Resource" : "*",
"Condition" : {
"Bool" : {
"kms:GrantIsForAWSResource" : "true"
}
}
},
...
{
"Sid" : "EBSSnapshotBlockPermissions",
"Effect" : "Allow",
"Action" : [
"ebs:CompleteSnapshot",
"ebs:StartSnapshot",
"ebs:PutSnapshotBlock"
],
"Resource" : "arn:aws:ec2:*::snapshot/*"
},
...
"Sid" : "EC2DeleteAndRestorePermissions",
"Effect" : "Allow",
"Action" : [
"ec2:DeleteSnapshot",
"ec2:DeleteTags",
"ec2:RestoreSnapshotTier"
],
"Resource" : "arn:aws:ec2:*::snapshot/*",
"Condition" : {
"Null" : {
"aws:ResourceTag/aws:backup:source-resource" : "false"
}
}
},
{
"Sid" : "EC2CreateTagsScopedPermissions",
"Effect" : "Allow",
"Action" : "ec2:CreateTags",
"Resource" : [
"arn:aws:ec2:*::snapshot/*",
"arn:aws:ec2:*:*:instance/*"
],
"Condition" : {
"ForAllValues:StringEquals" : {
"aws:TagKeys" : [
"aws:backup:source-resource"
]
}
}
},
{
"Sid" : "EC2RunInstancesPermissions",
"Effect" : "Allow",
"Action" : [
"ec2:RunInstances"
],
"Resource" : "*"
},
{
"Sid" : "EC2TerminateInstancesPermissions",
"Effect" : "Allow",
"Action" : [
"ec2:TerminateInstances"
],
"Resource" : "arn:aws:ec2:*:*:instance/*"
},
{
"Sid" : "EC2CreateTagsPermissions",
"Effect" : "Allow",
"Action" : [
"ec2:CreateTags"
],
"Resource" : [
"arn:aws:ec2:*:*:instance/*",
"arn:aws:ec2:*:*:volume/*"
],
"Condition" : {
"StringLike" : {
"ec2:CreateAction" : [
"RunInstances",
"CreateVolume"
]
}
}
},
...
BackupVault, KMS, EBS 등 다양한 서비스에 대한 접근 권한이 필요한 것을 볼 수 있습니다.
마찬가지로 EC2 외 RDS, DynamoDB, Redshift 등의 서비스에 대한 백업이 필요한 경우 해당 서비스별 IAM 정책을 추가해야 합니다.
따라서 AWSBackupDefaultServiceRole을 사용하지 않고, 보안 및 운영 정책에 맞춰 IAM 권한을 직접 정의하고자 하는 경우에는 반드시 AWS 공식 문서를 참조하여 서비스별 필요한 권한을 면밀히 검토하시길 바랍니다.
* 필요한 정책이 누락될 경우 권한 부족으로 리소스 할당에 실패하거나 백업 실패가 발생할 수 있습니다
[자료 출처]
- AWS Backup IAM 서비스 역할 :
https://docs.aws.amazon.com/ko_kr/aws-backup/latest/devguide/iam-service-roles.html
- AWSBackupServiceRolePolicyForBackup :
- AWSBackupServiceRolePolicyForRestores :
그리고 기존의 상용 백업 솔루션과 AWS Backup 간에는 사용하는 용어에 차이가 있어, Veritas NetBackup 솔루션과의 비교하여 다음과 같이 정리해 보았습니다.
참고. Veritas Netbackup vs AWS Backup 용어 비교
| Veritas Netbackup | AWS Backup | |
| 저장소 | Storage | Vaults(볼트) |
| 백업 정책 | Policy | Backup Plans(백업 계획) |
| 백업 일정 | Schedule | Backup rules(백업 규칙) |
| 백업 대상 | Backup selection | Resource assignment(리소스 할당) |
이와 같이 권한 분리 정책 수립과 용어 정리 후, 실제 AWS Backup 구성을 다음과 같은 단계로 진행하였습니다.
(1) 볼트(Vault) 생성
백업 데이터를 저장하기 위한 저장소 단위인 볼트(Vault)를 새로 생성하거나 기본적으로 제공되는 'Default' 볼트를 사용할 수도 있습니다. 단, 'Default' 볼트는 삭제가 불가능합니다.
* Account간 공유가 가능한 '논리적 에어갭 처리 볼트(Logical Air-Gapped Vault)' 유형도 제공합니다
(2) 백업 계획(Backup Plan) 구성
백업 규칙(Backup Rules) 구성과 리소스 할당(Resource Assignment)을 위한 구성으로 *온디맨드 백업 생성과 *새 백업 계획 생성과 같이 두 가지 방식이 있으며, 이번 구성에서는 '새 백업 계획 생성'으로 진행합니다.
백업 계획 이름은 백업 규칙 이름과 구분되도록 설정합니다.
예: XX-PLAN-... (계획) / XX-RULE-... (규칙)
새 백업 계획 생성 시 제공되는 시작 옵션으로 '템플릿으로 시작', 'AWS에서 제공하는 기본 백업 템플릿 활용' , '새 계획 수립'이 있으며 최초 구성인 만큼, 백업 주기와 리소스 할당 등을 세부적으로 설정하기 위해 '새 계획 수립' 옵션을 선택하였습니다.
* 온디맨드 백업 생성 : 특정 리소스를 즉시 백업하기 위한 목적으로 정기 예약 시간 외 별도 시간에 백업이 필요할 때 사용합니다. 다만 백업 대상 리소스가 백업 계획에 할당되어 있고, 해당 백업 계획이 예약된 백업 작업을 한 번 이상 실행한 경우에만 사용가능합니다. 자세한 내용은 아래의 공식 문서를 참고하시길 바랍니다.
* 새 백업 계획 생성 : 백업 빈도, 백업 기간, 수명 주기등 일반적인 백업 계획을 설정하기 위한 목적으로 사용합니다. 즉시 백업 수행 기능은 제공되지 않으며, 예약된 시간에 따라 정기적으로 백업이 수행됩니다.
[자료 출처]
- Creating an on-demand backup using AWS Backup :
(3) 백업 규칙(Backup Rules) 구성
실제 백업 수행을 위한 세부 조건 구성으로 백업 대상 볼트, 백업 빈도 및 실행 시간, 백업 데이터 보존 기간, 수명 주기를 설정합니다.
백업 규칙 이름은 백업 계획명과 구분되도록 설정합니다.
예: XX-RULE-… (규칙), XX-PLAN-… (계획)
백업 기간 설정 중 ‘다음 시간 내에 시작’ 값을 너무 짧게(최소 1시간) 설정할 경우, AWS 리소스 할당/처리 지연으로 인해 백업 실패가 발생할 수 있으니 최소 4시간 이상의 여유를 두고 설정할 것을 권장합니다.
또한 수명 주기 설정 시 90일 이상 보관이 필요한 경우 콜드 스토리지 옵션을 선택하면 다음과 같이 비용을 절약할 수 있습니다.
| 스토리지 유형 | 요금 |
| 웜 스토리지(기본) | USD 0.05 |
| 콜드 스토리지 | USD 0.0125 (~80% 절감) |
단, 콜드 스토리지에서 복구 시 추가 요금이 발생할 수 있고, 모든 AWS 리소스 유형에 대해 지원하는 것은 아니므로 관련해서는 반드시 아래 공식 문서를 확인하시길 바랍니다.
[자료 출처]
- 백업 계획 생성 :
https://docs.aws.amazon.com/ko_kr/aws-backup/latest/devguide/creating-a-backup-plan.html
- AWS Backup 요금 :
https://aws.amazon.com/ko/backup/pricing/
(4) 리소스 할당(Resource Assignment)
백업을 적용할 AWS 리소스를 선택하는 단계로, Account내 전체 리소스를 대상으로 하거나 서비스별(예: EC2, RDS, Aurora, Redshift 등)로 세분화하여 지정할 수 있습니다.
이번 구성에서는 EC2 인스턴스 백업이 목적이므로, EC2만 선택합니다.
운영 및 업무 구분에 따라 AWS Account를 분리 운영하고 있으므로, 위 과정을 각 Account별 반복하여 구성하였습니다.
* 하나의 계정에서 생성한 백업 정책을 조직 단위(OU) 또는 전체 계정에 중앙 배포할 수 있는 기능도 제공하지만 운영 구분 별, 그리고 인스턴스 별 백업 정책이 상이한 관계로 해당 기능은 사용하지 않았습니다
2.3 모니터링
구성을 완료하면 다음과 같이 3가지 방법으로 모니터링을 할 수 있습니다.
| 서비스명 또는 항목 | 내용 |
| AWS Backup > 백업 계획 |
백업 계획에서 최근 30일 백업 작업 내역을 확인할 수 있습니다 백업 계획을 다수 생성할 경우 각각의 백업 계획마다 확인해야 하며, 다수의 Account가 존재할 경우 마찬가지로 Account마다 확인해야 합니다 그리고 30일 이전 백업 작업 내역은 확인이 불가능합니다 |
| AWS Backup > Vault(볼트) |
백업 규칙에서 저장소로 선택한 Vault 선택 시 복구 시점 페이지에서 백업받은 모든 내역을 확인할 수 있습니다 Vault를 다수 생성할 경우 각각의 Vault마다 확인해야 하며 다수의 Account가 존재할 경우 마찬가지로 Account마다 확인해야 합니다 |
| Cloud Watch | 백업 저장소, 백업 리소스 별 모니터링 가능한 지표를 제공하고 있으며 필요한 지표를 적절히 활용하여 모니터링할 수 있습니다 |
AWS Backup은 각 Account에서 별도로 백업이 수행되므로, Account가 많은 경우 모니터링에 어려움이 따릅니다.
* Cloud Watch의 교차 계정 모니터링 방법은 비용과 권한 등의 사유로 검토 대상에서 제외하였습니다
이러한 어려움을 해결하기 위해 중앙에서 전체 Account의 백업 현황을 통합적으로 모니터링할 수 있는 AWS Backup의 “교차 계정 모니터링” 기능에 대해 검토하였고, 적용 과정과 방법에 대해 이어서 추가 설명드리겠습니다.
2.4 교차 계정 모니터링
AWS Backup의 교차 계정 모니터링 기능은 AWS Organizations를 사용하는 환경에서 단일 관리 계정을 통해 조직 전체의 백업, 복원, 복사 작업을 중앙에서 통합적으로 관리하고 모니터링할 수 있도록 지원하는 기능입니다.
단일 관리 계정에서 조직 전체의 백업, 복원, 복사 작업을 중앙에서 관리 및 모니터링할 수 있게 해주는 기능으로 설정 방법은 다음과 같습니다.
1) '크로스 계정 모니터링' 활성화
AWS Organization 계정 > AWS Backup > 내 계정 > 설정 > 크로스 계정 관리에서 '크로스 계정 모니터링' 항목을 활성화합니다.
이외에 '백업 정책' , '계정 간 백업' 항목을 추가 활성화할 경우 백업 정책 중앙 관리 및 Account간 백업 데이터 복사 등 다양한 기능을 사용할 수 있습니다.
2) 위임된 관리자 등록
AWS Organization 계정 > AWS Backup > 내 계정 > 설정 > 위임된 관리자 > 위임된 관리자 등록에서 위임된 관리자로 지정할 계정을 등록합니다.
위임된 관리자로 등록된 멤버 계정에서는 대부분의 AWS Backup 관리 작업을 수행할 수 있으며, 자세한 내용은 아래 그림 및 다음의 공식 문서를 확인하시길 바랍니다.
[자료 출처]
- Managing AWS Backup resources across multiple AWS accounts :
https://docs.aws.amazon.com/ko_kr/aws-backup/latest/devguide/manage-cross-account.html
이후 위임된 관리자 계정에서 백업 서비스 사용을 위한 권한 그룹으로 접속하여
AWS Backup > 내 조직 > 교차 계정 모니터링으로 이동하게 되면 다음과 같이 백업 작업, 복원 작업, 작업 복사 이력에 대한 내용을 확인할 수 있습니다.
3. 마무리
지금까지 AWS Backup 서비스를 활용하여 EC2 인스턴스를 백업하고, 교차 계정 모니터링 기능을 적용함으로써 각 AWS Account의 백업 수행 내역을 중앙에서 통합적으로 모니터링할 수 있도록 구성해 보았습니다.
물론, 기능의 다양성이나 운영 편의성 측면에서 기존의 상용 백업 솔루션을 완전히 대체하기에는 다소 한계가 있습니다. 그러나 AWS Backup은 비교적 간단한 설정만으로 AWS 리소스에 대한 백업 구성이 가능하며, 저장소 비용을 제외하면 별도의 이용료 없이 사용할 수 있고, 백업 데이터 소산을 위해 온프레미스 환경으로 데이터 전송이 필요 없다는 장점이 있습니다.
따라서 AWS 환경 내에서 백업을 고려하는 경우, 충분히 검토해 볼 만한 서비스라 판단됩니다.
감사합니다.
'Tech' 카테고리의 다른 글
| 프롬프팅 대신 프로그래밍 - DSPy를 활용한 프롬프트 자동 최적화 (2) | 2025.05.02 |
|---|---|
| LLM을 이용한 여행 컨시어지 만들기 (0) | 2025.03.10 |
| AI 아이콘에 생명을 불어넣다_케이뱅크 아이콘 AI 연습기 2편 (0) | 2024.12.23 |
| 아이콘이 아이콘을 낳는다?_케이뱅크 아이콘 AI 연습기 1편 (2) | 2024.12.20 |
| aws re:Invent 2024 참가자를 위한 (뒤늦은) 2023 참관기/팁 방출 (20) | 2024.10.08 |