기업의 IT 플랫폼과 인프라 전환과 관련하여 '토토사이트 크롤링 레이크(Data Lake)' 추진 전략이 있다. 토토사이트 크롤링 레이크란 무엇이며 어떤 장점이 있는지 살펴보고자 한다. 토토사이트 크롤링 레이크 전환과 관련하여 아마존의 CTO인 버너 보겔스(Werner Vogels)가 실리콘앵글에 기고한 내용이 있어 소개하다.
아마존의 규모에서는 단위당 비용과 같은 지표의 계산 오류나 토토사이트 크롤링 지연은 수백만 달러 규모의 영향을 미칠 수 있다. 아마존의 글로벌 재무운영팀은 더 정확한 토토사이트 크롤링를 더 빨리 얻기 위해 끊임없이 방법을 찾고 있었다. 2019년에 그들은 아이디어를 냈다. 세계에서 가장 큰 물류 네트워크 중 하나를 지원할 수 있는 토토사이트 크롤링 레이크를 구축하기로 했다. 이것은 나중에 내부적으로 갤럭시(Galaxy) 토토사이트 크롤링 레이크로 알려진다. Galaxy 토토사이트 크롤링 레이크는 2019년에 구축되어 이후 다양한 팀이 토토사이트 크롤링를 이곳으로 이동시키는 작업을 진행했다.
토토사이트 크롤링 레이크는 중앙집중식 안전한 저장소로 구조화된 토토사이트 크롤링와 비구조화된 토토사이트 크롤링를 모두 어떤 규모로든 저장, 관리, 발견, 공유할 수 있다. 토토사이트 크롤링 레이크는 미리 정의된 스키마를 필요로 하지 않으므로 미래에 탐색할 통찰력을 미리 알 필요 없이 원시 토토사이트 크롤링를 처리할 수 있다.
토토사이트 크롤링 레이크의 주요 구성요소
아마존이 빅토토사이트 크롤링 상황에서 직면한 도전 과제는 많은 다른 회사들이 직면한 문제와 비슷하다. 토토사이트 크롤링 사일로, 다양한 토토사이트 크롤링셋 분석의 어려움, 토토사이트 크롤링 관리권한, 토토사이트 크롤링 보안, 머신 러닝 통합 등의 문제를 해결해야 한다.
토토사이트 크롤링 사일로 해체
기업들이 토토사이트 크롤링 레이크를 구축하는 주요 이유 중 하나는 토토사이트 크롤링 사일로(data silos)를 해체하기 위해서다. 토토사이트 크롤링가 다른 장소에 저장되어 다양한 그룹에 의해 관리되면 토토사이트 크롤링가 본질적으로 불투명해진다. 이는 기업이 빠르게 성장하거나 새로운 사업을 인수했을 때 자주 발생한다. 당시 아마존은 두 가지 경우를 모두 해결해야했다.
해외로 사업을 확장하고 새로운 배송 프로그램(예: 무료 당일 배송, 아마존 프레시)을 빠르게 실행하기 각 운영계획팀은 자체 토토사이트 크롤링와 기술을 관리했다. 그 결과 각 서비스 관련 토토사이트 크롤링가 서로 다른 위치에 서로 다른 방식으로 저장되었다. 이런 접근 방식은 각 팀이 개별 문제를 해결하고 고객의 요구에 빠르게 대응하며 서비스를 개선할 수는 있다. 하지만 회사 전체 수준에서 서비스 토토사이트 크롤링를 이해하기는 더 어렵다.
다양한 서비스 과정에서 수동으로 토토사이트 크롤링를 수집해야 하기 때문이다. 많은 팀이 독립적으로 운영되기 때문에 함께 문제를 해결함으로써 얻을 수 있는 효율성을 가지기 어렵다. 모든 사람이 다양한 토토사이트 크롤링 저장소에 액세스할 수 있는 것은 아니기 때문에 전체 토토사이트 크롤링에서 필요한 세부 정보를 얻기가 어렵다.
소규모 쿼리의 경우 스프레드시트로 토토사이트 크롤링의 일부를 공유할 수 있지만 토토사이트 크롤링가 스프레드시트의 용량을 초과할 때 문제가 발생한다. 사업 규모가 커지만 자주 발생하는 문제다. 어떤 경우에는 토토사이트 크롤링의 상위 수준 요약본을 공유할 수 있지만 이때도 전체 상황을 파악하기는 어렵다.
토토사이트 크롤링 레이크는 모든 토토사이트 크롤링를 하나의 중앙저장소로 통합하여 이 문제를 해결한다. 각 팀은 계속해서 민첩한 단위로 사업 실행을 할 수 있으며 모든 토토사이트 크롤링는 분석을 위해 토토사이트 크롤링 레이크로 다시 연결된다. 토토사이트 크롤링 레이크를 구축하면 더 이상 토토사이트 크롤링 사일로 문제는 없다.
다양한 토토사이트 크롤링 분석
서로 다른 시스템과 접근 방식을 사용할 때의 또 다른 문제는 토토사이트 크롤링 구조와 정보가 다양하다는 것이다. 아마존 프라임(Amazon Prime)에는 주문처리센터와 포장 상품에 대한 토토사이트 크롤링가 있고 아마존 프레시(Amazon Fresh)에는 식료품점과 식품에 대한 토토사이트 크롤링가 있다. 배송 프로그램도 국제적으로 다른 경우가 많다. 국가마다 상자 크기와 모양이 다른 경우가 있다.
주문처리센터 기계의 센서인 '사물 인터넷' 장치에서 생성되는 비정형 데이터의 양이 증가하고 있다. 시스템마다 동일한 유형의 정보가 있지만 레이블이 다르게 지정되어 있을 수 있다. 유럽에서는 "단위당 비용"이라는 용어를 사용하지만 북미에서는 "패키지당 비용"이라는 용어를 사용한다. 두 용어의 날짜 형식은 서로 다르다.
이 경우 토토사이트 크롤링를 분석하는 사람들이 같은 정보를 다루고 있다는 것을 알 수 있도록 두 레이블 사이에 연결 고리를 만들어야 한다. 토토사이트 크롤링 레이크가 없는 기존 토토사이트 크롤링 웨어하우스에서 이 모든 토토사이트 크롤링를 결합하려면 여러 번의 토토사이트 크롤링 준비와 내보내기, 변환, 로드 (ETL: Extract, Transform, Load) 작업이 필요하다. 무엇을 유지하고 무엇을 버릴 것인지에 대한 절충안을 찾아야 한다. 경직된 시스템의 구조를 계속 변경해야 한다.
토토사이트 크롤링 레이크에서는 미리 정의된 스키마가 없기 때문에 어떤 형식의 토토사이트 크롤링든 원하는 만큼 가져올 수 있다. 실시간으로 토토사이트 크롤링를 수집할 수도 있다. 여러 소스에서 토토사이트 크롤링를 수집하여 원래 형식 그대로 토토사이트 크롤링 레이크로 옮길 수 있다. 레이블은 다르지만 같은 것을 나타내는 정보 간에 링크를 구축할 수도 있다. 모든 토토사이트 크롤링를 토토사이트 크롤링 레이크로 옮기면 기존 토토사이트 크롤링 웨어하우스로 할 수 있는 작업도 향상된다. 토토사이트 크롤링 레이크 스토리지에 최대 엑사바이트의 정형, 반정형, 비정형 토토사이트 크롤링를 보관하면서 고도로 구조화되고 자주 액세스하는 토토사이트 크롤링를 토토사이트 크롤링 웨어하우스에 저장할 수 있는 유연성을 확보할 수 있다.
토토사이트 크롤링 권한 관리
토토사이트 크롤링가 너무 여러 곳에 저장되어 있으면 모든 토토사이트 크롤링에 접근하고 분석하기 위한 외부 도구와 연결하기가 어렵다. 아마존의 운영재무 토토사이트 크롤링는 25개 이상의 토토사이트 크롤링베이스에 분산되어 있으며 지역 팀에서 자체 로컬 버전의 토토사이트 크롤링 집합을 만들고 있었다. 이런 상황은 일부 사람들에게 25개 이상의 토토사이트 크롤링에 접근할 수 있도록 권한 증명이 필요하다는 것을 말한다.
대부분의 토토사이트 크롤링베이스는 프로필 변경이나 비밀번호 재설정 등의 작업을 수행하기 위해 접근 권한이 필요하다. 각 토토사이트 크롤링베이스에 대한 감사와 제어를 통해 누구도 부적절한 접근을 하지 못하도록 통제해야 한다.
토토사이트 크롤링 레이크가 있으면 적절한 토토사이트 크롤링를 적절한 사람에게 적시에 제공하기가 더 쉽다. 토토사이트 크롤링가 저장된 모든 위치에 대한 접근을 관리하는 대신 하나의 자격 증명 세트만 구성하면 된다. 토토사이트 크롤링 레이크에는 권한이 부여된 이용자가 특정 자산을 보고, 접근하고, 처리하고, 수정할 수 있는 제어 기능이 있다. 토토사이트 크롤링 레이크는 권한이 없는 이용자가 토토사이트 크롤링 기밀성과 보안을 손상시킬 수 있는 처리를 하지 못하도록 차단한다.
토토사이트 크롤링는 개방형 형식으로 저장되므로 다양한 분석 서비스로 작업하기가 쉽다. 개방형 형식은 토토사이트 크롤링가 아직 존재하지 않는 분석 도구와도 연결될 가능성을 열어준다. 토토사이트 크롤링 과학자, 토토사이트 크롤링 엔지니어, 애플리케이션 개발자, 비즈니스 분석가 등 조직의 다양한 역할이 각자가 선택한 분석 도구와 프레임워크로 토토사이트 크롤링에 액세스할 수 있다. 작은 토토사이트 크롤링를 분석하는 특정 도구에 얽매이지 않고 더 많은 사람들이 토토사이트 크롤링를 쉽게 다양하게 이해할 수 있다.
머신러닝 가속화
토토사이트 크롤링 레이크는 머신러닝과 Ai의 강력한 기반이 된다. 토토사이트 크롤링 레이크는 대규모의 다양한 토토사이트 크롤링 세트에서 잘 작동하기 때문이다. 머신러닝은 기존 토토사이트 크롤링를 학습하는 통계 알고리즘을 사용해 새로운 토토사이트 크롤링에 대한 결정을 내리는데 이를 추론이라고 한다.
학습하는 동안 토토사이트 크롤링의 패턴과 관계를 파악하여 모델을 구축한다. 이 모델을 이용하면 이전에 접해보지 못한 토토사이트 크롤링에 대해 지능적인 의사 결정을 내릴 수 있다. 토토사이트 크롤링가 많을수록 머신러닝 모델을 더 잘 훈련할 수 있으므로 정확도가 향상된다.
전 세계 운영재무팀의 가장 큰 책임 중 하나는 전체 운송 네트워크, 수백 개의 주문 처리 센터, 분류 센터, 배송 스테이션, 홀푸드 매장, 프레시 픽업 지점 등을 포함하는 아마존 공급망의 운영 비용과 자본 지출을 계획하고 예측하는 것이다.
Ai는 "내년에 몇 개의 패키지를 배송할 것인가?", "급여에 얼마를 지출할 것인가?" 같은 매우 중요한 상위 수준의 질문에 답하는데 도움을 준다. "다음 달 플로리다 주 탬파에서 각 사이즈의 상자가 몇 개가 필요한가?"와 같은 매우 구체적인 질문에도 답을 얻을 수 있다.
예측은 정확할수록 좋다. 너무 낮게 또는 너무 높게 예측하면 고객과 수익에 부정적인 영향을 미칠 수 있다. 아마존에서 수요를 너무 낮게 예측하면 주문처리 센터의 창고 직원이 충분한 물품을 보유하지 못하거나 배송 차량이 부족하여 배송이 지연되고 고객 서비스에 대한 문의 전화가 증가하며 주문이 취소되고 고객 신뢰를 잃게 될 수 있다. 너무 높게 예측하면 재고와 상자가 창고에서 값비싼 공간을 차지하고 있을 수 있다. 이러한 상황은 수요가 많은 제품을 위한 공간이 줄어든다는 것을 의미한다.
아마존 같은 큰 조직에서는 미래를 예측하는데 많은 시간과 노력을 투입한다. 머신러닝을 활용하여 예측을 개선할 수 있다. 아마존 운영재무팀은 머신러닝을 활용한 예측 테스트를 진행했다. 기존의 수동 프로세스와 머신러닝을 이용하여 매우 정확한 예측을 제공하는 관리서비스인 아마존 포어캐스트(Amazon Forecast)를 비교했다.
이 테스트 실행에서 포어캐스트 예측은 수동 프로세스 예측보다 평균 67% 더 정확했다. 모든 토토사이트 크롤링를 토토사이트 크롤링 레이크로 이동함으로써 아마존의 운영재무팀은 토토사이트 크롤링 세트를 결합하여 더 정확한 모델을 학습하고 배포할 수 있었다. 더 많은 관련 토토사이트 크롤링로 머신러닝 모델을 학습시키면 예측의 정확도가 높아진다. 이 작업을 수동으로 수행하던 직원들이 머신러닝을 활용하여 예측을 분석하고 현장의 운영 개선을 추진하는 등 보다 전략적인 프로젝트에 집중할 수 있게 되었다.
"카카오톡 오픈채팅에 참여하시면 최신 소식과 자료를 받아보실 수 있습니다. (참여하기)"brian@trendw.kr