📰 "Notion의 데이터 레이크 구축 및 확장" 外 (2024/07/15)

2024/07/15 월요일

반가워요. 구독자 님!🫡

구독자 님이 잠든 사이에 있었던 핫 한 이슈들을 모아보았는데요. 어떤 일들이 있었는지 보기 좋게 정리해서 공유드립니다.

📰 IT뉴스 모아보기 (국내)

AI 역량 평가 시험 'AICE', 대학가에서 인기

AI 활용 역량을 평가하는 'AICE' 시험이 국내 대학가에서 인기를 얻고 있습니다. 안동대를 시작으로 연세대, 인천대, 계명대 등 다수의 대학에서 AICE를 도입하여 학생들의 AI 역량 강화와 취업 경쟁력 향상을 도모하고 있습니다. 특히 안동대는 지역 산업과 AI 기술 연계를 목표로, AICE 교육을 통해 농산업, 바이오·백신, 문화·관광 산업 분야의 AI 인재 양성에 집중하고 있습니다. 간호학, 건축학 등 다양한 전공 학생들이 AICE 교육을 통해 딥러닝 연구, 데이터 분석 등 AI 기술을 활용한 학문 탐구와 취업 준비에 적극적으로 활용하고 있으며, 이는 학생들의 학문적 성장과 미래 경쟁력 강화에 기여할 것으로 예상됩니다.

알리바바, 쉬인 공세에 맞서는 한국 유통의 미래

본 기사는 중국 알리바바, 쉬인 등의 공세가 한국 유통 시장에 미치는 영향과 이에 대한 대응 방안을 제시합니다. 1990년대 까르푸, 월마트 진출 사례를 언급하며 한국 유통 시장의 잠재력과 경쟁력을 강조하며, 현재 상황에 맞는 새로운 전략을 제시합니다. 먼저 시대에 뒤떨어진 규제, 특히 유통산업발전법의 개정을 통해 유통 시장의 유연성을 확보해야 한다고 주장합니다. 

스마트 기술과 친환경 설계로 무장한 '강동 헤리티지 자이'

GS건설의 '강동 헤리티지 자이'는 서울 강동구 길동에 위치한 재건축 아파트로, 뛰어난 주거 환경, 편리한 교통, 우수한 교육 환경을 기반으로 제28회 매경 살기좋은 아파트 선발대회에서 대상을 수상했습니다. 특히, 스마트홈 시스템, 시스클라인 공기청정 시스템 등 첨단 기술을 도입하여 입주민에게 편리하고 안전한 주거 환경을 제공하며, 자이앱 솔루션을 통해 스마트폰으로 전등, 난방 등을 제어할 수 있어 편의성을 더욱 높였습니다. 

AT&T, 또 해킹 당했다! 1억900만명 고객 데이터 유출

미국의 주요 통신업체 AT&T가 또 다시 대규모 해킹 공격을 당했습니다. 이번에는 고객 데이터를 보관하는 클라우드 플랫폼이 해커의 공격을 받아 1억900만명의 고객 통신 기록 6개월 치가 유출되었다고 해요. 다행히 통화 내용이나 신상 정보는 유출되지 않았지만, 이번 사건은 클라우드 환경의 보안 취약점을 여실히 드러냈습니다. AT&T는 FBI와 협력하여 조사를 진행하고 있으며, 용의자를 최소 1명 체포했다고 밝혔습니다. 이번 사건은 기업의 데이터 보안에 대한 중요성을 다시 한번 강조하며, 클라우드 환경에서의 데이터 보호 및 관리 시스템 강화 필요성을 시사해요.

리딩방 사기의 진화: 암시장 거래되는 피해자 정보와 새로운 스캠 전략

본 기사는 리딩방 사기의 심각성을 다루며, 암시장에서 거래되는 피해자 정보와 새로운 스캠 전략을 상세히 분석합니다. 리딩방 사기꾼들은 피해자 정보를 암시장에서 판매하여 추가적인 사기를 저지르고 있으며, 이러한 정보는 크리덴셜 스터핑을 통해 다양한 SNS 계정 해킹에 사용됩니다. 특히, 페이스북, 인스타그램 등에서 낯선 사람이 접근하는 경우 주의가 필요합니다. 또한, 사설 HTS를 이용한 가짜 수익 창출, 몸캠 피싱을 통한 협박 등 다양한 스캠 기법이 등장하고 있으며, 정부는 투자 리딩방 사기 피해 증가에 따라 합동 수사를 확대할 예정입니다.

📰 IT뉴스 모아보기 (해외)

🧠 Dev & Biz 인사이트 훑어보기

Notion의 데이터 레이크 구축 및 확장

Notion은 3년 만에 사용자와 콘텐츠 성장으로 인해 데이터가 10배 증가했습니다. 이러한 급격한 성장을 관리하고 Notion AI 기능과 같은 중요한 제품 및 분석적 활용 사례에 대한 데이터 수요를 충족하기 위해 Notion은 데이터 레이크를 구축하고 확장해야 했습니다. Notion은 모든 콘텐츠를 '블록'으로 표현하는 Postgres 기반의 확장 가능한 데이터 모델을 사용합니다. 모든 데이터는 일관된 구조, 스키마 및 관련 메타데이터로 Postgres 데이터베이스에 저장되며, 이는 수백 테라바이트 규모의 데이터를 효율적으로 관리합니다. 

Kubernetes Pod Startup 최적화

Checkly는 ECS 기반 대규모 서비스에서 Kubernetes 기반의 Ephemeral Pod로 전환하여 컴퓨팅 비용 절감을 목표로 했습니다. Pod Startup 시간을 최적화하기 위해 Grafana 쿼리를 이용하여 CPU 시간 소모 원인을 정확히 분석했으며, 'require'를 활용한 독특한 방식과 잠재적 반패턴으로 여겨질 수 있는 코딩 방식을 적용하여 300ms의 Startup 시간 단축을 달성했습니다. 이러한 최적화는 전체 컴퓨팅 비용 절감과 더 나아가 체크 실행 효율성 증대에 기여합니다. Checkly의 경험은 Kubernetes 환경에서 Pod Startup 시간 최적화에 대한 실질적인 지침을 제공하며, 개발자들은 이를 통해 더욱 효율적인 시스템 구축을 위한 전략을 수립할 수 있습니다.

빅테크 소프트웨어 개발자를 위한 효과적인 업무 계획 전략

본 글은 빅테크 소프트웨어 개발 환경에서 효과적인 업무 계획 전략을 제시합니다. 저자는 인턴십 경험과 실제 업무 경험의 차이를 통해 얻은 교훈을 바탕으로 계획 수립의 중요성을 강조합니다. 구체적으로, 스프린트 목표를 명확히 설정하고, 일일 로그 기록, 문서 관리 시스템, 학습 자료 저장소, 진행 상황 문서를 활용하는 방법을 제시합니다. 이러한 전략은 개발자들이 장기적인 목표 달성을 위한 체계적인 계획 수립 및 관리를 가능하게 하여, 효율성을 높이고 업무 성과를 극대화하는 데 도움을 줄 수 있습니다.

컴퓨터 속도 추측 퀴즈

본 퀴즈는 다양한 알고리즘에 대한 실행 시간을 추측하는 방식으로, 컴퓨터 성능에 대한 직관력을 향상시키는 것을 목표로 합니다. N의 크기가 증가함에 따라 코드 실행 시간이 기하급수적으로 변하는 것을 경험하며, 알고리즘의 시간 복잡도에 대한 이해를 깊이 할 수 있습니다. 또한, Rust와 Python 코드를 비교하여 언어별 성능 차이를 확인하고, 개발자가 코드 최적화 전략을 수립하는 데 도움이 되는 통찰력을 얻을 수 있습니다. 특히, 코드의 시간 복잡도가 컴퓨터 성능에 미치는 영향을 실질적으로 경험하며, 효율적인 알고리즘 설계의 중요성을 깨달을 수 있습니다.

GraphQL Introspection: 개발자의 편리함 vs. 해커의 무기

GraphQL Introspection은 개발자가 API 구조를 쉽게 이해하고 활용할 수 있도록 돕는 강력한 기능입니다. 하지만 동시에 해커에게 API 구조와 민감한 정보를 노출시킬 수 있는 위험성도 내포하고 있습니다. 해커는 Introspection을 통해 API 스키마를 파악하고, 민감한 정보를 탐색하거나, 취약점을 찾아 공격 벡터를 생성할 수 있습니다. 특히, Schema Reconnaissance를 통해 API 구조를 상세히 분석하고, 민감한 데이터나 공격 가능한 지점을 파악하여 공격을 수행할 수 있습니다. 따라서 GraphQL Introspection 사용 시에는 보안에 대한 철저한 고려가 필수적이며, Introspection 기능을 제한하고, API 인증 및 권한 관리를 강화하는 등 보안 조치를 적용해야 합니다.

👨🏻‍💻 오픈소스 소식지

C 언어를 위한 DEFER 매크로: 코드의 가독성과 유지보수성 향상

DEFER.h는 C 언어에서 'defer' 개념을 구현하는 매크로를 제공하여 코드의 가독성과 유지보수성을 향상시키는 솔루션입니다. DEFER_START, DEFER_END, DEFER 매크로를 통해 특정 코드 블록의 끝에서 실행될 코드를 정의할 수 있습니다. 이는 자원 해제, 닫기 작업, 에러 처리 등과 같은 작업을 코드 블록의 시작 부분에 흩어져 있는 대신 코드 블록의 끝에서 일괄적으로 처리할 수 있도록 합니다. DEFER.h는 jmp_buf 또는 레이블 주소를 사용하여 코드 흐름 제어를 유연하게 관리하며, 스택 기반 방식으로 defer 작업을 관리하여 메모리 누수나 오류를 최소화합니다.

TextMagic: 차세대 텍스트 컴포넌트

TextMagic은 기존의 입력 및 텍스트 영역 컴포넌트의 한계를 뛰어넘어 풍부한 텍스트 효과와 조판 기능을 제공하는 차세대 텍스트 컴포넌트입니다. 모듈화된 디자인을 통해 통합 컴포넌트(@text-magic)와 텍스트 입력(@text-magic/input), 텍스트 조판 및 렌더링(@text-magic/renderer)에 특화된 독립 컴포넌트를 제공하여 개발자가 필요에 따라 선택적으로 사용할 수 있습니다. 

Crawlee: 웹 스크래핑과 브라우저 자동화를 위한 Python 라이브러리

Crawlee는 Python 개발자를 위한 강력한 웹 스크래핑 및 브라우저 자동화 라이브러리로, HTTP 기반 크롤링과 헤드리스 브라우저 기반 크롤링을 모두 지원합니다. 자동 병렬 크롤링, 타입 힌트, 재시도 메커니즘, 프록시 로테이션, 요청 라우팅, 지속적인 URL 큐, 확장 가능한 저장소, 오류 처리 등 다양한 기능을 제공합니다. 특히 Playwright를 기반으로 구축되어 자바스크립트로 렌더링되는 웹 페이지를 효과적으로 스크래핑할 수 있으며, Scrapy보다 더 간결하고 직관적인 인터페이스를 제공합니다. 또한, Apify 플랫폼과 통합되어 클라우드에서 스크래핑 작업을 실행하고 관리할 수 있습니다.

🔗 못 다한 이야기들

이 외에도 다양한 해외 아티클을 보고 싶다면 아래 링크를 참고해주세요!

📣 상시 공지

'유료 멤버십' 권한이 있으면 1주일에 1회씩 발행되는 기술 아티클을 열람할 수 있어요. 물론, 모든 구독자분들에게 뉴스레터는 매일 발송이 된답니다. :)

멤버십 변경하기

Social

 Threads | Instagram | X(Twitter) | Linkedin