[Hello, AI🤖] "텍스트에서 비디오로의 발전: LiFT 방법론의 제안"

2024/12/10 화요일

반가워요. 구독자 님🫡

꽤나 수 개월 전에 설문조사를 진행 하였는데요. 그 설문 조사에서 AI 뉴스를 받아보고 싶다고 응해주셔서, 초안을 공유드려 보아요.

총 아래의 2개의 주제로 준비를 했어요. 제가 수집할 수 있는 매체가 한정적이라 이정도이긴 한데요. 혹여나 더 보고 싶은 항목이 있다면 편히 말씀 주세요.

AI 뉴스레터 항목

영문 뉴스 모아보기
인기 논문 톺아보기

또한 정식 도입하기 까지 의견을 주신다면 면밀히 검토하여 잘 반영해볼 수 있도록 하겠습니다. 😀

구독자님의 생각을 듣고 싶어요.

🗞️ 영문 뉴스 모아보기

AI

인공지능 일반화 테스트, 해결에 가까워졌지만 설계 결함이 드러나다

인공지능 일반화 테스트인 ARC-AGI가 해결에 가까워졌다는 보고가 있으나, 이로 인해 테스트 설계의 결함이 드러났습니다.
ARC-AGI는 AI가 훈련된 데이터를 넘어 새로운 기술을 습득할 수 있는지를 평가하는 기준으로, 이는 AI 연구의 중요한 발전을 의미합니다.
그러나 이러한 발견은 테스트의 신뢰성과 유용성에 대한 재검토를 요구하며, AI 시스템이 진정으로 일반화를 이루기 위한 기준을 다시 설정해야 할 필요성을 강조합니다.

A test for AGI is closer to being solved — but it may be flawed | T...

A test for AGI, ARC-AGI, is closer to being solved — but the test may be flawed, its creators, including notable AI figure Francois Choll...

techcrunch.com

AI

OpenAI의 새로운 비디오 생성기 Sora, 텍스트를 비디오로 변환하는 혁신

OpenAI의 비디오 생성기 Sora는 사용자가 텍스트를 입력하면 자동으로 비디오 클립을 생성하는 혁신적인 도구입니다.
Sora Turbo는 짧은 클립을 생성할 수 있는 기능을 제공하며, 이는 콘텐츠 제작자와 개발자에게 새로운 창작의 기회를 제공합니다.
이러한 기술의 발전은 비디오 제작의 접근성을 높이고, 창의적인 작업을 지원하는 데 기여할 것입니다.

Here's how OpenAI's fresh new Sora interface looks | TechCrunch

OpenAI‘s video generator is here. ChatGPT subscribers can use Sora to generate videos from text, bring images to life, and extend, remix,...

techcrunch.com

AI

아마존, AI 에이전트 연구개발을 위한 AGI SF Lab 설립

아마존은 샌프란시스코에 위치한 AGI SF Lab을 통해 AI 에이전트의 기초적인 기능을 개발하고자 합니다.
이 연구개발 실험실은 AI 스타트업 Adept의 공동 창립자인 데이비드 루안이 이끌며, 디지털 및 물리적 세계에서 행동을 수행할 수 있는 에이전트를 목표로 하고 있습니다.
이는 복잡한 작업 흐름을 처리할 수 있는 능력을 갖춘 AI의 발전을 의미하며, 아마존의 기존 AGI 연구와 연계하여 진행됩니다.

Amazon forms a new AI agent-focused lab led by Adept co-founder | T...

Amazon says that it's establishing a new R&D lab in San Francisco, the Amazon AGI SF Lab, to focus on building AI agents.

stranger.im

AI

X의 새로운 이미지 생성기 'Aurora', 사용자들에게 곧 공개 예정

X는 최근 AI 기반의 이미지 생성기 Aurora를 공식 발표하였습니다.
이 기술은 방대한 인터넷 데이터를 학습하여 포토리얼리스틱 렌더링을 수행하며, 사용자가 제공하는 텍스트 지시사항에 따라 이미지를 생성할 수 있는 기능을 지원합니다.
Aurora의 등장은 콘텐츠 제작 및 디자인 분야에 혁신적인 변화를 가져올 것으로 기대되며, 개발자들에게는 사용자 맞춤형 솔루션 개발의 기회를 제공합니다.

X says its new image generator, Aurora, will launch for all users w...

X, the Elon Musk-owned social network previously known as Twitter, quietly added a new image generator to its Grok assistant this past Sa...

stranger.im

AI

중국, 엔비디아의 멜라녹스 인수에 대한 반독점 조사 개시

중국의 시장 규제 기관이 엔비디아의 멜라녹스 인수 건에 대해 반독점 조사를 개시하였습니다.
이는 엔비디아가 2019년에 약 70억 달러를 투자하여 멜라녹스를 인수한 이후 발생한 일로, 엔비디아의 시장 지배력과 경쟁 환경에 미치는 영향을 우려하는 것으로 해석됩니다.
개발자들은 이러한 조사가 향후 기술 기업의 인수합병 전략에 미칠 영향을 고려할 필요가 있습니다.

China opens antitrust probe into Nvidia | TechCrunch

When it comes to market capitalization, Nvidia is currently the second-biggest public company in the world, behind Apple. That’s why all ...

techcrunch.com

📑 인기 논문 톺아보기

InternVL 2.5: 고급 다중 모달 대형 언어 모델의 발전

InternVL 2.5는 기존 모델의 구조를 유지하면서 훈련 및 테스트 전략에서 중요한 개선을 도입하였습니다.
모델 스케일링과 성능 간의 관계를 체계적으로 탐구하여 다양한 성능 경향을 분석합니다.
이 연구는 비전 인코더, 언어 모델, 데이터셋 크기 및 테스트 시 구성의 상관관계를 다룹니다.

Expanding Performance Boundaries of Open-Source Multimodal Models w...

We introduce InternVL 2.5, an advanced multimodal large language model (MLLM) series that builds upon InternVL 2.0, maintaining its core ...

stranger.im

텍스트에서 비디오로의 발전: LiFT 방법론의 제안

최근 텍스트-비디오(T2V) 생성 모델들은 인상적인 성능을 보여주고 있지만, 인간의 선호에 맞춘 비디오 생성에는 여전히 어려움이 존재합니다.
이 논문에서는 이러한 문제를 해결하기 위해 LiFT라는 새로운 미세 조정 방법을 제안하며, 이는 인간 피드백을 활용하여 T2V 모델을 정렬하는 데 초점을 맞추고 있습니다.
이 접근법은 주관적인 인간의 선호를 보다 객관적으로 반영할 수 있는 가능성을 가지고 있습니다.

LiFT: Leveraging Human Feedback for Text-to-Video Model Alignment

Recent advancements in text-to-video (T2V) generative models have shown impressive capabilities. However, these models are still inadequa...

stranger.im

오픈소스 멀티모달 대형 언어 모델의 발전과 한계

오픈소스 멀티모달 대형 언어 모델은 다양한 작업에서의 가능성을 보여주고 있습니다.
하지만, 기존의 instruction-tuning 데이터셋이 단순한 질문 응답에 한정되어 있어 이들의 추론 능력을 제한하고 있습니다.
본 논문에서는 이러한 한계를 극복하기 위한 새로운 접근 방식을 제안하며, 이는 멀티모달 작업의 효과성을 향상시키는 데 기여할 것으로 기대됩니다.

MAmmoTH-VL: Eliciting Multimodal Reasoning with Instruction Tuning ...

Open-source multimodal large language models (MLLMs) have shown significant potential in a broad range of multimodal tasks. However, thei...

stranger.im

EXAONE 3.5: LG AI Research의 혁신적 언어 모델 소개

EXAONE 3.5 언어 모델은 LG AI Research에서 개발한 최신 기술로, 세 가지 크기(32B, 7.8B, 2.4B)로 제공됩니다.
실제 환경에서의 명령 수행 능력과 장기 문맥 이해에서 두각을 나타냅니다.
이 모델은 다양한 산업 분야에서의 자연어 처리(NLP) 응용 가능성을 높이며, 특히 인공지능 기반의 서비스 품질 향상에 기여할 것으로 기대됩니다.

EXAONE 3.5: Series of Large Language Models for Real-world Use Cases

This technical report introduces the EXAONE 3.5 instruction-tuned language models, developed and released by LG AI Research. The EXAONE 3...

stranger.im

메모리 효율적인 옵티마이저의 필요성과 도전 과제

대형 언어 모델의 훈련 과정에서 AdamW 옵티마이저가 요구하는 메모리 부담은 높은 성능의 GPU 사용이나 배치 크기 축소를 필수로 하여 훈련의 확장성을 제한합니다.
이에 대한 해결책으로 메모리 효율적인 옵티마이저가 개발되고 있지만, 이들은 고비용의 SVD 연산에 의존하거나 Adam에 비해 성능 저하를 초래하는 등의 중요한 도전 과제에 직면해 있습니다.
이러한 문제를 해결하는 것은 기술 산업에서 LLM의 활용 가능성을 높이는 데 중요한 요소입니다.

APOLLO: SGD-like Memory, AdamW-level Performance

Large language models (LLMs) are notoriously memory-intensive during training, particularly with the popular AdamW optimizer. This memory...

stranger.im