최신 뉴스

전체 뉴스

가장 최근에 발행된 뉴스부터 확인하세요.

주제별로 좁혀보기
일반 기사
AI 심화

The Inference Engineering Pareto Atlas: Which Optimizations Dominate the Cost, Quality, and Latency Frontier?

전체 요약

연구원들은 대형 언어 모델의 추론 최적화 방법을 분석하여 가장 효과적인 설정을 찾았습니다. Qwen2.5-7B-Instruct를 다양한 하드웨어와 조건에서 실험한 결과, 18개의 설정이 최적화 선에 도달했습니다. 이 연구는 AI 모델의 성능과 속도를 균형있게 높이는 방법을 알려줍니다.

핵심 보기
원문 보기
AI 심화

When to Call an LLM: A Confidence-Gated Hybrid for Cost-Effective Emotion Recognition in Conversational AI

전체 요약

이 기사는 대화 맥락 내에서 감정 인식(ERC)의 세 가지 방법을 비교하고, 가장 효과적인 방법을 제안합니다. 저작자는 저렴한 스택 엑스포네스와 오프더셰일 LLM 프롬프팅 사이에 신뢰도 기반 혼합 모델을 도입하여 비용 효율성을 높였습니다. 이 혼합 모델은 IEMOCAP 데이터셋에서 0.595의 F1 점수를 얻었으며, GPT-4o-mini와 같은 LLM만 사용한 경우보다 훨씬 낮은 비용과 초저지연으로 성능을 높였습니다. 이 혼합 모델은 대화 맥락 내에서 감정 변화를 효과적으로 감지하고 처리할 수 있어, 대량의 음성 데이터를 저렴한 방법으로 분석할 수 있게 해줍니다.

핵심 보기
원문 보기
AI 심화

NeMo Data Designer: An Extensible Framework for Multimodal Synthetic Data Generation

전체 요약

NeMo Data Designer는 오픈소스로 공개된 데이터 생성 프레임워크입니다. 다양한 유형의 데이터를 쉽게 만들 수 있게 도와줍니다. 사용자는 각 열을 정의하고, 프레임워크는 필요한 데이터를 생성합니다. 새로운 기능을 추가하기도 쉽습니다. 이 프레임워크는 실제 업무에서 잘 작동하는지 여러 사례를 통해 검증되었습니다.

핵심 보기
원문 보기
AI 심화

I built a native Vulkan training backend for 143 modern Transformer architectures — no CUDA or PyTorch required

전체 요약

저는 Hierarchos 아키텍처의 훈련 백엔드로 시작했지만, 이를 더 넓은 프로젝트로 발전시켰습니다. 이 프로젝트는 Rust와 Vulkan을 사용한 143개의 Transformer 아키텍처에서의 훈련과 추론을 지원합니다. CUDA나 PyTorch를 필요로 하지 않으며, Vulkan을 기반으로 한 ML 훈련 스택이 가능해질 수 있는 방향성을 제시하고 있습니다. 그러나 아직 모든 모델 유형과 구성 요소가 검증되지 않았습니다. 이 프로젝트는 다양한 GPU와 호환성을 확보하기 위해 더 많은 테스트가 필요합니다.

핵심 보기
원문 보기
AI 입문

메타, 자체 AI 칩 본격 배치...비용·전력 절감 속도

전체 요약

메타가 자체 AI 칩을 제작하여 데이터센터에 배치하며 비용과 전력 소비를 줄이려고 한다. 3세대 칩 MTIA 450은 내년 상반기부터 사용되고, 4세대 칩 MTIA 500은 2027년까지 공급될 예정이다. 이는 AI 기술 발전의 큰 흐름 중 하나로, 메타가 자체적인 기술을 개발해 비용 절감에 나섰다.

핵심 보기
원문 보기
AI 활용

구글, 말하며 생각하는 '제미나이 3.8 라이브' 공개..."음성 품질 1위"

전체 요약

구글은 음성 대화 중에도 추론과 복잡한 작업을 수행하면서도 대화 흐름을 유지할 수 있는 새로운 음성 AI 모델 ‘제미나이 3.8 라이브’와 ‘제미나이 3.8 라이브 익스텐디드 싱킹’을 공개했다. 이 두 모델은 실시간 추론 기능을 강화하여 대화 중에도 다양한 작업을 수행할 수 있게 했다. 원문에 구체적 데이터 미제시

핵심 보기
원문 보기