[요약] 메타 AI SAM 세그먼트 애니씽 모델 데모 및 설명 오픈 소스 모델 데이터 세트 코드 공개 :: with AI

> English Summary

 

[ 요약 ]

- Meta는 클릭 한 번으로 이미지의 모든 물체를 잘라낼 수 있는 '세그먼트 애니웨어'라는 새로운 AI 모델을 출시했습니다.
- 이 모델은 추가 학습 없이도 낯선 물체와 이미지에 대한 추가 학습 없이 익숙하지 않은 물체와 이미지에 대한 일반화가 가능합니다.
- 이 모델은 사용자가 다양한 이미지에서 세그먼테이션을 사용해 볼 수 있는 데모 페이지와 함께 깃허브에서 다운로드할 수 있습니다.
- 이 모델은 의료 이미지를 포함한 다양한 유형의 이미지에서 물체와 영역을 세분화할 수 있습니다.
- 세분화가 빠르며 브라우저에서 실행할 수 있습니다.
- 기존 이미지, 이미지 인코더, 프롬프트 인코더, 마스크 디코더를 포함하는 모델 아키텍처에 대해 간략하게 설명합니다.
- 이 문서에서는 프롬프트 기반 이미지 분할을 위한 새로운 기법에 대해 설명합니다.
- 기반 이미지 분할을 위한 새로운 기법에 대해 설명합니다.
- PromptSeg는 이미지 인코더와 프롬프트 인코더를 사용하여 주어진 프롬프트를 기반으로 이미지의 세그먼트 마스크를 생성합니다.
- 마스크 디코더는 프롬프트 인코더와 이미지 인코더의 출력을 기반으로 마스크를 생성하며 중첩된 마스크를 처리할 수 있습니다.
- 이 모델은 프롬프트 인코더와 마스크 디코더가 웹 브라우저의 CPU에서 50밀리초 이내에 실행되어 높은 효율성을 달성합니다.
- 프롬프트 세그먼트는 사용자가 텍스트, 상자, 마스크를 포함한 모든 프롬프트에 따라 이미지를 세그먼트할 수 있는 새로운 접근 방식입니다.
- 샷을 프롬프트를 통해 다운스트림 세분화 작업으로 전송하는 사전 학습 알고리즘과 일반적인 방법을 도입했습니다.
- 각 훈련 샘플에 대해 일련의 프롬프트를 시뮬레이션하고, 유효한 마스크를 예측하고, 기준 데이터와 비교하여 모델을 학습시켰습니다.
- 대화형 세분화에서 이 방법을 적용하여 마스크를 예측하도록 네트워크를 훈련시켰습니다.
- 이들은 약 1,100만 개의 라이선스 및 개인정보 보호 이미지에서 수집한 11억 개 이상의 세분화 마스크로 구성된 방대한 데이터 세트를 생성하여 공개했습니다.
- 이미지에서 수집한 1,100만 개 이상의 세그멘테이션 마스크 데이터 세트를 만들었습니다.
- 이 모델은 비디오의 물체 추적, 이미지 편집 애플리케이션의 3D 변환 등 다른 AI 시스템의 입력으로 사용할 수 있는 확장 가능한 출력과 함께 일반에 공개됩니다.
- 메타 AI의 세그먼트 애니웨어 모델은 이미지에서 오브젝트를 세그먼트할 수 있습니다.
- 객체 감지기의 경계 프롬프트를 사용하여 텍스트에서 객체로 세분화할 수 있습니다.
- 인터랙티브 포인트와 박스도 세분화에 사용할 수 있습니다.
- 이 모델은 이미지의 모든 것을 자동으로 분할하고 모호한 프롬프트에 대해 여러 개의 유효한 마스크를 생성할 수 있습니다.
- 코드를 다운로드하여 사용해 볼 수 있으며, 비디오는 코드와 용지에 대한 링크를 제공합니다.

 

반응형

 

 

 

Meta AI SAM Segment Anything Model Demo and Explanation Open Source Model Dataset Code Released

https://www.youtube.com/watch?v=2FoYJhndfi8 

 

 

 

[ Summary ]

- Meta has released a new AI model called "Segment Anywhere" that can cut out any object in an image with a single click.
- The model is capable of generalizing to unfamiliar objects and images without any additional training.
- The model is available for download on GitHub, along with a demo page where users can try out the segmentation on a variety of images.
- The model can segment objects and regions in many types of images, including medical images.
- Segmentation is fast and can be run in the browser.
- This article outlines the model architecture, which includes an existing image, an image encoder, a prompt encoder, and a mask decoder.
- This article describes a new technique for prompt-based image segmentation.
- Describes a new technique for prompt-based image segmentation.
- PromptSeg uses an image encoder and a prompt encoder to generate a segmentation mask of an image based on a given prompt.
- The mask decoder generates a mask based on the output of the prompt encoder and image encoder and can handle nested masks.
- This model achieves high efficiency, with the prompt encoder and mask decoder running in less than 50 milliseconds on the web browser's CPU.
- Prompt segmentation is a new approach that allows users to segment images based on any prompt, including text, boxes, and masks.
- We introduced a pre-training algorithm and a general method for sending shots to a downstream segmentation task via prompts.
- For each training sample, we trained the model by simulating a sequence of prompts, predicting valid masks, and comparing them to ground truth.
- They applied this method in interactive segmentation to train a network to predict masks.
- They generated and made public a massive dataset of more than 1.1 billion segmentation masks collected from approximately 11 million licensed and privacy-protected images.
- They created a dataset of more than 11 million segmentation masks collected from images.
- The model is publicly available with scalable outputs that can be used as input to other AI systems, such as object tracking in video and 3D conversion in image editing applications.
- Meta AI's Segment Anywhere model can segment objects in images.
- It can segment objects from text using boundary prompts in the object detector.
- Interactive points and boxes can also be used for segmentation.
- The model can automatically segment anything in an image and generate multiple valid masks for ambiguous prompts.
- You can download the code to try it out, and the video provides links to the code and paper.

 

 

 

 

 

#Meta AI #AI model #Segment Anything #promptable segmentation #zero-shot generalization #GitHub #demo page #various types of images #medical images #accuracy #model architecture #image encoder #prompt encoder #mask decoder #PromptSeg #off-the-shelf text encoder #nested masks #pre-training algorithm #zero-shot transfer #downstream segmentation tasks #ground truth #massive data set #object tracking #AI systems #object detectors #text to object segmentation #interactive points #multiple valid masks #code #paper #video
#메타 AI #AI 모델 #세그먼트 애니씽 #프롬프트 가능한 세그먼트 #제로샷 일반화 #GitHub #데모 페이지 #다양한 유형의 이미지 #의료 이미지 #정확도 #모델 아키텍처 #이미지 인코더 #프롬프트 인코더 #마스크 디코더 #PromptSeg #오프-더-. 선반 텍스트 인코더 #중첩 마스크 #사전 학습 알고리즘 #제로샷 전송 #다운스트림 분할 작업 #실측 데이터 #대용량 데이터 세트 #물체 추적 #AI 시스템 #물체 검출기 #텍스트-객체 분할 #대화형 포인트 #복수의 유효한 마스크 #코드 #종이 #비디오