AI 13

Gensim Functions

Gensim Functions corpora.dictionary 단어 id 매핑 구성 이 모듈은 단어와 정수 ID 간의 사전 개념을 구현한다. gensim.corpora.dictionary.Dictionary 주요 인스턴스 속성 token2id(토큰) : self[word] / Type : dict of (str, int) 토큰 -> token_idtoken2id {'computer': 0, 'human': 1, 'interface': 2, 'response': 3, 'survey': 4, 'system': 5, 'time': 6, 'user': 7, 'eps': 8, &#39..

AI 2022.09.04

Gensim 사용법[정리]

How to use Gensim Document : 일부 텍스트 텍스트 시퀀스 유형의 객체 (뉴스기사, 책 등) 문장 document="Human machine interface for lab abc computer applications" Corpus : 문서 모음 1의 모음이 Corpus 말뭉치이다. text_corpus=["Human machine interface for lab abc computer applications","A survey of user opinion of computer system response time","The EPS user interface management system","System and human system engineering testing of EPS..

AI 2022.09.04

Gensim 활용 LDA 모델 학습

이번에 학교에서 LDA 모형을 개선하여 토픽 모델링 하는 사업을 맡게 되었다. 데이터는 Visual Genome 사이트의 img, json 파일들을 이용하였고, 기존에 전처리 되어있는 파일에서 뽑아 Gensim에 LDA 모형을 돌려보기로 했다. LDA란? LDA란 주어진 문서에 대하여 각 문서에 어떤 주제들이 존재하는지에 대한 확률모형입니다. LDA는 토픽별 단어의 분포, 문서별 토픽의 분포를 모두 추정해 냅니다. DataSet https://visualgenome.org/api/v0/api_home.html Visual Genome API visualgenome.org - 이미지 파일이 2개의 폴더로 나누어져서 1개의 폴더로 옮겨 담는 작업을 python 코드로 진행 import os import sh..

AI 2022.08.04

Yolov5 Window Environment

현재 yolov6 yolov7도 나오고 있지만 여전히 yolov5가 가장 많은 사용자를 보유하고 있으며 CNN 은 대부분 yolov5에서 작업을 하고 있어 yolov5 세팅을 포스팅해볼까 한다. 또한, 작업을 한 컴퓨터에서 주로 하지 않아 매번 세팅할 때 마다 오류가 생겨서 이번 포스팅을 하며 다신 세팅 실수를 하지 않기 위함도 있다. yolov5에 필요한 환경 설정 먼저, Yolov5를 설치하기 위한 세팅을 해야한다. 윈도우나 리눅스 둘 다 비슷한 세팅 환경을 썼다. Cuda 11.x -> Cuda 11.3을 썼다. cudnn 8.2.2 Anaconda 최신 버전 python 3.7x => python 3.10.6 pytorch cuda 버전에 맞게 공식 홈페이지를 보며 세팅 주의사항 : 리눅스의 경우..

AI 2022.08.04

DarkLabel 사용법 ( 이미지, 동영상 라벨링 )

https://github.com/darkpgmr/DarkLabel GitHub - darkpgmr/DarkLabel: Video/Image Labeling and Annotation Tool Video/Image Labeling and Annotation Tool. Contribute to darkpgmr/DarkLabel development by creating an account on GitHub. github.com 해당 사이트에서 darklabel.zip 파일을 다운 받는다. Windows 기준 : 해당 파일 중 exe 실행 파일을 이용하여 darklabel을 실행한다. Mac, Linux : 따로 와인을 받아 exe 파일을 실행할 수 있는 환경을 만들어 darklabel.exe 파일을 실행한..

AI/DarkLabel 2022.05.16

Yolov4와 Yolov4_tiny 비교

모델 구성의 문제이다. 사용자 정의 Yolo 모델을 구성하기 위해 중간 구성을 실험할 수 있다. 이렇게 하려면 cfg폴더를 살펴보고 네트워크 아키텍처 및 계층을 변경한다. 고려해야할 점은 개체 모양이 coco data set와 크게 다른 경우 사용자 지정 앵커 상자를 구현하는 것이다. 기존 yolov4 명령 (이미지) ./darknet detect cfg/yolov4.cfg yolov4.weights data/dog.jpg yolo에서 기본적으로 저장되어 있는 dog.jpg 파일을 이용하여 정확도 예측 yolov4_tiny 명령 (이미지) ./darknet detect cfg/yolov4-tiny.cfg yolov4-tiny.weights data/dog.jpg yolo를 초기에 설치했을 때 cfg파일안..

AI/Jetson Xavier NX 2022.03.08

Jetson Xavier NX 에서 yolo 이용 웹 캠

https://medium.com/@thundo/yolov4-on-jetson-nano-672c1d38aed2 YOLOv4 on Jetson Nano Object detection on the “edge” medium.com yolo에서 csi camera(웹캠) 이용하여 학습 ./darknet detector demo cfg/coco.data cfg/yolov4.cfg yolov4.weights "nvarguscamerasrc ! video/x-raw(memory:NVMM),width=1280, height=720, framerate=30/1, format=NV12 ! nvvidconv flip_method=0 ! video/x-raw, format=BGRx, width=640, height=480 !..

AI/Jetson Xavier NX 2022.03.08

jetson Xavier NX 에서 IMX-219(CSI-Camera) 이용

IMX-219는 기본적으로 jetpack에 driver가 들어있기 때문에 따로 driver를 설치 할 필요가 없다. Camera Test (IMX-219) jetson I/O를 실행 sudo /opt/nvidia/jetson-io/jetson-io.py http://jetsonhacks.com/2020/05/04/spi-on-jetson-using-jetson-io/ SPI on Jetson – Using Jetson-IO - JetsonHacks Remember when you had to jump through all sorts of hoops to get your NVIDIA Jetson NVIDIA Kit to be able to understand Serial Protocol Interface ..

AI/Jetson Xavier NX 2022.03.08

jetson Xavier NX 에서 PP-Yolo 개발환경 만들기 (진행중)

PP-Yolo 요구사항 OS 64비트 운영 체제 Python2 >= 2.7.16 또는 Python 3(3.5.1+/3.6/3.7), 64비트 버전 pip/pip3(9.0.1+), 64비트 Cuda >= 9.0 cuDNN >= 7.6 기존에 세팅했던 것과 요구사항이 잘 맞아 설치를 해보기로 했다. http://appsilon.com/pp-yolo-object-detection/ PP-YOLO Object Detection Algorithm: Why It's Faster than YOLOv4 [2021 UPDATED] - Appsilon | Enterprise R Shiny Dashboards [2021 Updated] Find out what PP-YOLO is, why it's an improvement..

AI/Jetson Xavier NX 2022.02.22

Tensorflow 공부 (2차)

Many x Instance Matrix의 장점인 인스턴스의 수대로 Matrix를 주고, W는 변함이 없다. 그 이후 Matrix 곱을 하면 이전의 Multi-variable처럼 많은 수가 그대로 연산된다. 그래서 전체를 긴 Matrix에 instance의 수만큼 넣어 계산할 수 있다. 위 그림처럼 3이 같아야 하고, 3 두 개를 지워버리면 5,1을 구할 수 있다. 개발자는 W의 크기를 결정해야한다. variable인 3을 가져오고, 1을 도출하기 때문에 [3,1]이 W가 된다. Hypothesis using matrix Hypothesis using matrix (n output) 정리 Lecture에서 다룰 때 : H(x) = Wx + b 실제로 구현 할 때 : H(X) = XW 사실 수학적 의미는 ..

AI 2022.02.22