허깅페이스

: 트랜스포머 기반의 다양한 모델들과 학습 스크립트를 구현해놓은 일종의 모듈

  -> 자연어 처리, 이미지 생성모델, 컴퓨터 비전모델등 다양한 도구와 라이브러리를 제공함.

  -> 즉, 인공지능에 대한 어떤 배경지식이 많이 없더라도 간단한 파이썬 지식이 있다면 학습 모델들을 쉽게 사용해 볼 수 있는 곳임!

- 구글 코랩 사용

-  기계 학습 모델을 구축, 배포 및 교육하기 위한 도구와 리소스를 개발하는 프랑스계 미국 스타트업 회사이자 오픈 소스 플랫폼

 

 

장점

  • 편리한 사용성: Hugging Face는 다양한 언어 처리 모델과 데이터셋을 제공하고 있습니다. 이들은 PyTorch, Tensor Flow 등의 딥러닝 프레임워크에서 사용할 수 있습니다.
  • 최신 모델 제공: Hugging Face에서는 최신 언어 처리 모델을 빠르게 제공합니다. 대표적으로 BERT, GPT, RoBERTa 등이 있습니다.
  • 커뮤니티: Hugging Face는 커뮤니티를 중요시하며, 다양한 사용자들의 요구에 맞추어 모델을 지속적으로 업데이트하고 있습니다.

 

사용법

Hugging Face를 사용하기 위해서는 transformers 라이브러리를 설치해야 합니다. pip를 이용해서 아래와 같이 설치할 수 있습니다.

pip install transformers


설치가 완료되면, 아래와 같이 간단한 코드를 통해 모델을 사용할 수 있습니다.

from transformers import pipeline

classifier = pipeline('text-classification', model='distilbert-base-uncased-finetuned-sst-2-english')
result = classifier('I love using Hugging Face!')
print(result)

 

 

허깅페이스 홈페이지 사용법

1) 모델 검색하기

- 다양한 언어 처리 모델 제공

- 홈페이지의 Models 메뉴에서 원하는 모델 검색 가능

- 검색 기능을 활용하여 원하는 모델 쉽게 찾기 가능

 

2) 모델 사용하기

- 모델을 선택하면 모델 정보, 사용방법, 예시 코드 확인 가능

- 예시 코드는 python으로 작성되어 있음

 

3) 데이터셋 검색하기 

- 다양한 자연어 처리 데이터셋 제공

 

4) 데이터셋 사용하기

- 데이터셋을 선택하면 데이터셋의 정보와 사용방법, 예시 코드 확인 가능

UI path

  • C#과 .NET Framework 기반으로 개발
  • Windows OS에서만 개발 및 실행 가능
  • 에디터 부분이 windows Workflow Foundation으로 개발되었기 때문에, 코드 타이핑을 통한 개발이 아닌 마우스 드래그 앤 드랍으로 개발
    • 워크플로우를 레코딩하면 됨
    • 사전 구현된 자동화 액티비티를 활용해 보다 쉽게 자동화 구현
    • 협업 툴과 간편한타사 컴포넌트 통합을 통해 모든 부서 및 워크플로우 지원
    • 공유 및 재활용 가능한 컴포넌트를 통해 협업과 생산성 향상
  • 라이브러리, 액티비티, 프로젝트, 오픈 워크플로우를 검색할 수 있는 명령 팔레트
  • 2005년에 설립 
  • 국내 도입: LG, 하나금융 등 RPA 표준 플랫폼
  • 포레스터 2018년 2분기 자료에 따르면 가장 널리 보급된 RPA 플랫폼이고 업계 1위
  • 현재 1800곳이 넘는 비즈니스 및 정부기관 고객이 UiPath의 엔터프라이즈 RPA 플랫폼을 채택하여 반복적 프로세스를 모방학 실행하는 소프트웨어 로봇을 전개
  • 많이 사용하고 있고 관련 교육 강의가 많음
  • Trial: 현재 MDS가 한국총판으로 무료 사용 6개월 및 컨설팅 제공

Brity RPA

  • 삼성SDS에서 개발/ 2019년도에 플랫폼 도입
  • 국내도입: 삼성 그룹 계열사, 공공 기관인 한국남부발전
  • 한글라이브러리 제공 -> 국내 IT 환경에 맞는 솔루션 제공
  • 인공지능을 적용해 기능을 개선한 자체 RPA 브랜드임
  • 딥러닝 기반 이미지 인식(Nexfinance AICR)과 텍스트 분석 등 인공지능 기술을 적용해 판단, 심사 등 복합 업무영역까지 자동화
  • 동시에 여러 개의 자동화 프로세스가 실행 가능/ 업무 처리속도와 효율을 개선
  • PC에서 업무 수행 화면을 녹화해 프로세스를 자동 생성하는 등 비전문가도 쉽고 빠르게 RPA를 만들 수 있는 지능형 업무 자동화(IPA) 솔루션 제공
  • 초개인화, 초자동화(하이퍼오토메이션), 생태계 플랫폼으로 확장하고 있음.
    • 초개인화: 특정 사용자, 특정 태스크 차원의 자동화를 손쉽게 맞춤형으로 구현
  • UI path에서 좀 더 편의성을 갖추고 있다는 평이 있음.
  • Trial: 홈페이지를 통해 30일 이용 가능

 

참고:

https://uipathcombackup.z6.web.core.windows.net/ko/product/studio.html

https://ddochea.tistory.com/34

https://www.inflearn.com/course/lecture?courseSlug=rpa-uipath-%EA%B0%9C%EB%B0%9C-%EC%B4%88%EA%B8%89&unitId=164798&tab=script

RPA란?

가상으로 실행되는 소프트웨어 로봇으로 데이터 수집, 전송, 입력, 트랜잭션 프로세스, 서버 내 파일 관리 등 표준화되고 반복적인 디지털 업무 환경 작업을 자동화하는 것

  • CAP: 다양한 기술(머신러닝, 데이터 마이닝, 자연어 처리 등)을 기반으로 하며 모든 형식의 비정형 데이터를 처리하고 정형 데이터로 변환할 수 있는 기능을 갖추고 있음
  • UTMS: 봇을 통해 활성화되며 노동 집약적인 작업을 자동화하여 생산성과 효율성을 높임. 또한 RPA 구성에 필요한 로봇 스크립트를 생성

RPA 도입배경 : 부수적인 관리 업무에 많은 시간을 쏟는 한국

사무직 업무에 30~50%는 단순반복 작업이라고 한다. 이메일 관리, 엑셀 업무, 시스템 로그인, 데이터 추출 및 입력, 보고서 출력 등 반복 처리만 하면 되는 일에 업무 시간의 절반가량을 쏟고 있는 셈이다. 그 중에서도 한국은 기업 근로자가 부수적인 업무에 많은 시간을 쏟는 나라로 꼽힌다. 글로벌 RPA 기업 오토메이션 애니웨어가 2019년에 조사한 바에 따르면 한국은 멕시코(3.77시간), 브라질(3.71시간)에 이어 부수적인 관리 업무에 근로자가 쓰는 일 평균 소요 시간(3.58시간)이 세 번째로 많은 나라였다.


RPA 장점

  1. 비용 절감. RPA를 구현함으로써 기업은 모든 수동 또는 반복 작업을 자동화할 수 있습니다. RPA 도구는 FTE를 줄이고 직원들이 더 가치 있는 업무에 집중할 수 있게 해줍니다.
  2. 생산성 향상. 스마트 로봇은 쉬지 않고 일할 수 있습니다. 가장 효율적인 방식으로 작업하도록 프로그래밍되어 있으므로 휴식이나 휴가를 가질 필요가 없습니다.
  3. 정확성. 자동화된 작업을 로봇화하면 사람의 실수 여지를 없앨 수 있습니다. 로봇은 무한한 집중력을 가지고 있으며 실수를 하지 않습니다. 로봇이 규칙이나 매개변수에 맞지 않는 트랜잭션을 발견하면 인간 작업자에게 알림을 보냅니다.
  4. 확장성. RPA는 필요에 따라 확장할 수 있습니다. 처리 용량을 늘려야 하는 경우 더 많은 수의 로봇을 할당하기만 하면 됩니다. 많은 비용을 들이지 않고도 쉽게 수행할 수 있습니다.
  5. 단순성. RPA는 기본적으로 코드가 필요 없는 솔루션이므로 봇을 구성하는 데 프로그래밍 기술이 필요하지 않습니다.
  6. 데이터 분석. RPA는 대량의 데이터를 처리하고 주요 KPI 분석을 수행하도록 설계되었습니다. 데이터는 시스템을 지속적으로 개선하고 실시간으로 가치 있는 인사이트를 생성하는 데 사용됩니다.
  7. 속도와 효율성 향상. 로봇은 사람보다 빠르게 작업하며 연중무휴 24시간 사용할 수 있습니다. 비즈니스 프로세스를 더욱 효율적으로 만들어줍니다.
  8. 적응성과 유연성. 비즈니스의 특정 요구 사항에 따라 RPA 도구를 사용자 지정하고 추가 기능을 포함할 수 있습니다.
  9. 다목적성. RPA는 다양한 부문과 시장에서 활용될 수 있습니다.
  10. 규제 준수 강화. 자동화 도구는 절차를 모니터링하고 오류를 제거하며 데이터를 기록합니다.
  11.  나은 품질의 서비스. 로봇은 사람의 실수를 제거하고, 프로세스를 개선하며, 데이터를 수집 및 분석하여 기업이 서비스 품질을 개선할 수 있는 개선 영역을 찾는 데 도움을 줍니다.
  12. 직원 만족도 향상. 직원들은 더 가치 있고 창의적인 업무에 집중할 수 있습니다. 더 이상 반복적인 일상 업무에 몇 시간을 소비할 필요가 없습니다. 따라서 만족도와 생산성이 높아집니다.
  13. 시간 최적화. 기업은 작업과 활동을 더 빠르게 수행할 수 있고 RPA는 새로운 비즈니스 프로세스에 빠르게 적응할 수 있습니다.
  14. 비침습적 기술. RPA는 여러 애플리케이션에 통합하는 데 많은 리소스가 필요하지 않습니다. 기존 IT 시스템을 교체할 필요가 없습니다. 회사 내 여러 부서의 IT 시스템에 쉽게 적용할 수 있습니다.
  15. 고객 서비스 개선. 로봇은 연중무휴 24시간 이용 가능하며 고객 문의를 더 빠르게 해결할 수 있어 서비스 품질과 전반적인 고객 만족도가 향상됩니다.

RPA 적용

참고:

https://botpress.com/ko/blog/what-is-rpa-in-automation

https://www.echoit.co.kr/rpa/rpa.html

 

 

Ray란?

  • 버클리 대학 RISE 연구실에서 만들었다
  • 분산 어플리케이션을 만들기 위해 단순하고 범용적인 API를 제공하는 라이브러리
  • 확장 가능한 고성능 분산/병렬 머신러닝 프레임워크
  • 다수의 분산 머신러닝 라이브러리를 보강한다
  • 최소화한 구문 때문에 기존 앱의 많은 부분을 재작업하지 않고도 병렬화가 가능하다. 기존의 코드 변경을 하지 않고 기존의 순차 코드 베이스에서 몇줄의 코드만 추가하여 병렬 처리를 쉽게할 수 있다.
  • 필요에 따라 로컬 하드웨어, 주요 클라우드 컴퓨팅 플랫폼에서 자동으로 노드를 가동할 수 있는 자체 클러스터 관리자도 내장돼 있다.

Ray 서밋 내용:

  • Ray로 게놈 데이터 분석하기 프로젝트
  • 빅데이터 로딩 & 전처리하는 기능이 있다.
  • MLSQL, Spark, Ray 같이 사용하는 방법이 있다 (빅데이터 & AI)

Ray의 분산/병렬 시스템 Ray Core의 장점:

  1. 다수의 컴퓨터에서 동일한 코드를 실행시킬 수 있다.
  2. State of the Art하고 통신 가능한 Microservice 및 Actor를 구축할 수 있다.
  3. 기계 고장 및 시스템 고장을 훌륭하게 처리할 수 있다.
  4.  거대한 데이터와 수치 데이터를 효율적으로 처리할 수 있다.

Ray의 성능:

벤치마크 결과에 따르면 Core의 수가 증가함에 따라서 압도적으로 성능이 향상하는 것을 볼 수 있다. 이 성능 차이는 프로세스간의 객체 전달을 위한 과정에서 발생한다. 또한 48물리 코어를 가지는 환경에서 Ray가 Multiprocessing보다 9배 빠르고, 싱글스레드 환경보다 28배 빠르다.

 

Python Multiprocessing: 

  • 큰 데이터를 다른 프로세스에 전달할때... pickle사용 → 직렬화 → 전달
  • 단점: 모든 프로세스가 데이터에 대한 복사본을 만들어야 한다 → 큰 메모리를 할당한다 → 역직렬화에서 발생하는 큰 오버헤드를 가질 수 밖에 없다.

Ray:

Python Multiprocessing의 문제를 해결하기 위해… 직렬화 오버헤드가 적은 Apache Arrow를 사용한다 → Zero-Copy 직렬화를 수행한다 → 직렬화된 데이터를 In-Memory Object Store인 Plasma를 이용하여 빠르게 공유한다.

 

Ray Core API 정리:



지난 시간에 이어서 데이터 분석가가 성장하기 위해 필요한 3가지 마인드셋(Mindset)에 대해 이야기해보고자 합니다.

여기서 마인드셋(Mindset)은 하나의 가치관 또는 사고 방식이라고 이해하셔도 좋을 것 같습니다.

성장하는 데이터 분석가는
1. 분석적 사고(Analytical mindset)
2. 문제-해결 논리(Problem-solving logic)
3. 의사소통 (Communicational skill)
이 3가지를 갖추어야 합니다.

그럼 두번째 문제-해결 논리에 대해 이야기 해볼까요?

[2] 문제-해결 논리

긴 역사에서 알수 있듯, 인간은 항상 새로운 문제를 찾아내고 그 것을 해결하기를 원합니다. 그리고 현대 사회에서 문제를 해결하는 주체는 대부분 기업들이였습니다. 그 이유는 자본주의 시장에서 가장 많은 고객을 확보할수 있는 방법은 (a.k.a 가장 돈을 많이 벌수 있는 방법은) 가장 빠르게 고객이 느끼는 문제점을 찾고 누구보다 빠르고 효율적으로 해결하는 것이기 때문입니다.

특히 21세기에 들어, 고객의 문제를 찾고, 또 어느 부분을 해결해주어야 고객이 만족할지를 알려주는 데이터 분석 기법이 비즈니스에서 널리 활용되기 시작했습니다.

대표적인 예시를 들어볼까요?
- 코홀트 분석
- 퍼널 분석
- RFM 분석

데이터 분석가라면 많이 들어본 이 3가지 분석 기법은 특정 고객이 어느 부분에서 불편을 느끼고 어떻게 행동하는지를 알려주는 대표적인 분석 기법으로 자리잡았습니다.

이 분석 기법들의 공통점은
1. 고객이 느끼는 문제점을 데이터를 통해 찾아낸다
2. 어느 단계에서 문제가 있는지를 근거를 제시한다
3. 어떻게 문제를 해결할수 있을지 해결책을 제안한다
입니다.

대부분의 데이터 분석은 근본적으로 이러한 구조를 따르고 있습니다.
물론 미래를 예측하거나 보유하는 자원을 어떻게 잘 활용할지 다루는 분석도 존재합니다. 하지만 고객의 문제를 해결하는 것이 기업의 근본적인 특징이기 때문에, 많은 기업들이 문제-해결 능력을 활용하는 분석을 선호합니다.

'IT' 카테고리의 다른 글

RPA(Robotic Process Automation)  (0) 2024.05.16
Ray 병렬 프레임워크  (0) 2024.03.15
2022 연구실 안전교육 스킵하기  (0) 2022.11.30
filebrowser로 웹에서 파일 폴더 공유하기  (0) 2022.09.27
코딩 VSC 단축키 꿀팁  (0) 2022.06.30

[페이지 스킵 방법]

  1. 해당 동영상을 킨 후 바로 일시정지(매우 짧은 컷이 첫번째이기 때문에!)
  2. F12번을 누른 후 콘솔창 클릭
  3. 콘솔창에 nowPageNum=(제일마지막페이지) 입력!
  4. 돌아가서 동영상 재생
  5. 해당 편 수강완료 표시!

1. 일시정지

2. F12 콘솔창

3. nowPageNum=12입력

 

4. 동영상재생

 

 

[동영상 배속 방법]

1. F12콘솔창

 

2. document.querySelector('video').playbackRate = 10; 입력

 

3. 동영상 재생

 

filebrowser은 웹 인터페이스로 파일에 접근하고 공유할 수 있는 클라우드 서비스이다!

다른 서버에 접속해서 커널 내 명령어 없이 일반 파일들을 다운받거나 보고싶을때, 눈에 보이게 잘 정리하고 싶을때 답답한 경우가 있었을 것이다. 그럴때 유용하게 사용할 수 있으니 알아두면 좋을 것 같다!

 

💗깃헙 참고 위치:

GitHub - filebrowser/filebrowser: 📂 Web File Browser

 

GitHub - filebrowser/filebrowser: 📂 Web File Browser

📂 Web File Browser. Contribute to filebrowser/filebrowser development by creating an account on GitHub.

github.com

 

💗설치하기: [링크](Installation - File Browser)를 통해 설치한다. 나는 unix 환경이기 때문에 아래 명령어를 사용했다.

$ curl -fsSL https://raw.githubusercontent.com/filebrowser/get/master/get.sh | bash

만약에 포트번호와 를 변경하고 싶다면 아래처럼 설정하면 된다.

$ filebrowser config set -a 0.0.0.0
$ filebrowser config set -p {포트번호}

💗실행하기: 

filebrowser -r ./{원하는 파일경로 입력}
ctrl + D 자주 반복되는 코드나 변수를 한번에 바꾸고 싶다!할때 사용
- 반복되는 단어 드래그 후 ctrl + D 누르기 
alt + click 클릭하는 곳마다 커서 만들어줌
- 반복되는 문장 만들고 싶을때 사용하면 좋음
alt + up/down 해당 선택된 코드를 위 아래로 움직여 위치 변경할 수 있음
alt + shift + up/down 위와 비슷하지만 복사하는 것
 - HTML 등 반복적인 것 복사할 때 좋음
ctrl + / 선택 라인 주석처리 해줌
alt +shift + i 선택한 부분 드래그하면 그 부분에 동일하게 커서가 생기고 수정 및 변경할 수 있음 
- ex) name
         id
         password
가 있는데 여기에 각각 따옴표(")와 쉼표(,) 등을 동일하게 설정하고 싶을때 사용 
alt + shift + drag 드래그 한 곳마다 커서가 생김
 - 코드 라인이 각각 길이가 다른 경우 유용

코딩 인생 꿀템 VSC 단축키 5분 정리해드림 - YouTube

 

1. 문제 사항

VS code 에서 remote-ssh 확장 프로그램을 통해 원격 서버에 접속하려고 했는데 실패

 

2. 문제 해결

1) C:\Users\사용자이름\.ssh 폴더의 config 파일을 메모장으로 오픈 후 아래처럼 수정 

Host : 별칭(원하는대로 설정)
HostName : 서버의 IP 혹은 도메인
User : 서버의 사용자 계정명

Port: 포트번호

 

2) C:\Users\사용자이름\.ssh 폴더의 known_hosts 파일을 메모장으로 오픈 후 위의 접속 서버 관련 내용 삭제 및 저장

 

  • pc에 사용되는 데이터를 기록하는 저장장치인 SSD와 HDD의 성능을 비교해본다.
  SSD HDD
가격   보다 저렴
타입 메모리 반도체 자기 disck 
속도 읽기/쓰기 속도 매우 빠름  
특징 상대적으로 소비전력과 소음 적음
크기가 작고 가벼움
HDD에 비해서 충격에 강함
 
부팅 속도(동일한 환경) 8초 18초

참고: https://m.blog.naver.com/kangyh5/222157415641

+ Recent posts