jpg의 끄적끄적

[React] 카카오지도 API(SDK)를 이용한 주소에 해당하는 마커 표시 구현

dlalwl_jpg — Wed, 21 Aug 2024 19:46:11 +0900

아래 사진과 같이 react-kakao-maps-dsk를 이용해 지도를 구현하고 주소에 해당하는 부분(충청북도 단양군 단양읍 고수동굴길 8)에 마커 표시를 구현할 것이다.

1. 카카오 개발자 어플 등록

https://developers.kakao.com/

Kakao Developers

카카오 API를 활용하여 다양한 어플리케이션을 개발해보세요. 카카오 로그인, 메시지 보내기, 친구 API, 인공지능 API 등을 제공합니다.

developers.kakao.com

위 링크로 들어가 로그인을 한 후, 내 어플리케이션으로 이동해 어플리케이션을 추가해준다.

등록 후, 아래과 같이 플랫폼으로 이동해 Web에 http://localhost:3000을 추가해준다.

앱 키로 이동해 JavaScript 키를 복사해준다.

2. react에 카카오 Map설치

프로젝트로 이동해 public에 있는 index.html에서 script부분에 아래와 같이 발급받은 javascript 앱 키를 추가해준다.

여기서 주의할 점은 반드시 libraries=services를 추가해줘야 한다.

<script type="text/javascript" src="//dapi.kakao.com/v2/maps/sdk.js?appkey=앱 키&libraries=services"></script>

그리고 터미널에 아래 명령어를 입력해 sdk를 설치해준다.

npm install react-kakao-maps-sdk

3. 지도 불러오기 + 주소에 해당하는 마커 표시하기

먼저 코드에 대한 설명을 하자면, DetailMap은 다른 컴포넌트에서 address라는 값을 전달 받아 그 주소에 해당하는 위치에 마커를 표시한다.

  const [state, setState] = useState({
    // 지도의 초기 위치
    center: { lat: null, lng: null },
    // 지도 위치 변경시 panto를 이용할지(부드럽게 이동)
    isPanto: true,
  });

state는 마커를 표시할 좌표값을 저장하는 변수이다. 그 안에는 center라는 위도, 경도 값을 저장하는 값과, isPanto라는 지도 변경시 어떻게 이동하는지를 결정하는 값이 있다.

const [searchAddress, SetSearchAddress] = useState(address);

searchAddress는 주소이다. 다른 컴포넌트에서 전달 받은 address값을 searchAddress에 저장한다. 테스트를 할 때 useState(" 충청북도 단양군 단양읍 고수동굴길 8 ") 이런 식으로 주소값을 주어 마커가 잘 찍히는지 테스트해보면 된다.

const geocoder = new kakao.maps.services.Geocoder();

주소를 좌표로 변환해주는 함수이다. 정확히는 services 라이브러리를 사용하는 것이다. Geocoder는 주소를 좌표로 변환하거나, 좌표를 주소로 변환하는 기능을 제공하는 객체이다.

// 주소를 좌표로 변환하여 state에 저장
    let callback = function(result, status) {
      if (status === kakao.maps.services.Status.OK) {
        const newSearch = result[0]
        setState({
          center: { lat: newSearch.y, lng: newSearch.x }
        })
      }
    };
      geocoder.addressSearch(`${searchAddress}`, callback);

callback함수는 주소를 좌표로 변환한 결과(result)와 변환이 성공했는지를 나타내는 상태(status)를 인수로 받는 함수이다.

result매개변수는 변환된 좌표 정보를 담고 있는 배열 변수이다. 변환된 주소가 여러 개일 수 있기 때문에 배열로 반환한다. 참고하자면 여러 개 일 때는 키워드로 지도에 여러 개의 마커를 표시할 때 사용한다.

나는 주소에서 한 개의 마커만 표시하므로 첫 번째로 반환된 값인 result[0]만 newSearch에 저장하여 마커를 표시하는 좌표를 저장하는 state의 center값에 위도, 경도 값을 저장해준다.

<KakaoMap
        center={state.center}
        isPanto={state.isPanto}
        style={{
          width: "100%",
          height: "200px",
        }}
        level={2}
      >

카카오 지도를 표시한다. 중심좌표 값인 center를 반환된 위도, 경도 값으로 지정해주고, isPanto값도 저장해준다. level은 확대된 정도로 숫자가 작을 수록 많이 확대된 지도가 출력된다.

<MapMarker position={state.center}/>

지도에 중심위치에 해당하는 마커를 표시한다.

전체 코드는 다음과 같다.

import { useEffect, useMemo, useState } from "react";
import { Map as KakaoMap, MapMarker } from "react-kakao-maps-sdk";
import { useNavigate } from 'react-router-dom';

const {kakao} = window;
function DetailMap({ address }) {

  const [state, setState] = useState({
    // 지도의 초기 위치
    center: { lat: null, lng: null },
    // 지도 위치 변경시 panto를 이용할지(부드럽게 이동)
    isPanto: true,
  });
  
  // 주소 변수
  const [searchAddress, SetSearchAddress] = useState(address);
  
  // 주소에 해당하는 마커 표시
  useEffect(() => {
    // 주소를 좌표로 변환한는 함수
    const geocoder = new kakao.maps.services.Geocoder();
    
    // 주소를 좌표로 변환하여 state에 저장
    let callback = function(result, status) {
      if (status === kakao.maps.services.Status.OK) {
        const newSearch = result[0]
        setState({
          center: { lat: newSearch.y, lng: newSearch.x }
        })
      }
    };
      geocoder.addressSearch(`${searchAddress}`, callback);
    }, [])
  
  return (
    <div>
      <KakaoMap
        center={state.center}
        isPanto={state.isPanto}
        style={{
          width: "100%",
          height: "200px",
        }}
        level={2}
      >
        {!state.isLoading && (
          <MapMarker position={state.center}/>
        )}
      </KakaoMap>
    </div>
  )
}

export default DetailMap;

참고

https://react-kakao-maps-sdk.jaeseokim.dev/docs/sample/overlay/geolocationMarker/

geolocation으로 마커 표시하기 | react-kakao-maps-sdk docs

HTML5 GeoLocation을 이용해 접속위치를 얻어오고 접속위치에 마커와 인포윈도우를 표시합니다.

react-kakao-maps-sdk.jaeseokim.dev

https://velog.io/@support/React-%EC%B9%B4%EC%B9%B4%EC%98%A4-%EC%A7%80%EB%8F%84-API-%EC%A3%BC%EC%86%8C-%EA%B2%80%EC%83%89

React / 카카오 지도 API - 주소 검색

지도를 가져오고 나서 첫번째로 해야 될 것은주소를 검색했을 때 그 위치로 지도를 움직이는 기능이었다ReactKakaoMapSDK에는 키워드 장소 검색 기능만 있고주소 검색기능이 없어서 kakaoMapApi 의 주

velog.io

[React] 로컬에서 HTTPS 환경 설정하기(Windows)

dlalwl_jpg — Tue, 2 Jul 2024 15:04:10 +0900

프로젝트를 하는 도중 웹캠을 적용해야 해서 getUserMedia API를 사용했다.

하지만 브라우저의 보안 정책으로 인해 getUserMedia API는 HTTPS 환경에서만 작동한다고 한다.

따라서 현재 로컬 환경인 HTTP환경을 HTTPS로 변경해주어야 한다.

1. mkcert설치

https://github.com/FiloSottile/mkcert/releases

Releases · FiloSottile/mkcert

A simple zero-config tool to make locally trusted development certificates with any names you'd like. - FiloSottile/mkcert

github.com

위 링크로 가서 아래 사진에 표시된 mkcert를 다운 받아준다.

그리고 프로젝트 폴더 안에 mkcert폴더를 만들고 다운 받은 인증서의 이름을 mkcert.exe로 변경한 후 폴더 안에 이동시킨다.

2. 인증서 다운받기

터미널을 열어 mkcert폴더로 이동해주고, 아래와 같이 명령어를 입력한다. 이미 설치되어 있으면 아래와 같이 출력되는데 처음이면 인증서 설치 허용에 대한 팝업이 뜬다. 예를 눌러준다.

PS C:\Users\User\Desktop\AIT-frontend> cd mkcert
PS C:\Users\User\Desktop\AIT-frontend\mkcert> ./mkcert -install
The local CA is already installed in the system trust store!

그리고 도메인 인증서를 받기 위해서 아래와 같이 원하는 도메인을 입력한다. 띄어쓰기로 구분해주면 된다.

PS C:\Users\User\Desktop\AIT-frontend\mkcert> ./mkcert localhost 127.0.0.1

Created a new certificate valid for the following names  
 - "localhost"
 - "127.0.0.1"

The certificate is at "./localhost+1.pem" and the key at "./localhost+1-key.pem" ✅

It will expire on 2 October 2026

그럼 아래 와 같이 .pem과 key.pem 두 개가 다운로드 된다. 이 두 개의 파일 이름을 각각 cert.pem key.pem으로 바꿔준다.

3. 환경 적용

package.json파일로 가서 아래와 같이 start환경을 바꿔준다.

    "start": "set HTTPS=true&&set SSL_CRT_FILE=./mkcert/cert.pem&&set SSL_KEY_FILE=./mkcert/key.pem&&react-scripts start",

그럼 아래와 같이 HTTPS환경이 잘 설정된다.

[참고]

https://mungkhs1.tistory.com/64

윈도우즈 로컬 컴퓨터에 https를 위한 인증서 발급 방법2 (with mkcert.exe)

✅ 윈도우즈 로컬 컴퓨터에서 테스트 용도로 https를 위한 인증서를 발급 받는 방법을 이전 게시글에서 작성한 적이 있습니다. https://mungkhs1.tistory.com/59 16. https를 쓰기 위해 로컬에서 SSL 테스트 하

mungkhs1.tistory.com

https://velog.io/@horang-e/React-localhost-%ED%99%98%EA%B2%BD-HTTPS%EB%A1%9C-%EB%B0%94%EA%BE%B8%EA%B8%B0Windows

React localhost 환경 HTTPS로 바꾸기(Windows)

React localhost 환경 HTTPS로 바꾸기

velog.io

[React Native] React Native-Expo 개발환경 구축하기

dlalwl_jpg — Thu, 30 May 2024 19:37:50 +0900

아래 블로그를 참고하여 React Native-Expo를 이용해 개발 환경을 구축해볼 것이다.

https://jae-study.tistory.com/145

[React Native] Expo로 리액트 네이티브 설치하기

왕초보를 위한 React Native 101 https://nomadcoders.co/react-native-for-beginners 노마드코더 강의를 참고하고 있습니다. 리액트 네이티브란? 리액트 네이티브(React Native)는 페이스북이 개발한 오픈 소스 모바일

jae-study.tistory.com

1. expo-app 설치하기

vs code에서 터미널을 열어 원하는 위치에 아래 명령어를 입력하여 프로젝트를 만들어준다.

npx create-expo-app 프로젝트명

2. expo-app 설치하기

프로젝트 폴더로 이동 후 아래 명령어를 입력하여 실행해준다.

npm expo start

3. 모바일 연동하기

나는 IOS를 이용하기 때문에 앱스토어에서 Expo Go앱을 설치해주었다.

안드로이드는 플레이스토어에서 Expo 앱을 설치해주면 된다고 한다.

앱 설치 회원가입, 로그인을 해준다. 그리고 노트북과 핸드폰이 같은 와이파이로 연결되어 있는지 확인한다.

그리고 npm expo start를 실행했을 때 나온 QR코드를 인식해주면 오른쪽과 같이 Expo Go에서 잘 열리는 것을 확인할 수 있다.

4. 브라우저 연동하기

브라우저를 이용해서 작업을 해야 한다면 아래 사이트로 이동해서 작업을 진행하면 된다.

https://snack.expo.dev/

Snack - React Native in the browser

Write code in Expo's online editor and instantly use it on your phone.

snack.expo.dev

그럼 핸드폰에서 보여지는 것과 동일하게 작업이 가능하다.

[React Native] React-Native-Cli 개발환경 구축하기(2)

dlalwl_jpg — Wed, 29 May 2024 11:43:17 +0900

https://studybook.tistory.com/124

[React Native] 리액트 네이티브 React-Native-Cli 개발환경 구축하기(1)

아래 블로그를 참고하여 리액트 네이티브 안드로이드 개발환경을 구축하였다.리액트 네이티브 개발을 위해서는 Expo와 React-Native-Cli을 사용한다고 하는데 여기서는 React-Native-Cli 설치로 진행할

studybook.tistory.com

위 글에서 이어집니다!

1. React Native 신규 프로젝트 생성

npx react-native init 프로젝트명

❗해결 오류

* TypeError: cli.init is not a function

해당 오류는 버전이 맞지않아 발생한 오류로 react-native-cli가 최신 버전의 React Native와 호환되지 않거나, 올바르게 설치되지 않았기 때문에 발생한다고 한다.

아래 명령어를 입력하여 버전을 낮춰서 프로젝트를 만들어준다.

npx react-native init 프로젝트명 --version 0.68.2

2. Android 애뮬레이터 설정

이 단계는 Android스튜디오에 Device가 아무것도 없는 경우만 설정해주면 된다.

Android 스튜디오를 열어 만든 Open으로 가 만든 프로젝트를 열어준다.

Tools > Device Manager를 들어간다.

+ 버튼 > Create Virtual Device > Pixel 4 > Next를 클릭한다.

꼭 Pixel 4를 할 필요없이 원하는 Device를 선택해주면 된다.

그리고 S를 다운 받았다. 이것도 원하는 걸로 다운 받아주면 된다.

다운이 완료되면 Finish를 눌러준다.

Device 목록에서 오른쪽에 있는 화살표 모양을 클릭해주면 애뮬레이터가 실행된다.

3. SDK설정

Android 스튜디오에서 File > Project Structure > SDKs 로 이동해

아래와 같이 Name을 Android Studio defalt JDK로 설정하고 jdk의 위치를 설정해준다.

그 다음 Tools > SKD Manager > Android SDK로 이동해 SDK Platforms와 SDK Tool에서 자신에게 맞는 버전을 체크해 다운 받는다.

나는 API Level 31을 다운 받았다.

4. 안드로이드 실행

vs code로 와서 프로젝트 위치로 이동해주고 환경이 잘 설정되었는지 확인하기 위해 아래처럼 입력한다.

npx react-native doctor

터미널에 프로젝트 이동 후 안드로이드를 실행시킨다.

npm run android

❗해결 오류

* Android Gradle plugin requires Java 11 to run. You are currently using Java 1.8.

npm run android를 입력했을 때 다음과 같은 오류가 발생하였다. 11버전을 사용하여야 한다는 의미이다.

Android 스튜디오로 가서 gradle.properties 파일에 org.gradle.java.home=C:/Program Files/Java/jdk-11을 추가해준다.

그리고 다시 실행해주면 잘 만들어진다.

* Unable to load script. Make sure you're either running a Metro server (run 'react-native start') or that your bundle 'index.android.bundle' is packaged correctly for release

npm run android를 하고 애뮬레이터에 다음과 같은 오류가 발생할 경우에는 android\app\src\main\assets\ 폴더를 만들어준다. 그리고 vs code 터미널로 이동해 아래 명령어를 입력해준다.

react-native bundle --platform android --dev false --entry-file index.js --bundle-output android/app/src/main/assets/index.android.bundle

그럼 해결 완료된다.

https://borntodevelop.tistory.com/entry/React-Native-Error-Unable-to-load-script-Make-sure-youre-either-running-a-Metro-server-run-react-native-start-or-that-your-bundle-indexandroidbundle-is-packaged-correctly-for-release

[React Native Error] Unable to load script. Make sure you're either running a Metro server (run 'react-native start') or that yo

Unable to load script. Make sure you're either running a Metro server (run 'react-native start') or that your bundle 'index.android.bundle' is packaged correctly for release 안드로이드 애뮬레이터 빌드 도중, 위와 같은 애러가 발생했

borntodevelop.tistory.com

[React Native] React-Native-Cli 개발환경 구축하기(1)

dlalwl_jpg — Tue, 28 May 2024 20:46:22 +0900

아래 블로그를 참고하여 리액트 네이티브 안드로이드 개발환경을 구축하였다.

리액트 네이티브 개발을 위해서는 Expo와 React-Native-Cli을 사용한다고 하는데 여기서는 React-Native-Cli 설치로 진행할 예정이다.

https://yun5o.tistory.com/entry/React-Native-%EB%A6%AC%EC%95%A1%ED%8A%B8-%EB%84%A4%EC%9D%B4%ED%8B%B0%EB%B8%8C-%EA%B0%9C%EB%B0%9C%ED%99%98%EA%B2%BD-%EC%84%A4%EC%A0%951-%EC%8B%9C%EC%9E%91%ED%95%98%EA%B8%B0

[React Native] 리액트 네이티브 개발환경 설정(1/6) - 시작하기

* 리액트 네이티브란? React Native는 페이스북이 개발한 오픈 소스 모바일 애플리케이션 프레임워크입니다. 안드로이드, IOS, 웹, UWP용 애플리케이션을 개발하기 위해 사용되며, 개발자들이 네이티

yun5o.tistory.com

1. Node.js 설치

https://nodejs.org/en/

Node.js — Run JavaScript Everywhere

Node.js® is a JavaScript runtime built on Chrome's V8 JavaScript engine.

nodejs.org

그냥 계속 Next를 클릭하여 설치한 후 잘 설치되었는지 확인하기 위해 cmd창을 열어 아래와 같이 입력하여 버전이 잘 나오면 잘 설치 된 것이다.

2. React-Native-Cli 설치

vs-code에서 Terminal > New Terminal을 열러 아래의 명령어를 입력해준다.

npm install -g react-native-cli

그리고 잘 설치되어 있는지 확인해준다.

react-native -v

3. JDK 설치

https://www.oracle.com/java/technologies/downloads/#java11-windows

Download the Latest Java LTS Free

Subscribe to Java SE and get the most comprehensive Java support available, with 24/7 global access to the experts.

www.oracle.com

위 링크로 들어가서 첫 번째를 JAVA11을 설치해주었다.

그리고 나는 기존에 설치되어 있던Java8을 이용해 경로 설정을 했기 때문에 Java8이 설치되어 있지 않으면 나중에 필요하게 되어 설치해두는게 좋다.

https://www.oracle.com/java/technologies/downloads/#java8-windows

Download the Latest Java LTS Free

Subscribe to Java SE and get the most comprehensive Java support available, with 24/7 global access to the experts.

www.oracle.com

아래 사진에서 두 번째 것을 설치하였다.

4. JDK 환경변수 설정

내 PC > 우클릭 속성 > 고급 시스템 설정으로 들어와 환경변수를 클릭하고 User에 대한 사용자 변수에 새로 만들기를 클릭하여 아래와 같이 만들어준다.

그 다음 시스템 변수에 있는 Path변수 편집 > 새로 만들기를 눌러 %JAVA_HOME%\bin을 추가해준다.

잘 설치되었는지 확인하기 위해 vs code 터미널에 아래와 같이 입력해서 버전이 잘 출력되는지 확인한다.

java -version

❗해결 오류

* 만약 자바버전을 확인했을 때 11이 아닌 경우

고급 시스템 설정 보기 > 환경 변수 > 시스템 변수의 Path 변수 편집 > %JAVA_HOME%\bin을 javapath 위로 이동

https://yun5o.tistory.com/entry/JAVA-%EC%9E%90%EB%B0%948%EC%97%90%EC%84%9C-%EC%9E%90%EB%B0%9411%EB%A1%9C-%EB%B2%84%EC%A0%84-%EB%B3%80%EA%B2%BD%ED%95%98%EA%B8%B0

[JAVA] 자바8에서 자바11로 버전 변경하기

기존에 자바8을 사용하고 있었는데 새로 만들려는 프로젝트가 자바11로 변경되어 버전 변경이 필요해졌습니다. * 자바11 설치 Download the Latest Java LTS Free Subscribe to Java SE and get the most comprehensive Java

yun5o.tistory.com

5. 안드로이드 스튜디오 설치

https://developer.android.com/studio?hl=ko

Android 스튜디오 및 앱 도구 다운로드 - Android 개발자 | Android Studio | Android Developers

Android Studio provides app builders with an integrated development environment (IDE) optimized for Android apps. Download Android Studio today.

developer.android.com

위 사이트로 들어가 Android 스튜디오 Jellyfish 다운로드를 클릭하고 다 Next를 클릭해 다운로드를 진행한다.

6. 안드로이드 스튜디오 환경변수 설정

안드로이스 스튜디오를 설치하고 나오는 첫 화면에서 SDK Manager > Android SDK에서 Android SDK Location을 복사해준다.

그리고 고급 시스템 설정에 와서 시스템 변수의 ANDROID_HOME의 변수 값을 동일하게 설정해준다.

User에 대한 사용자 변수에서 Path 편집 > 새로만들기 > %ANDROID_HOME%\platfom-tools를 추가해준다.

잘 설치되었는지 확인하기 위해 vs code 터미널에 아래와 같이 입력해준다.

adb --version

❗해결 오류

* 'adb'은(는) 내부 또는 외부 명령, 실행할 수 있는 프로그램, 또는 배치 파일이 아닙니다.

위 에러가 발생할 경우 환경변수 설정을 다시 한 번 꼼꼼히 확인해보면 된다.

https://curiousengineer.tistory.com/12

'adb'은(는) 내부 또는 외부 명령, 실행할 수 있는 프로그램, 또는 배치 파일이 아닙니다.

adb.exe는 Android SDK의 일부분입니다. Android Studio가 보급됨에 따라 Android Studio를 설치하면서 Android SDK도 그 과정의 일부분으로 자동설치됩니다. 그러다보니 커맨드 창에서 adb 실행 시 제목과 같이

curiousengineer.tistory.com

[KT AIVLE School] KT에이블스쿨 5기 - 4차 미니프로젝트

dlalwl_jpg — Fri, 24 May 2024 16:33:01 +0900

️ 일정

4차 미니 프로젝트: 4/8 ~ 4/12

❓ KT에이블스쿨 미니프로젝트란?

미니 프로젝트는 이론, 실습 강의가 끝난 후 배운 강의를 토대로 실제 사례에 적용해보는 시간이다.

해결해야 할 미션, 데이터, 도메인 정보, 가이드가 제공되면 개별 실습을 통해 스스로 문제를 해결한 후, 조별 실습을 통해 공동과제를 수행한다. 그리고 전체 발표 시간을 가져 다양한 솔루션을 공유한다.

1일차

❗주제 및 미션

4차 미니프로젝트 1~2일차 주제 및 미션은 차량 공유업체의 차량파손분류를 위한 모델을 만드는 것이다.

1일차에는 개별 과제로 도메인을 이해하고, 각자 모델을 설계해보는 시간을 가졌다.

도메인 이해

차량 공유는 흔히 알고 있는 쏘카, 그린카 등의 카셰어링 서비스이다.

이 서비스에서는 사용자에게 대여할 차량 운영대수 및 안전한 차량 이용을 위해 차량 관리가 중요하다고 한다.

카셰어링 서비스에서 차량 공유가 이루어지는 절차를 살펴보았고, 이 과정에서 파손된 차량을 식별하는 업무의 번거로움을 덜기 위한 서비스의 필요성을 확인하였다.

모델링

데이터가 정상차량 이미지와 파손차량 이미지로 따로 주어졌다.

그래서 먼저, 아래와 같이 정상차량 이미지(normal)와 파손차량 이미지(abnormal)를 각각 0과 1로 구분하였다.

파손 차량의 예시와 정상 차량과 파손차량을 구분한 결과

그 다음, 하나의 리스트로 통합하여 학습데이터와 테스트데이터, 검증데이터를 각 9:1:1로 나누었다.

데이터는 RGB로 전처리를 진행하였고, 모델은 CNN으로 Funtional API를 사용해 4 Layer로 계층을 만들어 모델을 설계하였다.

EarlyStropping을 이용하여 모델을 학습시켰고, confusion_matrix, classification_report 활용하여 성능을 평가하였다.

epoch에 따른 모델의 학습데이터, 실제값의 정확도와 오류값 진행상황

1에 가까울수록 파손 차량에 가깝고, 0에 가까울수록 정상차량에 가깝다고 판단하기 위해 즉, 0.5보다 크거나 같으면 아예 1로, 0.5보다 작으면 0으로 구분하였다.

예측 결과

테스트 데이터로 돌렸을 때 정확도는 88.52%가 나왔고, confusion_matrix, classification_report는 아래와 같이 나왔다.

confusion_matrix와 classification_report

2일차

❗주제 및 미션

2일차에는 어제에 이어서 모델의 성능을 더 높이기 위해 다양한 시도를 하고, 팀원들끼리 아래의 다양한 모델을 사용하여 결과값을 비교하였다.

모델링

먼저 모델 성능을 높이기 위해 두 가지를 시도하였다. 첫 번째로 Image Preprocessing Layer, Image Augmentation Layer를 통해 이미지를 변형시켜 학습시켰다.

# Image Preprocessing Layer
preprocessing_layer = tf.keras.layers.Rescaling(1./255)  # 이미지를 0-1 범위로 조정

# Image Augmentation Layer
data_augmentation = tf.keras.Sequential([
    tf.keras.layers.RandomFlip("horizontal"),  # 랜덤으로 이미지를 수평으로 뒤집기
    tf.keras.layers.RandomRotation(0.2),       # 랜덤으로 이미지를 최대 20도 회전
    tf.keras.layers.RandomZoom(0.2),           # 랜덤으로 이미지를 최대 20% 확대 또는 축소
])

원본 사진(왼쪽) 이미지와 변형 시킨 사진(왼쪽)

그리고 1일차에 사용했던 모델에 변형시킨 이미지로 학습시킨 뒤 평가지표를 확인하니 정확도가 96.88%로 성능이 더 좋아진 것을 확인할 수 있었다.

confusion_matrix와 classification_report

두 번째로 CNN보다 더 좋은 모델인 InceptionV3모델을 이용해서 softmax를 sigmoid로 바꿔 모델링을 진행하였다.

그리고 결과를 확인했더니 테스트 정확도가 100%가 나왔다.

모델별 성능 비교표

confusion_matrix와 classification_report

이 과정에서 파라미터 수가 많을수록 성능이 좋아지지만, 너무 많은 파라미터를 학습하면 성능이 떨어지는 것을 확인하였다.

3일차

❗주제 및 미션

4차 미니프로젝트 3~4일차 주제 및 미션은 인공위성 데이터로 도시환경을 개선하기이다. 도시환경 개선을 위해 쿨루프(Cool Roof) 사업을 진행할 예정이고, 이에 대한 지원 대상 선정을 위해서는 옥상을 일일히 사전조사 하는 번거로움이 있다. 이를 해결하기 위해 1차적으로 시공 대상 여부를 효율적으로 식별할 수 있는 딥러닝 기반 모델을 만드는 것이다.

즉, 쿨루프 사업 담당 공무원을 대상으로 인공위성 데이터(옥상사진 이미지)로 쿨루프 시공 대상 여부 분류를 알려주는 서비스를 개발하는 것이 이번 3~4일차 주제 및 미션이다.

도메인 이해

우선 쿨루프(Cool Roof) 조성 사업에 대한 설명, 필요성, 효과에 대해 알아보았다.

그리고 사업을 진행하는 과정을 살펴보았고, 추진하는데 어떤 어려움을 겪고 있는지 확인하였다.

데이터 수집

원래 항상 미니프로젝트를 할 때 주어진 데이터로만 프로젝트를 진행했는데 이번에는 모델링을 진행하기에는 적은 수여서 직접 인공위성 이미지(옥상사진)데이터를 수집하고 roboflow를 이용해 직접 바운딩박스로 가공하였다.

네이버 지도에서 하얀색 지붕과 그 외의 지붕이 섞여있는 사진을 캡쳐해서 하얀색 지붕과 그 외 지붕(쿨루프가 필요한 지붕)을 구분하여 가공하였다. (무려 748장을 하나하나..팀원들과 같이해서 하나도 안 힘들었다..!^^)

팀원들과 roboflow에서 작업한 바운딩박스 이미지

그리고 roboflow에서 test, train, valid으로 나누어 데이터를 다운 받았다.

roboflow에서 다운받은 dataset과 cool-roof와 generic-roof 사례

모델링

먼저, 모델링은 YOLO를 사용하도록 주어져 YOLO 모델에 적용할 YAML파일을 생성했다.

우선 주어진 사진 데이터에서 하얀색 지붕(cool roof)와 쿨루프지원이 필요한 일반 지붕(generic roof)을 구별하기 위해 각각 0과 1로 class를 cool_roof와 generic_roof를 만들었다.

# 모델을 학습할 때 yaml파일을 참고해 train, test데이터가 어디있는지 등의 역할
yaml_dict = {
    "train": "학습데이터 경로",			 
    "test": "테스트데이터 경로",
    "val": "검증데이터 경로",
    "nc": 2,								# 클래스 수
    "names": ['cool roof', 'generic roof']		# 클래스 이름
}

# 쓰기모드로 연 yolo.yaml파일은 f라고 지정
with open("/yolo.yaml파일 저장할 경로/yolo.yaml", "w") as f:
    yaml.dump(yaml_dict, f)

# 읽기모드로 yolo.yaml파일 확인
with open("/yolo.yaml파일 저장할 경로/yolo.yaml", "r") as f:
    lines = yaml.safe_load(f)
    print(lines)

위 처럼 yaml파일을 만들었다. 그리고 모델을 만들었다.

아래 표는 YOLO 모델의 종류인데 아래로 갈수록 무겁고 정확한 모델이다. 시간이 많이 걸릴 것 같아 나는 s모델을 사용하였다.

YOLO모델 종류

epochs를 조절해가며 모델을 돌려본 결과 아래와 같이 나왔다.

epochs = 100

4일차

❗주제 및 미션

3일차에 YOLO의 s모델을 이용해서 결과를 출력하는 것까지 진행하였다. 4일차에는 YOLO모델의 다양한 버전을 돌려 모델들의 성능을 비교해보았다.

모델링

YOLO모델 종류

어제는 YOLO모델의 s버전에 돌려봤다면 오늘은 다 돌려서 어떤 모델이 제일 좋은지 비교해보았다. 성능이 좋은 모델일 수록 시간이 매우 오래걸렸다.

또한, 모델의 성능을 높이기 위해 의논해본 결과 Data augmentation noise 영향을 받을 수 있겠다는 의견이 나왔다.

Data augmentation noise(데이터 증강 노이즈)란 원본 데이터에 다양한 형태의 노이즈를 추가하여 인공적으로 학습 데이터를 늘리는 방법이다. 머신러닝 모델, 특히 딥러닝 모델의 일반화 성능을 향상시키기 위해 사용한다.

이 방법을 이용하여 모델을 다시 돌려본 결과 아래 사진을 보면 왼쪽은 운동장을 지붕으로 인식하는 반면, 오른쪽 노이즈가 있는 사진은 지붕만 잘 인식하였다.

노이즈가 없는 roof이미지(왼쪽)와 노이즈가 있는 roof이미지(오른쪽)

노이즈가 없는 데이터셋

하지만 잘 인식하는 경우가 너무 적었고 오히려 모델의 성능이 더 안 좋아져 노이즈를 제거한 데이터셋으로 모델을 돌렸다.

실제로 많은 연구와 실험에서 노이즈 추가와 같은 기법이 모델의 성능을 향상시킨다는 결과를 보여주고 있다고 해서 직접 해봤지만 성능이 더 안 좋아져 그 이유가 궁금해 찾아보았다.

찾아본 결과, 데이터와 문제의 특성에 따라 결과가 다를 수 있어 특정 상황에서는 노이즈가 모델 성능을 저하시킬 수도 있다고 한다. 따라서, 데이터 증강 기법의 효과는 실험을 통해 검증하는 것이 중요하다고 한다.

결론

모든 모델을 돌려본 결과 YOLOv8n의 성능이 제일 좋았다.

파라미터도 다양하게 조절하여 모델을 돌려본 결과 1-2일차에서 확인한 것과 마찬가지로 파라미터 수가 너무 많은 경우 오히려 예측성능이 떨어졌다. 아쉬웠던 점은 Object detection 돌리기 전, 위성 사진 분류해주는 모델을 돌리는 것이 좋을 것 같은데 시간이 부족해서 수행하지 못했던 것이다.

4차 미니프로젝트를 마치고

항상 주어진 데이터만 가지고 모델링을 진행하다가 직접 수집한 데이터로 모델링은 진행한 것은 처음이었는데 직접 수집하고 가공해보니 실제 현업에서도 데이터를 수집하는데 가장 시간이 오래걸리고, 힘들겠다는 생각이 들었다.

또한, 모델의 성능이 제일 좋다고 해서 결과가 가장 좋은 것도 아니었다. 파라미터 수, 데이터의 양 등 다양한 요소가 모델의 결과에 영향을 미친다는 것을 느꼈다.

아무래도 시각적인 것을 구분해주는 모델링이었어서 그런지 지금까지 했던 모델링 중에서 제일 재미있고 흥미로웠다. 나중에 시각지능 딥러닝을 접목한 프로젝트를 직접 만들어보고 싶다는 생각이 들었다.

탄천 산책로/^0^/

kt분당본사타워를 이용하시게 된다면 다른 팀원들과 점심시간에 탄천 산책로에서 산책하고 들어가기 추천합니다~!

[KT AIVLE School] KT에이블스쿨 5기 - 3차 미니프로젝트

dlalwl_jpg — Tue, 14 May 2024 10:28:56 +0900

️ 일정

3차 미니 프로젝트 :3/27 ~ 3/29

❓ KT에이블스쿨 미니프로젝트란?

미니 프로젝트는 이론, 실습 강의가 끝난 후 배운 강의를 토대로 실제 사례에 적용해보는 시간이다.

1일차

❗주제 및 미션

3차 미니 프로젝트 주제는 스마트폰 기반의 센서 데이터를 활용해 동작을 분류 하는 모델을 완성하는 것이다.

이번 프로젝트에서는 사용하는 데이터의 양이 많아 아래와 같이 미션을 진행하는 가이드가 주어졌고, 1일차에는 단계1까지 진행하였다.

3차 미니프로젝트 가이드

도메인 이해

이번 주제는 인간 행동 인식 (HAR: Human Activity Recognition) 기술과 관련되어 있다. 인간 행동 인식이란 다양한 센서를 활용하여 사람의 모션에 관련된 정보를 수집하고 해석하여 행동을 인식하는 기술이다. 흔히 애플워치를 착용하고 있는 사람의 행동을 예측에 이에 맞는 서비스를 제공하는 사례가 있다. 인간 행동 인식에 대한 데이터 추출 방법에 대해서도 살펴보았다.

사용한 데이터는 UCI의 Human Activity Recognition이다.

https://archive.ics.uci.edu/dataset/240/human+activity+recognition+using+smartphones

UCI Machine Learning Repository

This dataset is licensed under a Creative Commons Attribution 4.0 International (CC BY 4.0) license. This allows for the sharing and adaptation of the datasets for any purpose, provided that the appropriate credit is given.

archive.ics.uci.edu

위 데이터를 바탕으로 인간 행동 인식 데이터의 수집 과정과 데이터의 구조를 살펴보면서 데이터에 대해 이해하는 시간을 가졌다.

데이터 분석

data프레임에는 Active라는 변수로 사람의 행동에 대해 6가지로 분류되어 있다. 먼저 행동변수인 6개의 변수들의 분포를 막대그래프, 원그래프, 군집화 등 다양한 시각화 방법으로 살펴보았다.

변수의 분포 시각

특히, T-SNE 기법을 이용하여 차원 축소 후 군집 데이터 시각화 분석을 처음 해보았다.

이 방법은 T-분산 확률적 이웃 임베딩(t-SNE)으로도 불리는데, 각 데이터 포인트에 2차원 또는 3차원 지도의 위치를 제공하여 고차원 데이터를 시각화하는 통계적 방법으로 저차원에서 시각화를 위해 고차원 데이터를 임베딩하는 데 적합한 비선형 차원 축소 기술이다.

T-분산 확률적 이웃 임베딩(t-SNE)을 이용한 군집시각화

T-SNE의 결과를 통해 LAYING변수의 경우, 센서가 지표면과 평평한 상태에서 움직이지 않는 경향으로 따로 분류가된다는 것을 알 수 있다. STANDING 변수와 SITTING변수의 경우, 센서가 움직이지 않는 상태에서 서있기와 앉기는 단순 높낮이의 차이만 보이기에 비슷하게 분류가 된다는 것을 알 수 있다. WALKING, WALKING_DOWNSTAIRS, WALKING_UPSTAIRS의 경우, 동적인 활동으로 지표면으로 부터의 높낮이에 따라 차이가 나기 때문에 크게 비교할 수가 없기에 같이 분류가 된다는 것을 확인할 수 있다.

Active변수에 따라 데이터 분석을 진행한 이후, 이제 Active변수를 정적행동과 동적행동으로 구분하여 분석을 진행하였다.

is_dynamic변수를 추가하여 정적행동(STANDING, SITTING, LAYING)이면 0, 동적행동(WALKING, WALKING_DOWNSTAIRS, WALKING_UPSTAIRS)이면 1로 구분하였다.

그 다음, 정적행동과 동적행동으로 구분하는데 중요한 변수를 찾기 위해 feature 변수들에 대한 분석을 하였다. 행동을 구분하는 feature변수는 총 561개 있는데 너무 많으므로 randomforest 모델링을 이용해 중요한 변수 상위 5개만 선정하였다.

먼저 target을 is_dynamic로 하고 randomforest를 이용해 정적, 동적 변수를 구분하는 모델을 만들어 변수중요도를 추출한 결과, 아래와 같이 추출되었다.

randomforest를 이용한 feature의 중요 변수 상위 5개

이후 is_stading, is_walking 등의 변수들을 추가하여 개별 행동 변수별 추가 분석을 진행하였다.

is_standing, is_walking, is_laying의 개별 행동 변수중요도 분석 결과

모델링

EDA가 끝난 후, 딥러닝을 통해 정적행동과 동적행동을 분류하는 모델을 만들었다.

정적행동과 동적행동을 분류하는 딥러닝 진행 과정 및 예측 결과

2일차

❗주제 및 미션

1일차에 단계1까지 진행하였고, 2일차에는 이어서 단계2를 진행하였다. 1일차에 정적행동과 동적행동을 분류하는 딥러닝까지 만들었고, 이어서 분류된 행동을 상세 분류하는 정적행동 상세 분류 모델과 동적행동 상세 분류 모델을 각각 만들었다. 그리고 함수를 이용하여 단계1과 단계2의 과정을 하나로 통합하였다.

3차 미니프로젝트 가이드

모델링

먼저, 정적행동과 동적행동의 모델의 x는 상세행동(Laying, Sitting, Standing, Walking, Walking-Up, Walking-Down)과 정적행동, 동적행동을 0과 1로 분류한 변수인 is_dynamic을 제외한 것으로 설정하였고, y는 상세행동인 Activity로 설정하였다. 그리고 y가 범주형이므로 LabelEncoder를 진행하여 수치형으로 변환하였다. 이렇게 데이터를 분리하고 정적행동과 동적행동을 상세분류하는 딥러닝 모델을 만들었다.

정적행동 상세 분류 딥러닝 모델

동적행동 상세 분류 딥러닝 모델

각 모델을 만들고 지금까지 과정을 한 개로 합치고 실제값을 넣어 테스트하여 heatmap으로 시각화까지 진행하였다. 모델의 정확도는 0.9816가 나왔다.

def har_predict_pipeline(new_data, binary_model, dynamic_model, static_model):
    
    # 평가 데이터셋에서 X와 y분리
    X = new_data.drop('Activity',axis=1)
    y_test = new_data['Activity']
    test_l_enc = LabelEncoder()
    y_test = test_l_enc.fit_transform(y_test)

    # 정적, 동적행동 분류
    dynamic_pred = binary_model.predict(X) > 0.5
    final_preds = np.zeros((X.shape[0],))
    
    # 동적 행동 데이터에 대한 인덱스
    # flatten으로 1차원으로 변경하고 True에 대한 인덱스 저장
    dynamic_indices = np.where(dynamic_pred.flatten() == True)[0]
    # 정적 행동 데이터에 대한 인덱스 
    # flatten으로 1차원으로 변경하고 False에 대한 인덱스 저장
    static_indices = np.where(dynamic_pred.flatten() == False)[0]
    
    # 동적행동 상세 분류
    if len(dynamic_indices) > 0:
        dynamic_activities_pred = dynamic_model.predict(X.iloc[dynamic_indices])
        dynamic_activities_pred = np.argmax(dynamic_activities_pred, axis=1)
        # 동적 행동 라벨이 정적 행동보다 3부터 시작하기 때문에 동적 행동에 대한 예측값에 3을 더하여 원래 라벨과 맞춰줌
        dynamic_activities_pred += 3  
        final_preds[dynamic_indices] = dynamic_activities_pred

    # 정적행동 상세 분류
    if len(static_indices) > 0:
        static_activities_pred = static_model.predict(X.iloc[static_indices])
        static_activities_pred = np.argmax(static_activities_pred, axis=1)
        final_preds[static_indices] = static_activities_pred
        
    
    # final_preds와 실제 라벨 y_test를 비교하여 정확도 계산
    accuracy = accuracy_score(y_test, final_preds)
    print(f'Accuracy: {accuracy:.4f}')
    
    # 혼동 행렬 계산
    cm = confusion_matrix(y_test, final_preds)
    class_names = test_l_enc.classes_
    
    # 혼동 행렬 시각화
    plt.figure(figsize=(10, 7))
    sns.heatmap(cm, annot=True, fmt="d", cmap='Blues', xticklabels=class_names, yticklabels=class_names)
    plt.xlabel('Predicted')
    plt.ylabel('True')
    plt.title('Confusion Matrix')
    plt.show()

    return final_preds

최종 모델 결과에 대한 heatmap

결론

모델을 여러 개 만들어 하나로 합치는 과정이 매우 어려웠다. 처음에 1차로 정적행동과 동적행동으로 0과 1로 구분한 다음, 0이면 정적행동 상세 분류 모델, 1이면 동적행동 상세 분류 모델을 진행하도록 설계하였는데 오류가 발생하였다. 이를 해결하기 위해 동적 행동에 대한 예측값에 3을 더하여 원래 라벨과 맞춰주는 작업으로 다시 설계하였다.

위와 같이 진행한 이유는 상세 분류 전에 변수들을 라벨링을 통해 숫자형으로 변환되었다. 이로 인해 정적행동은 0, 1, 2로 동적행동은 3, 4, 5로 변환되었다. 그리고 상세 분류를 할 때는정적행동, 동적행동 상세 분류 모델 모두 0, 1, 2로 예측값이 주어진다. 정적행동은 0, 1, 2의 예측값과 실제값이 동일하므로 비교가 가능하지만, 동적행동은 실제값은 3, 4, 5인데 예측값이 0, 1, 2이므로 비교할 수가 없다. 따라서 예측값에 +3을 해주어 비교를 위해 값을 일치시켜준 것이다.

이 과정을 이해하고 작업하는데 어려움을 느꼈다. 같은 팀원의 도움을 받아 완벽히 이해할 수 있었다.

마지막 발표까지...!!

모델을 잘하고 10은조의 발표

이번 미니프로젝트를 통해 수많은 변수 중에서 중요한 변수에 선택과 집중을 해야할 필요성과 복잡한 문제해결과정을 단계적으로 진행하는 방법에 대해 알 수 있었다.

3일차

❗주제 및 미션

3일차에는 1, 2일차에 했던 미션을 바탕으로 센서 데이터 기반 모션 분류를 만드는 것을 주제로 Kaggle Competition을 진행하였다. 모델 성능 평가기준은 Categorization Accuracy로 하였고, 이를 기준으로 순위를 매겼다.

kaggle

3차 미니프로젝트를 마치고

kaggle이 처음이었던 나는 제출한 것에 의의를 두었다.. 상위 등수의 사람들의 발표를 들으면서 측정시간 변수이 정확도에 많은 영향을 미쳤다는 것을 새롭게 알게되었고 의외였다. 나는 행동을 측정하는 시간과 관련된 변수는 행동을 예측하는데 영향이 적을 거라고 예상하여 나는 제거하고 모델을 설계하였기 때문이다. 그 결과 모델의 정확도가 매우 낮았는데 그 이유가 시간 변수의 제외의 영향이라는 것을 상위 등수 사람들의 발표를 통해 알게 되었다.

처음 kaggle을 해봤는데 오전 10시부터 오후 4시까지 긴 시간이었지만 대회라는 생각에 집중이 잘 되어 짧게 느껴졌다. 개인 실습 외에 항상 팀원들과 함께 미션을 수행했었는데 이번 캐글을 통해 스스로 빠르게 모델을 만들기 위해 노력했다는 것에서 좋은 경험이었다.

[KT AIVLE School] KT에이블스쿨 5기 - 2차 미니프로젝트

dlalwl_jpg — Tue, 30 Apr 2024 14:56:15 +0900

️ 일정

2차 미니프로젝트: 3/18 ~ 3/20

❓KT에이블스쿨 미니프로젝트란?

미니 프로젝트는 이론, 실습 강의가 끝난 후 배운 강의를 토대로 실제 사례에 적용해보는 시간이다. 해결해야 할 미션, 데이터, 도메인 정보, 가이드가 제공되면 개별 실습을 통해 스스로 문제를 해결한 후, 조별 실습을 통해 공동과제를 수행한다. 그리고 전체 발표 시간을 가져 다양한 솔루션을 공유한다.

1일차

❗주제 및 미션

두 번째 2차 미니 프로젝트 주제는 서울 지역의 2022, 2023년도 미세먼지 데이터와 날씨 데이터를 활용하여 미세먼지 예측에 관련 있는 데이터 항목으로 데이터를 구성 및 전처리를 진행하여 1시간 후 미세먼지 농도를 예측하는 머신러닝 모델 구현하는 것이다.

도메인 이해

도메인 이해를 위해서 현재 환경부에서 어떻게 미세먼지 농도를 예보하고 등급을 나누고 있는지 살펴보았다.

또한, 미세먼지 농도 예측이 필요한 이유를 미세먼지가 우리에게 미치는 영향, 예측을 통한 대비로 유용한 점 등을 새롭게 알게되었다. 제공된 데이터에서 증기압, 이슬점 온도 등 모르는 단어들의 뜻도 살펴보면서 어떤 기후 변수가 미세먼지 농도에 영향을 미치게 될지 예상해보기도 하였다.

데이터 분석 및 전처리

우선 미세먼지 데이터에서 지역, 주소 등 날씨와 관련 없는 변수는 삭제해주었다. 그리고 결측치를 확인했는데 결측치가 모든 변수가 80이상이었다. 이를 모두 0으로 처리하지 않고, 선형보간법을 이용하여 처리해주었다. 그리고 각 변수들의 기초통계량, 분포를 그래프와 표를 통해 확인하였다.

heatmap을 이용한 날씨데이터 변수 상관관계 시각화

그리고 미세먼지 데이터와 날씨데이터를 측정시간 기준으로 합쳐주고, 전처리를 이어서 진행하였다.

합쳐진 새로운 데이터프레임에서도 날씨 변수들 중에서 QC플래그 등 팀원들과 상의하여 미세먼지에 영향을 미치지 않을 것 같은 변수들과, 미세먼지 예측과 상관 없는 측정명 코드 등의 변수들을 삭제해주었다.

날씨 데이터에서도 결측치가 많은 변수들을 대부분 선형보간법으로 처리해주었고, 강수량 변수만 0으로 처리하였다.

강수량이 NaN이라는 것은 비가 안 왔다고 판단하여 0으로 처리해도 괜찮을 것 같다고 판단하였다.

그리고 한 시간 후의 미세먼지 농도를 측정하기 위해 종속 변수로 새로운 열을 만들어 추가하였다.

종속변수를 만들 때는 1시간 후인 현재 시간인 t에서 1을 더해준 t+1일 때의 미세먼지 농도 값 만들어줘야 한다.

따라서 기존에 있던 현재 시간인 t일 때의 미세먼지 농도 값에서 .shift(-1)을 사용해서 행을 하나씩 위로 당겨주었다.

그러면 맨 마지막 행은 1시간 후의 미세먼지 농도 값이 없으므로 NaN값이 발생한다. 이는 바로 위의 행의 값으로 대체해주었다.

# 1시간 후의 미세먼지 농도 값(종속변수)를 만들기 위해 행을 위로 한 칸씩 올려준다.
df_23['PM10_1'] = df_23['PM10'].shift(-1)

# 맨 마지막 값은 이전 값으로 채워준다.
df_23['PM10_1'] = df_23['PM10_1'].fillna(method='ffill')

마지막으로 모델링을 위해 학습데이터, 검증데이터를 나누었다.

train_x = df_22.drop(target, axis=1)
train_y = df_22.loc[:, target]
test_x = df_23.drop(target, axis=1)
test_y = df_23.loc[:, target]

모델링

모델링은 LinearRegression, RandomForest, GradientBoosting, KNN을 돌렸다.

이때 모델링을 돌리면서 변수 중요도를 체크해봤는데 아무래도 1시간 전의 미세먼지 농도, 초미세먼지 농도가 영향을 많이 미치는 것을 확인하였다. 그래서 독립변수 x에서 이 둘을 제거하고 다시 돌리기로 하였다.

다시 돌린 결과, 대부분 모델에서 1시간 전의 일산화탄소 농도, 시정(10m), 습도가 1시간 후의 미세먼지 농도를 예측하는데 중요한 변수로 나왔다. (시정(10m)이란? 10m앞에 대기 중의 먼지, 스모그, 안개 등으로 인해 시야가 가려진 정도)

랜덤포레스트의 변수중요도

그리고 각 모델을 MSE, R-squared Score로 평가하였다.

모델 성능평가로 비교한 결과, 그라디언트 부스팅의 예측 성능이 가장 좋았고, KNN의 경우 다른 모델에 비해 이상치를 잘 예측하는 것을 확인하였다.

- 그라디언트 부스팅 성능평가: MSE 617.869 / R2 0.449

- KNN 성능평가: MSE 761.989 / R2 0.318

그라디언트 부스팅의 예측값과 실제값 그래프

KNN의 예측값과 실제값 그래프

2일차

❗주제 및 미션

1일차에 미세먼지 농도 예측이라는 미션을 완료하고, 2일차에는 새로운 미션이 주어졌다.

두 번째 미션은 장애인 콜택시를 이용하는 고객들의 불편사항을 개선하고 서비스의 품질을 높이기 위해 콜택시 운행이 종료된 시점에 다음 날의 기상 예보를 바탕으로 기상 상황에 따른 장애인 콜택시의 평균 대기 시간을 예측하고 예상 대기 시간을 제공할 수 있는 모델을 완성하는 것이다.

2일차에는 모델링 전에 데이터 전처리 및 분석을 진행하였다.

도메인 이해

우선, 장애인 콜택시 운영 체계를 살펴보았다. 그리고 장애인 콜택시를 이용하면서 어떤 부분에서 가장 불편함을 느끼는지 살펴보았는데 너무 긴 대기시간이었다. 이어 시간대별 대기시간 현황을 확인하였고, 개선시급도 분석 결과 대기시간이 가장 시급하게 개선해야 할 항목으로 도출되었다는 것을 확인하였다.

도메인 이해를 통해 비장애인으로써 장애인의 입장에서 장애인 콜택시의 예상 대기 시간을 제공하는 서비스의 필요성을 이해할 수 있었다.

데이터 분석 및 전처리

택시운영 데이터에서 접수건, 탑승건, 대기시간 등의 각 변수들을 주기별 분석을 위해 년도, 월, 주, 요일 날짜 변수를 추가했다. 그리고 모든 변수들을 주기별로 기초통계량을 확인하고, Histogram, Boxplot, Barplot 등으로 시각화하여 변수를 탐색하였다.

일별, 요일 택시 대기시간 변수 시각화

월별, 년도별 택시 접수건, 탑승건 변수 시각화

그 다음, 모델링을 진행하기 위해 새로운 데이터프레임을 만들었다.

날씨 데이터와 택시 운행 정보 데이터를 합치고, 년, 월, 요일, 일 날짜 변수와 추가로 공휴일 변수, 일주일간 평균대기 시간, 탑승률을 새로운 변수로 추가하였다.

파이썬에 나라별 공휴일 정보를 제공해주는 라이브러리를 이용해 공휴일 변수를 추가하였다. 그리고 휴무일이지만 라이브러리에 없는 휴무일은 직접 추가하였다. 따라서 휴무일이면 1, 아니면 0으로 변수를 생성하였다.

# 휴무일 데이터 패키지 설치
!pip install workalendar

# 2023년 대한민국 휴무일 데이터프레임 생성
from workalendar.asia import SouthKorea
cal = SouthKorea()
pd.DataFrame(cal.holidays(2023))

일주일간 평균 대기 시간은 .rolling.mean()을 사용하여 추가해주었다.

# 일주일간 평균대기시간 변수 추가
df['wt_ma7'] = df['waiting_time'].rolling( 7, min_periods = 1).mean()

탑승률은 탑승건을 접수건으로 나눠 추가해주었다.

df['board_ratio'] = df['boarding_c'] / df['receipt_c']

새롭게 만들어진 데이터프레임에서 날짜 변수와 새로 추가된 변수에 대한 앞서 변수 분석에서 진행한 방법과 같이 단변량 분석을 진행하였다. 각 변수에 대한 단변량 분석을 마치고, 독립변수와 종속변수(대기시간)을 비교 분석하였다. 비교 분석할 때는 숫자형 변수와 범주형 변수를 나눠 다양한 시각화 분석을 진행하였다.

전체적으로 변수들 간의 관계는 heatmap을 통해 확인하였다.

변수들 간의 관계를 확인한 heatmap

최종적으로 t-test와 anova 통해 수치화도 진행하여 종속변수와 강한 상관관계를 가지는 변수, 약한 상관관계를 가지는 변수, 관계가 거의 없는 변수로 다음과 같이 정리하였다.

강한 상관관계를 가지는 변수 - 탑승률, 휴무일, 요일, 일주일간 대기시간
약한 상관관계를 가지는 변수 - 접수건, 탑승건
관계가 거의 없는 변수 - 날씨 변수들

데이터 전처리 및 분석을 하고 시간이 조금 남아 더 추가할만한 변수가 있는지 팀원들과 논의 후 장애인콜택시와 관련된 자료를 같이 찾아보았다. 따라서 코로나 유무, 강한 비, 계절 등 더 추가하여 분석해보았다.

3일차

❗주제 및 미션

마지막 날 3일차에는 2일차에 이어서 장애인 콜택시 대기 시간을 예측하는 모델을 만들고, 성능평가를 진행하였다.

모델링

모델링을 정말 다양하게 진행해보았다. 그리고 실제값과 예측값에 대한 그래프 시각화를 통해 하나씩 확인해보았다.

성능 평가는 MAE(Mean Absolute Error), MAPE(Mean Abolute Percentage Error), R2-Score를 통해 평가하였다.

사용한 모델들에 대한 성능평가지표

결론

모델링을 다 하고 인사이트를 분석한 결과는 다음과 같다.

[논의사항]
1) 차량운행 수가 어느 월에 가장 많은지
- 11월이 대채로 많으며 (가을에 분포되어있다. 공휴일이 없기 때문에 차량운행 수가 많을 것이다.)
- 공휴일이 없는 월 : 7월, 11월(공휴일x - 248/240건)

2) 하루에 처리해야할 접수건수(파생변수: 접수건/차량운행수)가 가을에 왜 낮은지
- r = 0.58 (한 차량당 처리해야할 건수가 많기 때문에, 평균대기시간이 길것이다.)
- 9월달이 가장 차량건수가 적고, 모든 해가 그렇진 않다.

3) 다른 교통수단에 따른 택시 접수율도 확인에 볼 필요도 있음. (4번)
- 공휴일에 타 대중교통 운행이 적어지기 떄문에 택시타는 비율이 많아질 것이다.

4) 차량운행 값이 왜 매일마다 다른지
- 차가 밀리는지 안밀리는지 따라 달라질 수 있다. (7km 반경이 넘어가면, 대기번호가 밀려 접수건수가 높아도 탑승건수가 적을것이다.)

5) 한해의 차량 평균대기시간이 12월에 도달할수록 커지는지
- 운행횟수 대비 접수건이 많아져서 증가하는 양상을 보임.

6) 평균 대기시간이 이상치에 해당하는 경우에 어떤 특징이 있는지
- 4)항목과 동일하게 접수건에 영향을 많이 받있을 것이다.

[추가 인사이트]
- 탑승률이 주말에 낮은 이유 : 병원, 복지관을 평일에 가는 것이 영향이 있을 수 있다고 판단함.
- 2020년도 코로나로 인해 차량운행수, 접수건, 운행건이 줄다가 23년 이후로 증가함.
- 장애인콜택시에 대한 운행 대수 증가 등의 정책 변경으로 2020년도 차량운행수 증가함.
- 주말에는 이동거리가 늘어나서 비용이 올라감.
- 가을의 평균대기시간이 길다. (공휴일이 가장 많고, 공휴일의 타 대중교통 운행이 적어지기 때문에 택시타는 비율이 많아질 것이다.)
- 습도가 높을때, 택시 탑승률이 높다.
- 강수량과의 택시운행데이터 통계분석 시 접수건과 가장 유의미하였다.

2차 미니프로젝트를 마치고

장애인 이동건 보장을 위해 자주 시위를 하는 뉴스기사를 자주 접하면서 장애인 대중교통 이용 개선에 대해 관심이 있었어서 그런지 프로젝트를 진행하는 동안 재미있었다. 그리고 데이터를 분석하고 모델링을 돌리는 것에서 마무리 하는 것이 아닌 결과가 나온 원인에 대해 찾아보면서 문제 해결에 대한 접근 방향을 더 명확하게 할 수 있었다. 혼자 수업을 듣고 개인 실습을 했을 때 너무 어려웠어서 미니 프로젝트가 걱정했었는데, 팀원들과 함께 프로젝트를 진행하면서 머신러닝에 대한 이해가 더 확실히 되었다는 것이 느껴졌던 2차 미니프로젝트였다.

[Python] 백준 1991 - 트리 순회

dlalwl_jpg — Thu, 18 Apr 2024 20:25:48 +0900

실버 I

https://www.acmicpc.net/problem/1991

1991번: 트리 순회

첫째 줄에는 이진 트리의 노드의 개수 N(1 ≤ N ≤ 26)이 주어진다. 둘째 줄부터 N개의 줄에 걸쳐 각 노드와 그의 왼쪽 자식 노드, 오른쪽 자식 노드가 주어진다. 노드의 이름은 A부터 차례대로 알파

www.acmicpc.net

문제

이진 트리를 입력받아 전위 순회(preorder traversal), 중위 순회(inorder traversal), 후위 순회(postorder traversal)한 결과를 출력하는 프로그램을 작성하시오.

예를 들어 위와 같은 이진 트리가 입력되면,

전위 순회한 결과 : ABDCEFG // (루트) (왼쪽 자식) (오른쪽 자식)
중위 순회한 결과 : DBAECFG // (왼쪽 자식) (루트) (오른쪽 자식)
후위 순회한 결과 : DBEGFCA // (왼쪽 자식) (오른쪽 자식) (루트)

가 된다.

입력

첫째 줄에는 이진 트리의 노드의 개수 N(1 ≤ N ≤ 26)이 주어진다. 둘째 줄부터 N개의 줄에 걸쳐 각 노드와 그의 왼쪽 자식 노드, 오른쪽 자식 노드가 주어진다. 노드의 이름은 A부터 차례대로 알파벳 대문자로 매겨지며, 항상 A가 루트 노드가 된다. 자식 노드가 없는 경우에는 .으로 표현한다.

출력

첫째 줄에 전위 순회, 둘째 줄에 중위 순회, 셋째 줄에 후위 순회한 결과를 출력한다. 각 줄에 N개의 알파벳을 공백 없이 출력하면 된다.

접근방식

트리의 특징

- 그래프의 한 종류로, '최소 연결 트리'라고도 불린다.

- 트리는 계층 모델이고, 사이클이 없다.(비순환 그래프)

- 노드가 N개인 트리는 항상 N-1개의 간선(edge)를 가진다.

- 순회의 방법은 preorder(전위순회), inorder(중위순회), postorder(후위순회)가 있다.

(위 사진의 용어는 맨 아래 두 번째 블로그 참고!)

전위 순회는 [루트 - 왼쪽 자식 - 오른쪽 자식] 순으로 순회

중위 순회는 [왼쪽 자식 - 루트 - 오른쪽 자식] 순으로 순회

후위 순회는 [왼쪽 자식 - 오른쪽 자식 - 루트] 순으로 순회

코드

# https://www.acmicpc.net/problem/1991
# 트리 순회

N = int(input())
tree = {}
 
for n in range(N):
    root, left, right = input().split()
    # 트리 구조를 표현하는 방법
    tree[root] = [left, right]
 
# 전위순회
def preorder(root):
    if root != '.':
        print(root, end='')  # root
        preorder(tree[root][0])  # left
        preorder(tree[root][1])  # right
 
# 중위 순회 
def inorder(root):
    if root != '.':
        inorder(tree[root][0])  # left
        print(root, end='')  # root
        inorder(tree[root][1])  # right
 
# 후위 순회 
def postorder(root):
    if root != '.':
        postorder(tree[root][0])  # left
        postorder(tree[root][1])  # right
        print(root, end='')  # root
 
 
preorder('A')
print()
inorder('A')
print()
postorder('A')

NOTE

참고한 블로그들

https://velog.io/@ohk9134/%EB%B0%B1%EC%A4%80-1991%EB%B2%88-%ED%8A%B8%EB%A6%AC-%EC%88%9C%ED%9A%8C-python-%ED%8A%B8%EB%A6%AC-%EA%B5%AC%ED%98%84

백준 1991번 - 트리 순회 / python 트리 구현

root를 key로 / left, right 자식들을 value로 할당한다.tree\[root] = left, right이렇게 tree의 인덱스는 KEY로, 저장되는 값은 VALUE로 사전에 저장할 수 있다.{"A" : ("B","C")} 의미 : A가 부모인 노드

velog.io

https://gmlwjd9405.github.io/2018/08/12/data-structure-tree.html

[자료구조] 트리(Tree)란 - Heee's Development Blog

Step by step goes a long way.

gmlwjd9405.github.io

https://withhamit.tistory.com/282

트리 순회(전위 순회, 중위 순회, 후위 순회)

트리를 배우면 같이 배우게 되는 개념 중 하나죠. 트리 순회에 대해 알아보겠습니다. 트리 순회에는 전위 순회(preorder), 중위 순회(inorder), 후위 순회(postorder) 가 있습니다. 텍스트 추가 [그림 1]은

withhamit.tistory.com

[KT AIVLE School] KT에이블스쿨 5기 - 1차 미니 프로젝트

dlalwl_jpg — Thu, 4 Apr 2024 22:32:57 +0900

️ 일정

1차 미니 프로젝트: 3/4 ~ 3/6

❓ KT에이블스쿨 미니프로젝트란?

미니 프로젝트는 이론, 실습 강의가 끝난 후 배운 강의를 토대로 실제 사례에 적용해보는 시간이다.

1일차

❗주제 및 미션

처음으로 시작하는 1일차 1차 미니 프로젝트 주제는 서울시 생활 정보 기반 대중교통 수요 분석이다. 수요 분석을 통해 버스 노선 추가가 필요한 서울 시 내 자치구를 선정하는 것이 최종 미션이다.

1일차에는 개별 과제로 도메인을 이해하고, 데이터를 분석하였다.

도메인 이해

2013년부터 현재까지 서울 생활 이동이 얼마나 일어나고 있는지, 지금까지 노선 결정과 교통 분야 정책을 어떻게 설계해 왔는지를 살펴보았다. 또한, 서울시에서 가장 인구가 많은 구, 서울 소속 버스 노선과 야간 노선의 운행 시간 등을 알아보았다.

도메인을 이해하는 시간을 통해 어떤 요소를 많이 반영하여 노선 추가가 필요한 자치구를 선정해야 할지 방향성을 잡을 수 있었고, 데이터를 분석할 때 어떤 부분을 집중적으로 분석해야 할지 파악할 수 있었다.

데이터 분석

데이터는 구별 버스정류장 분석, 구별 이동인구 분석, 구별 등록 인구 분석, 구별 업종 분석을 진행하였다.

구별 버스정류장 분석에서 어느 구에 버스정류장과 노선이 많은지, 각 구별 승차, 하자 평균 승객수 등을 파악할 수 있었다.

구별 이동인구 분석에서는 각 자치구별 총 이동인구 수, 이동시간 등을 파악했고, 이를 통해 어느 구에서 제일 유출입이 많고 적은지 등을 확인할 수 있었다.

구별 등록 인구 분석에서는 각 자치구별 성별 인구수와 버스정류장 개수 간의 관계를 파악하였다.

구별 업종 분석에서는 자치구별 등록 업종 상위 10개의 종사자 수를 확인하여 종사자 수가 많은 업종이 많이 위치하고 있는 자치구와 대중교통 수요가 관련이 있을까 고민해보았다.

2일차

❗주제 및 미션

1일차에 이어서 데이터 분석을 바탕으로 팀원들과 가설을 세워 가설을 검정하고 결론을 도출하는 시간을 가졌다.

가설 수립

우리 조가 세운 가설을 다음과 같다.

가설1. 자치구별 면적이 클수록 정류장수가 많고 평균이동시간이 길 것이다.

가설2. 서울 자치구별 차량 등록수가 많을 수록 버스 이용량이 많을 것이다.

가설3. 음식점 종사자 수가 많을 수록, 유동인구가 많고 평균 이동 시간이 길 것이다.

우리 조는 1일차에서 주어진 데이터로 분석한 요인 외에 대중교통 수요에 영향을 줄 수 있는 것들이 무엇이 있을까 추가로 조사하고 의논하여 가설을 수립하였다.

데이터 분석

단변량 분석, 이변량 분석을 통해 가설에서 설정한 독립변수가 종속변수에 영향을 주는지 확인하였다.

자치구별 넓이에 따른 버스정류장 개수와 정류장수에 따른 정차 빈도 그래프

가설1은 위 그래프 외에도 같은 자치구 내 평균 이동 시간 분석 등을 통해 자치의 넓이가 클수록 정류장의 수가 많고, 정류장의 수가 많을 수록 정차 빈도가 잦아 평균 이동 시간이 자치구별 면적과 관련이 있을 것이라고 판단하였다.

피어슨 상관계수를 확인했을 때, 넓이과 정류장 수는 강한 양의 상관관계를 가지고, 넓이아 평균 이동시간은 약한 양의 상관관계를 가진다는 것을 확인하였다.

서울 자치구별 차량 등록 수에 따른 버스 출발 이동인구합

가설2는 서울 자치구별 차량 등록 수 데이터를 따로 찾아서 자치구별 개인 자동차만 파악하기 위해 영업용 차 등을 제외한 승용차 등록 대수를 파악하였다. 그리고 버스 이용량을 버스 출발 이동 인구로 확인한 이유는 유출입 등 고려해야 할 요소가 많아 버스 이용이 출발되는 인구로 버스 이용량을 확인하기로 하였다.

그래프와 피어슨 상관계수를 통해서 서울 자치구별 차량 등록수와 버스 출발 인구합은 강한 양의 상관관계를 가진다는 것을 확인하였다.

음식점 종사자 수에 따른 유동인구 수와 평균 이동 시간

가설 3은 위 그래프와 피어슨 상관계수를 통해 음식점 종사자 수에 따라 유동인구 수는 강한 양의 상관관계를 가지지만 평균 이동 시간은 관계가 없는 것으로 확인하였다.

결론

우리 조는 위 가설을 종합하여 최종적으로 버스 노선 추가가 필요한 서울 시 내 자치구를 강서구, 중랑구, 도봉구, 영등포구를 선정하였다. 가설 1에서 동일한 자치구 내에서 분석했을 때, 면적이 넓지도 않고, 정류장 수도 많지 않은데 평균 이동시간이 많은 지역이 영등포구였고, 가설 2와 3의 분석을 도합했을 때, 음식점 종사자수가 많고, 대중교통 이용자에 비해 차량 등록 숫자가 높은 자치구가 강서, 중랑, 도봉구였기 때문이다.

3일차

❗주제 및 미션

1,2일차에 거쳐 첫 번째 미션을 완료하고, 3일차에는 새로운 주제와 미션이 주어졌다. 두 번째 주제와 미션은 날씨에 따른 따릉이 수요 분석이다. 어떠한 날씨요소가 따릉이 수요와 관련 있는지 데이터를 다각도로, 입체적으로 분석하여 인사이트를 도출하는 것이다.

도메인 이해

따릉이 수요가 증가함에 따라 늘어나는 적자를 개선하기 위해 따릉이 데이터를 활용한 인사이트 도출 및 정책 제안 사례를 살펴보았다. 이를 통해 따릉이 수요를 파악하기 위해 어떤 데이터 분석이 필요하고, 데이터 분석을 기반으로 어떤 식으로 인사이트를 도출해야 하는지 파악할 수 있었다. 또한, 주어진 날씨 데이터와 따릉이 수요 데이터를 분석하여 데이터를 이해하였다.

가설 수립

우리 조는 주어진 날씨 데이터 외에 추가로 불쾌지수, 체감온도, 환절기, 가시도에 따른 따릉이 대여량과의 관계를 조사하였다. 따라서 최종적으로 시간, 온도, 강수 여부 등과 따릉이 대여량 간에 관계가 있다/없다로 총 13개의 가설을 세웠다.

추가한 변수에 대해 가설을 수립한 이유는 날씨가 좋고 안 좋고를 잘 나타내는 지표가 불쾌지수, 체감온도라고 생각하여 불쾌지수와 체감온도를 따릉이 수요량을 연관지어 가설을 도출하였다. 또한, 환절기는 대체로 온도가 적당하여 사람들이 외출을 많이 하는 시기라고 유추하여 사람들의 외출양과 따릉이 수요량을 연관지을 수 있다고 생각하여 가설을 수립하였다.

데이터 분석

단변량 분석과 이변량 분석, 피어슨 상관계수를 통해 독립변수 x와 종속변수 y와의 관계를 살펴보았다.

시간, 미세먼지 농도, 초미세먼지 농도, 오존농도, 온도, 풍속, 습도, 시정에 따른 따릉이 수요량

강우와 환절기에 따른 따릉이 수요량

불쾌지수, 가시도, 체감온도에 따른 따릉이 수요량

시각화와 피어슨 상관계수를 통해 주어진 날씨 독립변수가 따릉이 수요량에 영향을 미친다는 것을 파악하였다.

결론

위 데이터 분석을 통해

시간이 따릉이 대여량에 중요한 영향을 미치고, 특히 낮 시간대에 대여량이 증가하는 경향이 있어, 이용자들의 활동 패턴과 밀접한 관련이 있음을 보여주고 있는 것을 알 수 있었다. 따라서, 대여 서비스 운영 시 시간대별 수요를 고려한 자전거 배치 및 관리 전략이 필요하다고 결론을 내렸다.

또한, 오존 수치, 온도, 풍속, 가시성과 같이 좋은 날씨 조건이 따릉이 이용 증가하고 반면, 습도가 높을 때는 대여량이 감소하는 경향을 보이는 것을 확인하였다. 이를 통해 날씨 예보와 환경 상태를 모니터링하여 이용자에게 적절한 시간에 대여를 권장하는 마케팅 전략을 수립해야 한다고 결론을 내렸다.

강우 여부는 이용자의 대여 결정에 중요한 요소임을 나타내는 것을 확인하였고, 비가 오는 날 대여 수요가 많이 변동할 수 있으므로, 이에 대비한 운영 전략이 필요하다고 결론 내렸다.

1차 미니프로젝트를 마치고

데이터를 파이썬으로 처리하고, 분석하는 것이 처음이라서 속도도 많이 느렸고, 팀에 잘하는 사람들이 너무 많아서 도움만 받았던 첫 미니 프로젝트였다.

데이터 분석 뿐만 아니라 도메인을 이해하기 위해 관련된 논문과 기사 자료를 많이 찾아보기도 하였다. 이를 통해 도메인 이해에 대한 중요성을 느낄 수 있었다. 도메인 이해를 통해 어떤 방향으로 인사이트를 도출해 내야 하는지 방향성을 잘 잡을 수 있었기 때문이다.

다음 프로젝트에는 팀 프로젝트에 더 많이 기여할 수 있도록 열심히 해야겠다는 생각도 들었다.